摘要：
1、语料库构建由于不像之前是对很多个文件进行词频统计，所以不需要使用os.walk()方法遍历每一个文件；只需使用codecs.open()打开相应的文件，(记得close)；然后使用jieba模块中的load_userdict()方法导入词库importjiebaimportnumpyimportcodecsimportpandasfile=codecs.open("C:\Users\Jw\De
1、语料库构建
由于不像之前是对很多个文件进行词频统计，所以不需要使用os.walk()方法遍历每一个文件；
只需使用codecs.open()打开相应的文件，(记得close)；
然后使用jieba模块中的load_userdict()方法导入词库
importjieba
importnumpy
importcodecs
importpandas
file=codecs.open(
"C:\Users\Jw\Desktop\python_work\Python数据挖掘实战课程课件\2.5\红楼梦.txt",
"r",encoding="utf-8")
content=file.read()
file.close
jieba.load_userdict("C:\Users\Jw\Desktop\python_work\Python数据挖掘实战课程课件\2.5\红楼梦词库.txt")
segments=[]
segs=jieba.cut(content)
for seg insegs:
if len(seg)>1:
segments.append(seg)
segmentDF=pandas.DataFrame({
"segment":segments})2、移除停用词
首先是读出停用词库，然后通过DataFrame中isin()，取反~的方法来移除停用词
将筛选后的分词进行统计
stopwords=pandas.read_csv( "D:\Python\Python数据挖掘\Python数据挖掘实战课程课件\2.5\StopwordsCN.txt", encoding="utf-8", index_col=False, quoting=3, sep="") segmentDF=segmentDF[ ~segmentDF.segment.isin(stopwords.stopword)] segStat=segmentDF.groupby( by=["segment"] )["segment"].agg({ "计数":numpy.size }).reset_index().sort( columns=["计数"], ascending=False) segStat.head(100)
3、普通词云的绘制
from wordcloud importWordCloud importmatplotlib.pyplot as plt wordcloud=WordCloud( font_path="D:\Python\爱数圈书籍\Python数据挖掘\Python数据挖掘实战课程课件\2.4\simhei.ttf", background_color="black") words=segStat.set_index("segment").to_dict() wordcloud=wordcloud.fit_words(words["计数"]) plt.imshow(wordcloud) plt.close()
4、词云美化
导入scipy.misc中的imread函数，该函数时导入图片，用于词云
从wordcloud模块中导入WordCloud，ImageColorGenerator函数
ImageColorGenerator是提取图片颜色
from scipy.misc importimread importmatplotlib.pyplot as plt from wordcloud importWordCloud,ImageColorGenerator #导入图片 bimg=imread("D:\Python\爱数圈书籍\Python数据挖掘\Python数据挖掘实战课程课件\2.5\贾宝玉.png") wordcloud=WordCloud( background_color="white", mask=bimg,font_path="D:\Python\爱数圈书籍\Python数据挖掘\Python数据挖掘实战课程课件\2.4\simhei.ttf") #适配词云图 wordcloud=wordcloud.fit_words(words["计数"]) #图云颜色 bimgColors=ImageColorGenerator(bimg) plt.axis("off") plt.imshow(wordcloud.recolor(color_func=bimgColors)) plt.show() bimg=imread("D:\Python\爱数圈书籍\Python数据挖掘\Python数据挖掘实战课程课件\2.5\贾宝玉2.png") wordcloud=WordCloud( background_color="white", mask=bimg,font_path="D:\Python\爱数圈书籍\Python数据挖掘\Python数据挖掘实战课程课件\2.4\simhei.ttf") wordcloud = wordcloud.fit_words(words['计数']) plt.figure( num=None,figsize=(8,6),dpi=80,facecolor="w",edgecolor="k") bimgColors=ImageColorGenerator(bimg) plt.axis("off") plt.imshow(wordcloud.recolor(color_func=bimgColors)) plt.show()