1.词法分析 词是自然语言中能够独立运用的最小单位，是自然语言处理的基本单位。词法分析就是利用计算机对自然语言的形态 (morphology) 进行分析，判断词的结构和类别等。 词法分析的主要任务是：①：能正确的把一串连续的字符切分成一个一个的词 ②：能正确地判断每个词的词性，以便于后续的句法分析的实现。 常见的中文分词算法：（分为三类，1.基于字符串匹配...
在前面我们通过fromnltk.bookimport*的方式获取了一些预定义的文本。本章将讨论各种文本语料库 1古腾堡语料库 古腾堡是一个大型的电子图书在线网站，网址是http://www.gutenberg.org/。上面有超过36000本免费的电子图书，因此也是一个大型的预料库。NLTK也包含了其中的一部分 。通过nltk.corpus.gutenbe...