自然语言处理——中文文本预处理 近期，在自学自然语言处理，初次接触NLP觉得十分的难，各种概念和算法，而且也没有很强的编程基础，学着稍微有点吃力。不过经过两个星期的学习，已经掌握了一些简单的中文、英文语料的预处理操作。写点笔记，记录一下学习的过程。 1、中文语料的特点 第一点：中文语料中词与词之间是紧密相连的，这一点不同与英文或者其它语种的语料，因此在...
常用技能（更新ing）：http://www.cnblogs.com/dunitian/p/4822808.html#skill 技能总纲（更新ing）：http://www.cnblogs.com/dunitian/p/5493793.html 在线演示：http://cppjieba-webdemo.herokuapp.com 完整demo：https...
背景 前端高亮需要分词服务，nlp团队提供的分词服务需要跨域调用，而且后台数据索引使用的IK分词。综合评价，前端分词也需要基于IK分词器。IKAnalyzer服务已经停止更新，且对Lucene支持仅测试到4.x.x版本（6.x.x会出现异常），因此使用IK分词器时需要解决一些异常。 依赖 项目以及maven构建，需要指定IK依赖以及Lucene依赖如下：...