数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)

摘要:
朴素贝叶斯朴素贝叶斯是一种线性分类器。这一次主要基于文本数据。首先,使用Map函数处理数据。获得的数据如下:稍后对数据进行reduce,reduce等输入数据的代码处理如下:reduce的输出是使用分类器将新符号数据分类到Spark的训练分类器中的主要步骤:再次预测新数据:14.在hadoop中,可以使用分布式缓存。

十三。朴素贝叶斯

  朴素贝叶斯是一个线性分类器。处理数值数据时,最好使用聚类技术(eg:K均值)和k-近邻方法,不过对于名字、符号、电子邮件和文本的分类,则最好使用概率方法,朴素贝叶斯就可以。在某些情况下,NBC也可以用来对数值数据分类。

  对于数值数据的分类,比如(连续属性,身高,体重,脚长),建议采用采用高斯分布,令x是一个连续属性。首先,按类对数据分段,然后计算各个类中的x的均值(u)和方差()。

  本次主要以文本数据进行。

  数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第1张

  

  首先先进行Map函数,将数据进行处理。

  数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第2张

  得到的数据如下:

  数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第3张

  之后再进行reduce,输入的数据诸如:

    数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第4张

  reduce的代码处理如下:

    数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第5张

  reduce的输出是

    数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第6张                             数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第7张

  再使用分类器对新符号数据分类

    数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第8张

  spark的训练分类器的主要步骤:

    数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第9张

  

  再进行对新数据的预测:

    数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第10张

十四。情感分析

  这里给出一个简单的例子,对给定的一组微博完成情感分析。假设我们感兴趣的关键字是obama和romney,进一步假设现在是选举年。想知道人们关于这两个总统候选人的微博所反映出的态度。下面假设你想找出每天对各个候选人的情感趋势。映射器将接受一个微博,规范化文本,查找感兴趣的关键字,统计正面和负面关键字,然后用正面词汇比例减去负面词汇比例。要完成这个映射,这里需要两个词汇集。

    一个正面词汇集

    一个负面词汇集

  这两个集合由驱动器程序传入映射器。在hadoop中,可以使用一个分布式缓存来实现。

    map函数:

     数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第11张

    

    reduce:

      数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)第12张

 

  

免责声明:文章转载自《数据算法 --hadoop/spark数据处理技巧 --(13.朴素贝叶斯 14.情感分析)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Intellij IDEA 自动清除无效 import 和 清除无效 import 的快捷键redis参数改进建议下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Windows如何设置或更改PostgreSQL数据目录位置

[Windows] Step 1:停止PostgreSQL服务 方式一:通过“Windows Services Management?即“服务”中停止相应的PostgreSQL服务 Step 2:修改注册表 对应键值位置在"HKEY_LOCAL_MACHINESYSTEMCurrentControlSetServicespostgresql-x64-9....

机器学习相关的面试问题

机器学习: 伪代码实现:LR、梯度下降、最小二乘、KNN、Kmeans; 基本知识:1)监督与非监督区别;2)L1L2区别;3)生成模型和判别模型区别 算法的优缺点以及相应解决方案:k-means, KNN, apriori 算法原理:LR、KNN、k-means、apriori、ID3(C45,CART)、SVM、神经网络,协同过滤,em算法 常见问题:...

BUUCTF-数据包中的线索 1

打开题目里面一个pcapng的文件,于是我们拖进wireshark流量分析一波  发现有http的流量,于是我们过滤http  让后追踪http,然后发现base64的编码, 于是我们看到了base64编码    于是我们拿着base64去解密成图片,https://the-x.cn/base64   然后我们将图片下载下来,得到flag...

WEB接口测试之Jmeter接口测试自动化 (二)(数据分离)

转载: http://www.cnblogs.com/chengtch/p/6105231.html 通过逐个录入的方式,好不容易将需要测试几十个接口的300多个测试用例录入sampler-http请求中,固定的测试环境跑起来也还 感觉良好。不料在新服务器环境中跑用例时,问题来了:修改参数维护脚本等成本太大! 脚本参数是写死的,修改起来得一个个请求打开来...

GSM模块_STM32实现GPRS与服务器数据传输经验总结

硬件环境 MCU:STM32F103RET6 (调试器:J-Link) GSM模块:Ai-Thinker_A6 (安信可)(还需要配一个串口打印工具,当初选这个模块纯粹是因为价格是最便宜的) ------------------------------------------------------------------------- 软件环境 Keil...

数据库SQL优化大总结之 百万级数据库优化方案(转)

转载来源:http://www.cnblogs.com/yunfeifei/p/3850440.html#3571275 今天无意中看到的这篇文章,觉得对自己非常有帮助。凡是写代码的人,一般都要接触数据库,虽然不见得会接触到百万级的数据库,但了解一下总归是有好处的。 写到自己的博客也是为了加深印象,另外以后如果真的需要了也方便查看。 1、对查询进行优化,要...