Spark官方文档翻译，有问题请及时指正，谢谢。 Overview页 http://spark.apache.org/docs/latest/index.html Spark概述 Apache Spark 是一个快速的，分布式集群计算系统.它提供了高等级的针对 Java, Scala, Python and R的API接口, 他还是一个优秀的图处理引...
Spark Streaming Spark Streaming 介绍 批量计算 流计算 Spark Streaming 入门 Netcat 的使用 项目实例 目标：使用 Spark Streaming 程序和 Socket server 进行交互, 从 Server 处获取实时传输过来的字符串, 拆开单词并统计单词数量, 最后打印出来每一个小批...
1.概述 Spark Streaming的主要应用方向是实时计算.这代表一个Spark Streaming应用必然是对执行性能和运行稳定性(7 x 24)有一定要求的 2.性能 在性能方面,主要是合理的利用的集群资源,设置正确的批处理大小(提升并行度)和减少每个批次的处理时间(计算逻辑优化).以让数据流处理的能像接受一样快 2.1 调整Spar...
kettle从windows中往hdfs中写文件 One 2016/07/19 14:14:53 - Spoon - 正在开始任务... 2016/07/19 14:14:53 - load_hdfs - 开始执行任务 2016/07/19 14:14:53 - load_hdfs - 开始项[Hadoop Copy Files] 2016/07/19...
目录 目录 （一）Series的组成 （二）Series的创建 1.从标量中创建Series数据 2.从列表中创建Series数据 3.从字典中创建Series数据 （1）直接使用字典（不添加index） （2）添加index 4.从ndarry中创建Series数据 5.从其他函数中创建Series数据 （三）Series的操作 1.S...
不多说，直接上干货！ 以下是Apache Beam的官网 ： https://beam.apache.org/ Apache Beam的前世今生 Apache Beam前身是Google Dataflow SDK，DataFlow是谷歌的提供大数据计算平台。在DataFlow之前，谷歌的批处理和流处理(流计算，实时处理)使用了不同系统，流...
学习hadoop，首先我们要知道hadoop是什么？ 说到底Hadoop只是一项分布式系统的工具，我们在学习的时候要理解分布式系统设计中的原则以及方法，只有这样才能以不变应万变。再一个就是一定要动手，有什么案例，有什么项目一定要亲自动手去敲。 学习的时候不要害怕遇到问题，问题是最好的老师。其实学习的过程就是逐渐解决问题的过程，当你遇到的问题越来越少的时候，...
MPP代表大规模并行处理，这是网格计算中所有单独节点参与协调计算的方法。 是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果。 MPP DBMS是建立在这种方法之上的数据库管理系统。在这些系统中的每个查询都会被分解为由MPP网格的节点并行执行的一组协调进程，它们的运行时间比传统的SMP RDBMS系...
今年年初这场突如其来的疫情，让我们早晨醒来打开手机的第一件事情，从刷朋友圈变成了刷每日最新的疫情数据。看看国内外新增确诊人数/现存确诊人数，看看国内外疫情分布的地图。各大新闻平台也因为快速上线疫情实时动态板块，成为了大家了解疫情发展的阵地。 其实，在这背后是有着一个海量数据分析的架构平台做支撑。 对于很多企业的管理人员而言，这就是个很熟悉的T+1计算T日...
要理解特征工程，首先要理解数据（Data）和特征（Feature）的概念 概念 特征工程（Feature Engineering） 其本质上是一项工程活动，它目的是最大限度地从原始数据中提取特征以供算法和模型使用。 特征工程在数据挖掘中有举足轻重的位置 数据领域一致认为：数据和特征决定了机器学习的上限，而模型和算法只能逼近这个上限而已。 特征工程...