Hadoop—MapReduce计算气象温度 1 运行环境说明 1.1 硬软件环境 主机操作系统：Mac OS 64 bit ，8G内存 虚拟软件：Parallers Desktop12 虚拟机操作系统：CentOS 64位，单核，512内存 JDK：java version "1.7.0_45" Hadoop：1.1.2 1.2 机器网络环境 集群包...
网上搜了一下找了很多介绍hive的资料，不是官方翻译就是含糊描述，对于刚接触的很难直观认识 我从一本介绍hadoop的书里找到了一些hive的资料，没太多废话。可以看看 http://pan.baidu.com/s/1qW6txus Hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以...
需求： 基于上一道题，我想将结果按照总流量的大小由大到小输出。 思考： 默认mapreduce是对key字符串按照字母进行排序的，而我们想任意排序，只需要把key设成一个类，再对该类写一个compareTo（大于要比较对象返回1，等于返回0，小于返回-1）方法就可以了。 注：这里如果是实现java.lang.Comparable接口，最终报错，还是直接实现...
1、Hadoop系统运行于一个由普通商用服务器组成的计算集群上，能提供大规模分布式数据存储资源的同时，也提供了大规模的并行化计算资源。 2、Hadoop生态系统 3、MapReduce并行计算框架 MapReduce并行计算框架是一个并行化程序执行系统。它提供了一个包含Map和Reduce两个阶段的并行处理模型和过程，提供了一个并行化编程模型和接...
格式化namenode root@node04 bin]# sudo -u hdfs hdfs namenode –format 16/11/14 10:56:51 INFO namenode.NameNode: STARTUP_MSG: /*******************************************************...
https://tech.meituan.com/2016/03/31/spark-in-meituan.html 本文已发表在《程序员》杂志2016年4月期。 前言 美团是数据驱动的互联网服务，用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志，这些日志数据将被汇总处理、分析、挖掘与学习，为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支...
数据传输和采集 Sqoop数据传输工具实际项目开发中，往往很多业务数据是存放在关系型数据库中，如 MySQL数据库。我们需要将这些数据集中到数据仓库中进行管理，便于使用计算模型进行统计、挖掘这类操作。 Sqoop是Apache软件基金会的⼀一款顶级开源数据传输工具，用于在 Hadoop与关系型数据库（如MySQL、Oracle、PostgreSQL等）之间...
Hive 原理 1.用户提交查询等任务给Driver。 2.编译器获得该用户的任务Plan。 3.编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。 4.编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，...
https://www.codetd.com/article/664330 https://blog.csdn.net/dream_an/article/details/84342770 通过idea开发mapreduce程序并直接run，提交到远程hadoop集群执行mapreduce。 简要流程：本地开发mapreduce程序–>设置yarn...
Flume支持众多的source和sink类型，详细手册可参考官方文档，更多source和sink组件 http://flume.apache.org/FlumeUserGuide.html Flume官网入门指南： 1：Flume的概述和介绍： （1）：Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。（2）：Flume可...