1.官方文档：https://docs.mongodb.com/ecosystem/tools/hadoop/ 2.Hive介绍： Hive特点： 1.hive是一个数据仓库，和oracle，mysql等数据仓库相比，它底层依赖于hdfs。 2.hive是sql解析引擎，将sql语句转换成Map/Reduce任务，然后在hadoop hdf...
块存储和文件存储是我们比较熟悉的两种主流的存储类型，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。 首先，我们介绍这两种传统的存储类型。通常来讲，所有磁盘阵列都是基于Block块的模式，而所有的NAS产品都是文件级存储...
1、虚拟机管理程序和虚拟机管理 一个服务器上只安装单一操作系统的时代已经过去，单个服务器可通过安装多个虚拟机来运行不同操作系统。虚拟机的大量使用减少了所需的服务其硬件，降低了服务器的功耗，但却带来了另外一个问题，多虚拟机数目的增加使其管理变得更加复杂。 虚拟化为管理虚拟机及其资源以...
去哪儿 Hadoop 集群 Federation 数据拷贝优化 背景 去哪儿 Hadoop 集群随着去哪儿网的发展一直在优化改进，基本保证了业务数据存储量和计算量爆发式增长下的存储服务质量。然而，随着集群规模的发展，单组 NameNode 组成的集群也到达了新的瓶颈：因为 NameNode 内存使用和元数据量正相关，在 180GB 堆内存配置下，元数据量...
转自:http://www.csdn.net/article/2014-06-12/2820196-Storm 摘要：实时计算一般都是针对海量数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。今天这篇文章详细介绍了实时计算，流数据处理系统简介与简单分析。 编者按：互联网领域的实时计算一般都是针对海量数据进行的，除了像非实时...
Facebook为了解决海量日志数据的分析而开发了hive，后来开源给了Apache基金会组织。 hive是一种用SQL语句来协助读写、管理存储在HDFS上的大数据集的数据仓库软件。 Hive 特点 1 是基于 Hadoop 的一个数据仓库工具；2 Hive 最大的特点是将 Hive SQL语句转换为 MapReduce、Tez 或者 spark 等任务执...
元数据:描述数据的数据三类: 数据库元数据、参数元数据、结果集元数据1.数据库元数据 DataBaseMetaData Connection->DataBaseMertaData->. Class.forName(DRIVER); Connection connection = DriverManager.getConnection(UR...
错误 1 未能找到元数据文件“C:/windows/assembly/GAC_32/System.EnterpriseServices/2.0.0.0__b03f5f7f11d50a3a/System.EnterpriseServices.dll 研究一个自己定义控件时，发生这个错误。 系统未安装IIS， 用VS自带的web server。 检查后发现：C...
1、数据仓库所处环节 在一个成体系、结构化的数据应用场景下，数据和处理有四个层次： 操作层、数据仓库层、部门/数据集市层、个体层。 操作层 操作层是指为具体业务提供实时响应的各个业务系统，比如常见的订单系统、ERP、用户中心等等具体业务系统，这些系统中的数据一般都是存入关系型数据库。它们是数据的来源。 数据仓库 数据仓库收集操作层各个业务系统中的数据，进...
Autofac 组件、服务、自动装配 《第二篇》http://www.cnblogs.com/kissdodog/p/3611799.html 一、组件 创建出来的对象需要从组件中来获取，组件的创建有如下4种(延续第一篇的Demo，仅仅变动所贴出的代码)方式： 1、类型创建RegisterType AutoFac能够通过反射检查一个类型,选择一个合适的...