架构设计是一系列相关的抽象模式，是人们对一个结构内的元素及元素间关系的一种主观映射的产物。 一、计算机网络基础 A. OSI模型 OSIOpen System Interconnection，简称OSI模型或七层模型。开放系统互连参考模型，是国际标准化组织（ISO）和国际电报电话咨询委员会（CCITT）联合制定的开放系统互连参考模型，为开放式互连信息系统...
一、CAP基础理论 1.1 CAP需求 在计算机科学中， CAP 理论又称之为布鲁尔定理（Brewer's theorem），目前已成为分布式系统设计与构建的重要理论基石。其中CAP即Consistency（一致性）、Availability（可用性）及Partition Tolerance（分区容错性）这三个系统核心功能的简称。 1.1.1 一致性 在分...
1、Hadoop系统运行于一个由普通商用服务器组成的计算集群上，能提供大规模分布式数据存储资源的同时，也提供了大规模的并行化计算资源。 2、Hadoop生态系统 3、MapReduce并行计算框架 MapReduce并行计算框架是一个并行化程序执行系统。它提供了一个包含Map和Reduce两个阶段的并行处理模型和过程，提供了一个并行化编程模型和接...
数据传输和采集 Sqoop数据传输工具实际项目开发中，往往很多业务数据是存放在关系型数据库中，如 MySQL数据库。我们需要将这些数据集中到数据仓库中进行管理，便于使用计算模型进行统计、挖掘这类操作。 Sqoop是Apache软件基金会的⼀一款顶级开源数据传输工具，用于在 Hadoop与关系型数据库（如MySQL、Oracle、PostgreSQL等）之间...
https://blog.csdn.net/wangpengzhi19891223/article/details/81197078 这篇文章总结了分布式主键或者唯一键的生成算法，文章最后有我们基于snowflow算法的思考和实践。 分布式主键的生成方式分为中心化和去中心化两大类。 中心化生成算法 中心化生成算法经典的方案主要有基于SEQUENCE区间方案...
转载：https://www.cnblogs.com/moonandstar08/p/5405991.html 一、分布式算法 在做服务器负载均衡时候可供选择的负载均衡的算法有很多，包括： 轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(...
从hadoop框架与MapReduce模式中谈海量数据处理 前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，认为它们非常是神奇，而神奇的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，认为Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话...
业务背景介绍 对于web应用的限流，光看标题，似乎过于抽象，难以理解，那我们还是以具体的某一个应用场景来引入这个话题吧。 在日常生活中，我们肯定收到过不少不少这样的短信，“双11约吗？，千款….”，“您有幸获得唱读卡，赶快戳链接…”。这种类型的短信是属于推广性质的短信。为什么我要说这个呢？听我慢慢道来。 一般而言，对于推广营销类短信，它们针对某一群体...