不多说，直接上干货！ 以下是Apache Beam的官网 ： https://beam.apache.org/ Apache Beam的前世今生 Apache Beam前身是Google Dataflow SDK，DataFlow是谷歌的提供大数据计算平台。在DataFlow之前，谷歌的批处理和流处理(流计算，实时处理)使用了不同系统，流...
架构设计是一系列相关的抽象模式，是人们对一个结构内的元素及元素间关系的一种主观映射的产物。 一、计算机网络基础 A. OSI模型 OSIOpen System Interconnection，简称OSI模型或七层模型。开放系统互连参考模型，是国际标准化组织（ISO）和国际电报电话咨询委员会（CCITT）联合制定的开放系统互连参考模型，为开放式互连信息系统...
一、Celery简介 Celery是一个简单，灵活，可靠的分布式系统，用于处理大量消息，同时为操作提供维护此类系统所需的工具。它是一个任务队列，专注于实时处理，同时还支持任务调度。 所谓任务队列，是一个逻辑上的概念，可以将抽象中的任务发送到指定的执行任务的组件，任务队列可以跨线程或机器运行。 Celery是基于Python开发的分布式异步消息任...
转：http://www.csdn.net/article/2013-02-28/2814303-sharing-OceanBase-distributed-system-load-balance-case 摘要：Heroku因“随机调度+Rails单线程处理导致延迟增加的负载均衡失败”的案例之后，我们在思考：在负载均衡测试时发现问题并妥善解决的成功经验有...
域是一个虚拟的分类，几个系统属于某一个域，例如网上银行和手机银行都属于电子渠道领域； 传统的单体应用，指的就是系统，在微服务架构下，单体应用采用前后端分离模式，前端一般使用 Nginx，Ngnix 进程间采用主备模式，系统的后端可以分为多个应用，每个应用有一组对等的应用进程（也称为应用实例）提供服务，每个应用对应一个数据库，实际上在分库的情况下，有可能一个...
本文介绍系统缓存组件，采用NOSQL之Redis作为系统缓存层。 一、背景 系统考虑到高并发的使用场景。对于并发提交场景，通过上一章节介绍的RabbitMQ组件解决。对于系统高并发查询，为了提供性能减少数据库压力，我们加入缓存机制，可以不同层次加入缓存支持，本文主要介绍应用服务层和数据层之间加入缓存机制提升性能。业界缓存组件有Redis、Memcached...
1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafa consumer是否可以消费指定分区消息？8.Kafka消息是采...
分布式系统的一致性问题 参考： https://blog.csdn.net/zheng0518/article/details/51194942 https://blog.csdn.net/kangbin825/article/details/71006546?locationNum=7&fps=1 http://iamzhongyong.ite...
本节内容 为什么要做监控？ 常用监控系统设计讨论 监控系统架构设计 监控表结构设计 为什么要做监控？ –熟悉IT监控系统的设计原理 –开发一个简版的类Zabbix监控系统 –掌握自动化开发项目的程序设计思路及架构解藕原则 常用监控系统设计讨论 Zabbix Nagios 监控系统需求讨论 1.可监控常用系统服务、应用、网络设备等 2.一台主机上可监控多个...
活动精彩实录 | Cassandra与职业发展 点击此处观看完整活动录像 大家好，我叫邓为，我目前在DataStax担任领航架构师。我在DataStax工作了7年多的时间，也有7年多的Cassandra经验，我在大数据和数据库领域的经验则有大约十多年的时间。很高兴今天能够邀请大家到我们的活动中，来听听我们的嘉宾们与职场相关的经验和感悟。 我们今天...