Kafka 简介梳理

摘要:
我在研究卡夫卡,这两天我一直在阅读官方文件。读完介绍后,做一个简短的总结。消耗数据互不影响。文件存储可以水平扩展。只要服务器允许,Kafka可以存储无限的数据。每个分区都可以复制和备份,以实现容错。Kafka严格确保单个分区上的生产序列是以组的形式出现的。消费者可以获得数据分区,消费者可以相应地横向扩展其消费能力。数据隔离不会重复使用。当消费者数量˂=分区和多个分区的数量时,Kafka没有总数据的顺序。通过数据隔离只能实现单个分区和多个租户的顺序。

个人在学习Kafka , 这两天在看官方文档。

看完了简介部分,看完做个小总结。看看官方是怎么夸Kafka的。

三大特性

  • 发布-订阅
  • 持久化存储
  • 低延迟的实时处理

特性梳理

  • Topic : 逻辑概念,承载数据的实体
  • 数据的保存期限可以设置
  • 磁盘是顺序读写,IO不是瓶颈
  • 可以处理大数据量数据,且不损失性能
  • 数据存储,
    • 数据不丢失
    • 可以重复消费
    • 各消费组间数据消费隔离。消费数据互不影响
  • 文件存储可以水平扩展
    • 因此只要服务器允许,Kafka 可以保存无限大的数据量
  • 每个分区都可以复制备份,实现容错。
  • 灵活的生产消费规则
    • 生产者
      • 默认轮流的分区写数据
      • 可以自定义规则来指定分区写数据,做到数据隔离。(多租户实现)
      • Kafka 严格保证单分区上的生产顺序
    • 消费者
      • 消费者是以组的形式来获取数据
      • 分区和消费者可以相互对应
        • 水平扩展消费能力
        • 数据隔离不重复消费
      • 消费者数量 <= 分区数
  • 多分区时,Kafka没有总数据的顺序,只有单分区的顺序
  • 多租户,可以通过数据隔离实现。可以对租户资源配额。

免责声明:文章转载自《Kafka 简介梳理》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇WPS修改批注部分的字体颜色?Scalaz(4)- typeclass:标准类型-Equal,Order,Show,Enum下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

matlab学习:人脸识别之PCA( Principal Component Analysis )

1.链接推荐 关于理解PCA的推荐链接:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html 关于理解SVD的推荐链接:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-...

ADO.NET访问数据库SqlCommand的ExecuteReader方法一般配合sqldatareader使用

用于执行查询语句并返回一个DataReader类型的行集合. 在与数据库交互中,要获得数据访问的结果可用连载方法实现,一个是datareader对象从数据源中获得数据并进行处理;另一种是通过dataset对象将数据存放在内存中进行处理 datareader可以顺序地查询结果集中读取记录,他的特点是单向向前,速度快占用内存少。使用datareader对象无论...

人工智能将完成审计的前99步工作(修订)

https://zhuanlan.zhihu.com/p/21677391 0.利益无关 正因为我没有利益相关,所以才能写出不偏颇的观点。知乎上搜索人工智能+审计,无数人在问:德勤引入人工智能,对行业趋势有什么影响。无数审计师也在回答,不可能替代,即使是最激进的回答,也包括一个短期内不可替代。我认为这是一种自大,或者说对强大又不可知事物的惶恐。另一方面,如...

疫情数据背后,聊聊数据分析平台变迁史

今年年初这场突如其来的疫情,让我们早晨醒来打开手机的第一件事情,从刷朋友圈变成了刷每日最新的疫情数据。看看国内外新增确诊人数/现存确诊人数,看看国内外疫情分布的地图。各大新闻平台也因为快速上线疫情实时动态板块,成为了大家了解疫情发展的阵地。 其实,在这背后是有着一个海量数据分析的架构平台做支撑。 对于很多企业的管理人员而言,这就是个很熟悉的T+1计算T日...

SecureCRTPortable的安装和使用(图文详解)

     不多说,直接上干货!   玩玩这个远程连接软件,是个绿色软件。      别人已经做好了的。         解压之后,   下面,软件展示下,                         这会默认去打开,             为了,方便,使用,放到桌面,作为快捷方式                           成功       ...

C#实体类对应SQL数据库的自增长ID怎么设置?

/// <summary> ///自增长ID /// </summary> [DatabaseGenerated(DatabaseGeneratedOption.Identity)] //若数据库设置自增长,要加这个,不然无法更新修改状态 pu...