设为首页 - 加入收藏 ASP站长网(Aspzz.Cn)- 科技、建站、经验、云计算、5G、大数据,站长网!
热搜: 创业者 数据 手机
当前位置: 首页 > 服务器 > 搭建环境 > Unix > 正文

Kafka架构原理,也就这么回事!(5)

发布时间:2020-08-16 20:44 所属栏目:119 来源:网络整理
导读:RoundRobin 轮询方式将分区所有作为一个整体进行 Hash 排序,消费者组内分配分区个数最大差别为 1,是按照组来分的,可以解决多个消费者消费数据不均衡的问题。 但是,当消费者组内订阅不同主题时,可能造成消费混

RoundRobin 轮询方式将分区所有作为一个整体进行 Hash 排序,消费者组内分配分区个数最大差别为 1,是按照组来分的,可以解决多个消费者消费数据不均衡的问题。

但是,当消费者组内订阅不同主题时,可能造成消费混乱,如下图所示,Consumer0 订阅主题 A,Consumer1 订阅主题 B。

将 A、B 主题的分区排序后分配给消费者组,TopicB 分区中的数据可能分配到 Consumer0 中。

②Range

Range 方式是按照主题来分的,不会产生轮询方式的消费混乱问题。

但是,如下图所示,Consumer0、Consumer1 同时订阅了主题 A 和 B,可能造成消息分配不对等问题,当消费者组内订阅的主题越多,分区分配可能越不均衡。

Offset 的维护

由于 Consumer 在消费过程中可能会出现断电宕机等故障,Consumer 恢复后,需要从故障前的位置继续消费。

所以 Consumer 需要实时记录自己消费到了哪个 Offset,以便故障恢复后继续消费。

Kafka 0.9 版本之前,Consumer 默认将 Offset 保存在 Zookeeper 中,从 0.9 版本开始,Consumer 默认将 Offset 保存在 Kafka 一个内置的 Topic 中,该 Topic 为 __consumer_offsets。

总结

上面和大家一起深入探讨了 Kafka 的架构,比较偏重理论和基础,这是掌握 Kafka 的必要内容,接下来我会以代码和实例的方式,更新 Kafka 有关 API 以及事务、拦截器、监控等高级篇,让大家彻底理解并且会用 Kafka。

作者:臧远慧

(编辑:ASP站长网)

网友评论
推荐文章
    热点阅读