千锋教育-做有情怀、有良心、有品质的职业教育机构

当前位置:首页  >  关于学院  >  技术干货  >  正文

java培训教程分享:深度了解Kafka架构知识

来源:千锋教育
作者:qyf
关键词: java培训 java培训班
2022-04-11
分享

  想要学好java技术,不是一天两天的事情,因为java包含的技术知识点有很多,Kafka架构就是其中一种,本期小编为大家介绍的java培训教程就是关于Kafka架构的,学习了解Kafka数据处理、Kafka 核心组件、broker和集群、Consumer与topic关系、Kafka消息的分发、Consumer的负载均衡开发技术。

1

  java培训教程分享:深度了解Kafka架构知识

  1. Kafka数据处理步骤

  1.1 Producer产生消息发送到Broker中;

  1.2 Leader状态的Broker接收消息,写入到相应topic中;

  1.3 Leader状态的Broker接收完毕以后,传给Follow状态的Broker作为副本备份;

  1.4 Consumer消费Broker中的消息。

  2. Kafka 核心组件

  2.1 Producer:消息生产者产生的消息将会被发送到某个topic;

  2.2 Consumer:消息消费者,消费的消息内容来自某个topic;

  2.3 Topic:消息根据topic进行归类,topic其本质是一个目录,即将同一主题消息归类到同一个目录;

  2.4 Broker:每一个kafka实例(或者说每台kafka服务器节点)就是一个broker,一个broker可以有多个topic;

  2.5 Zookeeper: Zookeeper集群不属于kafka内的组件,但kafka依赖 Zookeeper集群保存meta信息,所以在此做声明其重要性。

  3. broker和集群

  一个独立的Kafka服务器称为broker,broker接收来自生产者的消息为消息设置偏移量并提交消息到磁盘保存。broker为消费者提供服务,对读取分区的请求作出响应,返回已经提交到磁盘上的消息。根据特定的硬件及其性能特征,单个broker可以轻松处理数千个分区以及每秒百万级的消息量。

  broker是集群的组成部分。每个集群都有一个broker同时充当了集群控制器的角色(自动从集群的活跃成员中选举出来)。控制器负责管理工作,包括将分区分配给broker和监控broker。在集群中,一个分区从属于一个broker,该broker被称为分区的首领。一个分区可以分配多个broker,这个时候会发生分区复制。这种复制机制为分区提供了消息冗余,如果一个broker失效,其他broker可以接管领导权。不过,相关的消费者和生产者都要重新连接到新的首领。

  4. Consumer与topic关系

  kafka只支持Topic

  •每个group中可以有多个consumer,每个consumer属于一个consumer group;通常情况下,一个group中会包含多个consumer,这样不仅可以提高topic中消息的并发消费能力,而且还能提高”故障容错”性,如果group中的某个consumer失效那么其消费的partitions将会由其它consumer自动接管。

  •对于Topic中的一条特定的消息,只会被订阅此Topic的每个group中的其中一个consumer消费,此消息不会发送给一个group的多个consumer;那么一个group中所有的consumer将会交错的消费整个Topic,每个group中consumer消息消费互相独立,我们可以认为一个group是一个”订阅”者。

  •在kafka中,一个partition中的消息只会被group中的一个consumer消费(同一时刻);

  一个Topic中的每个partions,只会被一个”订阅者”中的一个consumer消费,不过一个consumer可以同时消费多个partitions中的消息。

  •kafka的设计原理决定,对于一个topic,同一个group中不能有多于partitions个数的consumer同时消费,否则将意味着某些consumer将无法得到消息,而处于空闲状态。

  kafka只能保证一个partition中的消息被某个consumer消费时是顺序的;事实上,从Topic角度来说,当有多个partitions时,消息仍不是全局有序的。

  5. Kafka消息的分发

  •Producer客户端负责消息的分发

  •kafka集群中的任何一个broker都可以向producer提供metadata信息,这些metadata中包含”集群中存活的servers列表”、“partitions leader列表”等信息;

  •当producer获取到metadata信息之后, producer将会和Topic下所有partition leader保持socket连接;

  •消息由producer直接通过socket发送到broker,中间不会经过任何”路由层”。事实上,消息被路由到哪个partition上由producer客户端决定,比如可以采用”random””key-hash””轮询”等。

  •如果一个topic中有多个partitions,那么在producer端实现”消息均衡分发”是必要的。

  •在producer端的配置文件中,开发者可以指定partition路由的方式。

  •Producer消息发送的应答机制

  设置发送数据是否需要服务端的反馈,有三个值0,1,-1

  –0: producer不会等待broker发送ack

  –1: 当leader接收到消息之后发送ack

  –-1: 当所有的follower都同步消息成功后发送ack

  request.required.acks=0

  6. Consumer的负载均衡

  当一个group中,有consumer加入或者离开时,会触发partitions均衡.均衡的最终目的,是提升topic的并发消费能力,步骤如下:

  1.假如topic1,具有如下partitions: P0,P1,P2,P3

  2.加入group A 中,有如下consumer: C0,C1

  3.首先根据partition索引号对partitions排序: P0,P1,P2,P3

  4.根据consumer.id排序: C0,C1

  5.计算倍数: M = [P0,P1,P2,P3].size / [C0,C1].size,本例值M=2(向上取整)

  6.然后依次分配partitions: C0 = [P0,P1],C1=[P2,P3],即Ci = [P(i * M),P((i + 1) * M -1)]

  关于Kafka架构的知识,就是以上介绍的这么多了,千锋教育Java培训教程内容有很多,每一个阶段都会仔细讲解,千锋教育java培训机构欢迎每位想要学习java技术的学员来我们的java培训班学习,大家也可以先点击咨询按钮来获取我们的java课程免费试听资格,在试听中可以更加深入的了解我们千锋教育。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

相关推荐

  • linux备份文件命令(linux备份文件命令cp怎么用) linux下备份一个目录下所有文件及目录,应该用什么命令1、dump命令 Linux dump命令用于备份文件系统。dump为备份工具程序,可将目录或整个文件系统备份至指定的设备,或备份成一个大文件
  • linuxuseradd命令详解(linux中useradd和adduser) linux中useradd,usermod命令的使用方法是什么1、通过 usermod -L 用户名锁住密码,这时在root用户下su -l 用户名还是可以进入到系统中,因为root用户su到任意用
  • linux清空日志log命令(linux如何清日志) 在Linux下如何清除系统日志1、每天0点执行 usrnginxdellog.sh 保存后退出,输入命令crontab root就会看到varspoolcron文件夹下看到相应的副本文件root。至
  • linux新建用户命令(linux创建用户命令) linux系统添加用户命令是什么1、Linux如何创建用户打开xshell软件,远程访问您的服务器或虚拟机。Linux添加用户名的命令是:Suduseraded。输入用户文件夹,查看是否已经有一个包
  • linux打开文件夹命令(linux常用命令 打开文件) linux进入管理员模式命令在Linux的命令提示窗口下。输入su命令,然后输入密码就可以进入管理员了。首先打开linux vi,进入到编辑页面中,然后按下“ESC”按键就可以切换到命令模式中了。然
  • linux安装rz(Linux安装maven) Linux下rz命令怎么使用解决方法:本地系统中安装Xshell,用Xshell连接虚拟机Linux,在Xshell中输入命令rz即可上传文件。通过你的描述,将本地的文件上传至linux ,可以通过