集群搭建详解手把手教你搞定Kafka(集群搭建安装详解配置文件)「kafka集群搭建详细步骤」

Kafka在大型架构占有非常重要的位置,也是必会的消息中间件,下面我就给大家详解比较重要的Kafka集群搭建@mikechen本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》里面。
Kafka集群搭建kafka集群搭建安装从本质上来讲,由一套多节点Zookeeper集群和一套多节点Kafka集群组成组成。
如下图所示:Kafka集群搭建共依赖三部分内容:jdk,zookeeper,kafka,下面我就来详解整个Kafka集群搭建,先准备好需要的环境。
Kafka集群搭建环境1.软件环境准备kafka版本:3.2.0;操作系统:centos 7;Java版本:jdk8;2.kafka和zookeeper集群主要搭建3台kafka集群,IP规划如下:10.0.2.81 kafka110.0.2.82 kafka210.0.2.83 kafka3主要搭建zookeeper集群,IP规划如下:10.0.2.81 zookeeper110.0.2.82 zookeeper210.0.2.83 zookeeper3修改hosts文件,把上面映射关系加进去。
Java安装由于Kafka是用Scala语言开发的,运行在JVM上,因此在安装Kafka之前需要先安装JDK。
而且Kafka依赖Zookeeper,安装Zookeeper也需要JDK,所有都需要安装JDK。
如果安装了JDK跳过即可,如果没有安装,输入命令:yum install java-1.8.0-openjdk -yZookeeper集群搭建步骤Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。
1.下载Zookeeper首先创建Zookeeper项目目录,目录统一放在/opt下面,生产环境中目录结构要定义好。
cd /optmkdir zookeeper #项目目录mkdir zkdata #存放快照日志mkdir zkdatalog#存放事物日志下载Zookeeperwget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.1.tar.gz2.解压Zookeepertar -zxvf zookeeper-3.6.1.tar.gz3.修改配置文件进入到Zookeeper的配置文件目录,将zoo_sample.cfg这个示例配置文件拷贝一份并命名为zoo.cfg,这是Zookeeper默认的配置文件名称。
#进入conf目录cd /opt/zookeeper/zookeeper-3.6.1/conf修改zoo.cfg,在最后一行添加配置,更改为集群模式:server.1=zookeeper1:2888:3888server.2=zookeeper2:2888:3888server.3=zookeeper3:2888:3888这表示Zookeeper的集群模式。
4.依次启动Zookeeperbin/zookeeper-server-start.sh config/zookeeper.propertiesKafka集群搭建步骤安装完Zookeeper后,接下来就可以安装Kafka了。
多节点安装Kafka比只需要创建多份配置文件,然后指定他们启动kafka服务即可。
1.下载Kafkawget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz2.解压Kafkatar -xvf kafka_2.13-2.5.0.tgz3.修改配置文件修改server.properties里面的broker.id,每台机器都不一样分别为:broker.id=1broker.id=2broker.id=34.再修改里面的zookeeper的集群zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:21815.依次启动kafkabin/kafka-server-start.sh config/server.properties本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》里面。
集群搭建详解手把手教你搞定Kafka(集群搭建安装详解配置文件)
(图片来源网络,侵删)

联系我们

在线咨询:点击这里给我发消息