Kafka的安装与快速使用
Kafka的安装与快速使用
kafa是一个基于zookeeper的分布式消息系统，具有高吞吐率、高性能、实时以及高可靠的特点
Kafka安装
环境需求：以下操作在: VMware+Centos7环境下进行
前置依赖：JDK8
安装版本：kafka_2.11-2.0.0、zookeeper-3.4.12
下载kafka和zookeeper对应安装包，上传至虚拟机
文件上传我们可以采用第三方工具WinSCP，也可以文件传输的命令行工具rz、sz
安装lrzsz
rz，sz是Linux/Unix同Windows进行ZModem文件传输的命令行工具，rz 可以很方便的从客户端传文件到服务器，sz也可以很方便的从服务器传文件到客户端
yum方式安装:yum install -y lrzsz
从客户端上传文件
直接在ssh连接工具某个路径下命令行输入rz，则会弹出文件选择按钮，
从服务器端下载文件
直接在ssh连接工具中输入sz xxx，会弹出选择框，将服务器端文件xxx下载到客户端本地的某个位置
安装zookeeper
我们将下载的安装包zookeeper-3.4.12.tar.gz上传至服务器，然后解压至某个目录，解压直接执行tar -zxvf zookeeper-3.4.12.tar.gz -C 目标目录
修改zookeeper配置文件
zookeeper默认配置文件为zoo.cfg，他只提供了一个配置文件样例zoo_sample.cfg，所以我们需要对其进行拷贝，创建配置文件zoo.cfg
cp zoo_sample.cfg zoo.cfg
然后对zoo.cfg文件进行一些修改，一般只需关注于下面三个配置即可
启动 zookeeper
切换至bin目录，执行zkServer.sh start
查看状态
zkServer.sh status
关闭服务
zkServer.sh stop
安装kafka
我们将下载的安装包kafka_2.11-2.0.0.tgz上传至服务器，然后解压至某个目录，解压直接执行tar -zxvf kafka_2.11-2.0.0.tgz -C 目标目录
修改kafka配置文件
主要的配置文件为config/server.properties
几个重要的配置为：
Kafka简单使用
Kafka基本概念
Topic
虚拟的概念，消息存放的地方，由1到多个Partitions组成
Partition
实际消息存储单位
Producer
消息生产者
Consumer
消息消费者
Kafka常用命令
在操作kafka之前需要首先启动zookeeper
启动Kafka
1 | bin/kafka-server-start.sh config/server.properties & |
停止Kafka
1 | bin/kafka-server-stop.sh |
创建Topic
1 | bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic bang-topic |
查看已经创建的Topic信息
1 | bin/kafka-topics.sh --list --zookeeper localhost:2181 |
发送消息
1 | bin/kafka-console-producer.sh --broker-list 192.168.59.128:9092 --topic bang-topic |
接收消息
1 | bin/kafka-console-consumer.sh --bootstrap-server 192.168.59.128:9092 --topic bang-topic --from-beginning |
微信
支付宝
