博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
kafka安装和启动
阅读量:2444 次
发布时间:2019-05-10

本文共 1660 字,大约阅读时间需要 5 分钟。

1. 所需要的环境

Kafka需要以下运行环境: 

Java 安装参考 
Zookeeper 安装参考:

2. 下载、解压Kafka安装包

Kafka官网地址:  

例如:

wget "http://mirrors.hust.edu.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz"tar -xzvf kafka_2.11-0.9.0.1.tgzmv kafka_2.11-0.9.0.1 /opt/
  • 1
  • 2
  • 3

3. 配置环境变量(可选)

将kafka_2.11-0.9.0.1/bin添加到path,以方便访问

vi /etc/profile
  • 1

在末尾添加:

KAFKA_HOME=/opt/kafka_2.11-0.9.0.1PATH=$PATH:$KAFKA_HOME/bin
  • 1
  • 2

4. 启动单机模式

4.1 修改配置文件

cd /opt/kafka_2.11-0.9.0.1/configvi server.properties
  • 1
  • 2

修改配置文件中的以下内容:

broker.id=0        //为依次增长的:0、1、2、3、4,集群中唯一idlog.dirs=/opt/kafka_2.11-0.9.0.1/logs    //日志地址zookeeper.connect=master:2181,slave1:2181,slave2:2181 //zookeeperServers列表,各节点以逗号分开
  • 1
  • 2
  • 3

4.2 启动程序

先要确保zookeeper已启动,然后在Kafka目录执行

nohup bin/kafka-server-start.sh config/server.properties&
  • 1

如果无报错则说明启动成功。nohup &是实现在后台启动。

4.3 简单测试

打开2个终端,分别在Kafka目录执行以下命令 

启动producer

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  • 1

启动consumer

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
  • 1

在producer的命令行输入任意字符,观察consumer是否能正确接收。

5. 常见错误

5.1 启动Kafka时出现

Java HotSpot(TM) Server VM warning: INFO: os::commit_memory(0x67e00000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)## There is insufficient memory for the Java Runtime Environment to continue.# Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memory.# An error report file with more information is saved as:# /opt/kafka_2.11-0.9.0.1/hs_err_pid2249.log
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

错误原因: 

Kafka默认使用-Xmx1G -Xms1G的JVM内存配置,如果机器内存较小,需要调整启动配置。 
打开/config/kafka-server-start.sh,修改 
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" 
为适合当前服务器的配置,例如export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

转载地址:http://jfxqb.baihongyu.com/

你可能感兴趣的文章
如何将音乐添加到PowerPoint演示文稿
查看>>
mozilla.pdf_Mozilla说它没有从Booking.com赚钱
查看>>
fitbit手表中文说明书_Fitbit OS达到3.0版,这是新功能
查看>>
ublock origin_Chrome可能会在打破uBlock起源的同时更快地阻止广告
查看>>
电邮地址_我如何找出电子邮件的真正来源?
查看>>
windows虚拟桌面_在Windows中使用虚拟桌面的最佳免费程序
查看>>
ipad iphone开发_如何在iPhone或iPad上的消息中快速选择表情符号
查看>>
在windows使用gpu_如何选择Windows 10上游戏使用的GPU
查看>>
minecraft启动器_如何使用外部编辑器编辑Minecraft地图
查看>>
什么是适用于iPhone和iPad的iOS最新版本?
查看>>
成为产品不一定是坏事
查看>>
Ubuntu 18.04 LTS现在在Microsoft Store中
查看>>
如何检查已安装的Ubuntu版本
查看>>
如何在Windows 10上禁用附近共享
查看>>
gmail_Gmail将提供自毁电子邮件
查看>>
google 禁止广告_是否应禁止针对个人的广告?
查看>>
Plover.io在本地设备之间快速共享文件
查看>>
如何在OS X照片中禁用iCloud照片同步
查看>>
Minecraft的官方网站分发了受恶意软件感染的皮肤
查看>>
word模板快速填内容_如何快速轻松地在Word中选择内容块
查看>>