LoserZhao – 诗和远方

1. 下载Kafka Parcel包

1.1. CDH Kafka兼容性

Kafka兼容性列表可以参考Cloudera的官方手册：
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka

1.2. 下载地址

由于线上环境要求使用Kafka 1.X 版本，那么我这里选择 3.1.1 版本的 Kafka Parcel 包。
http://archive.cloudera.com/kafka/parcels/3.1.1.2/

根据自己的系统版本下载对应的 parcel，我这里是 CentOS6.5，下载 el6 的 parcel
KAFKA-3.1.1-1.3.1.1.p0.2-el6.parcel
KAFKA-3.1.1-1.3.1.1.p0.2-el6.parcel.sha
manifest.json

2. CDH 安装 Kafka

2.1. Kafka Parcel 拷贝至CDH parcel-repo 文件夹

1、将CDH的 manifest.json 备份

mv /opt/cloudera/parcel-repo/manifest.json /opt/cloudera/parcel-repo/manifest.json_bak_CDH

2、将Kakfa parcel 和 manifest.json 拷贝至 /opt/cloudera/parcel-repo/

cp /home/zhaomin/soft/KAFKA-3.1.1-1.3.1.1.p0.2-el6.parcel* /opt/cloudera/parcel-repo/
cp /home/zhaomin/soft/manifest.json /opt/cloudera/parcel-repo/

2.2. 分配并激活Kafka Parcel

下一步是Kafka的分配并激活，这里我没有截图。

2.3. 上传 Kafka CSD包

下载地址：http://archive.cloudera.com/csds/kafka/

创建CSD的存放路径
mkdir /opt/cloudera/csd
修改用户用户组权限
chown cloudera-scm:cloudera-scm /opt/cloudera/csd
上传Kafka CSD包
cp /home/zhaomin/soft/KAFKA-1.2.0.jar /opt/cloudera/csd/

3. Kafka 配置

这里算是重点吧，因为很多坑。比如虚拟机内存不足导致各种问题。

4. 问题

内存不足导致Broker无法启动，一般出现在本地虚拟机上。
broker_max_heap_size 配置大于 256 M。

文章的脚注信息由WordPress的wp-posturl插件自动生成