1、由于之前的项目用到Kafka，在这里也记录一下。
2、也可以选择yuminstall安装，相应设置环境变量。
3、Zookeeper：kafka集群依赖zookeeper来保存集群的的元信息，来保证系统的可用性。使用brew进行安装，非常方便。
4、首先Ansible通过主机清单找到要执行的主机，然后调用具体的模块。其次Ansible会通过连接插件连接对应的主机并推送对应的任务列表。最后被管理的主机会将Ansible发送过来的任务解析为本地Shell命令执行。
5、KafkaConnectplugin是：（1）在一个uberjar文件中包含插件及所有第三方依赖；或（2）一个包含jar包和第三方依赖的目录。
6、大家已经知道了，我们现在来讲讲，合格的大数据工程师，整体需要掌握哪些技术。
准备好一台云服务器，云服务器多包含的基本配置就是cup，内存，硬盘等基本配置。利用云服务器的IP地址，账户名，密码登录。用电脑来登录云服务器，从电脑桌面打开“远程桌面连接”。
选择“开启并继续”，所有华为服务中的自动同步和上传开关默认打开；选择“暂不开启”则不会开启云服务。
在手机的全部设置中找到华为云服务图标，点击开始使用，然后开启华为云服务，输入账号登录。登录首页后可以看到同步联系人和云照片、手机找回、自动备份等按钮，开启对应按钮就可以实现相关操作。
华为云提供的大数据MRS服务可以提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。当前性价比很高，最小规格集群已经低至99元/小时，还有买10个月送2个月的活动。
从华为企业云网站的管理控制台进入获取默认的云服务器账号和密码（华为企业云也会主动发送给你账户密码），完成用户名与密码获取后，再登录云服务器。
1、在Kafka集群（Cluster）中，一个Kafka节点就是一个Broker，消息由Topic来承载，可以存储在1个或多个Partition中。发布消息的应用为Producer、消费消息的应用为Consumer，多个Consumer可以促成ConsumerGroup共同消费一个Topic中的消息。
2、kafka对消息保存时根据Topic进行归类，发送消息者成为Producer，消息接受者成为Consumer，此外kafka集群有多个kafka实例组成，每个实例（server）成为broker。
3、文章主要介绍以docker容器的方式部署kafka集群。上述配置文件中的server.x，数字x对应到data/myid文件中的值。三台机器x的值分别就是1，2，3。参数详细说明请参考官网文档。