kafka的集群管理是通过zookeeper实现的
第一步zookeeper启动
bin/zookeeper-server-start.sh config/zookeeper.properties
第二步kafka启动
bin/kafka-server-start.sh config/server.properties
server.properties中指定zookeeper的地址,用逗号隔开
kafka常用操作命令
1、Create a topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
2、查看所有topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
3、发送消息(producer。每行一条消息)
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test (输入)This is a message
4、查看消息(consumer)
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
5、查看kafka topic分片信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
相关推荐
本文不讲kafka集群原理,只谈部署步骤。 默认读者已对kafka有最基本的认知,纯粹作为部署笔记,方便回忆。 另外本文是基于Windows部署的,Linux的步骤是基本相同的(只是启动脚本位置不同)。 kafka集群类型: ...
本文来自于博客园,本文主要以kafka_2.11-0.10.0.0为例,介绍了Kafka集群的安装和使用,希望对您的学习有所帮助。Kafka是一种高吞吐量的分布式发布订阅的消息队列系统,原本开发自LinkedIn,用作LinkedIn的活动流...
通过对Kafka生产者和消费者的代码示例分析,文档展示了消息的发送和接收过程,同时探讨了Kafka集群的搭建和运维,包括主题创建、分区管理、消息复制和容错处理等核心功能。此外,本文还探讨了Kafka的Java客户端访问...
通过该示例,我们可以学习到如何创建Kafka主题、发送消息到Kafka集群、从Kafka集群消费消息,并将消费到的消息保存到MySQL数据库中。这个示例涵盖了从数据源到数据处理和存储的完整流程,可以帮助你理解和应用实时...
Hyperledger Fabric默认使用solo共识,实际上它...该资源就是使用kafka共识的多orderer集群环境下的网络所需要使用的配置文件。你也可以参考下文帮您理解:http://blog.csdn.net/binbinxyz/article/details/79491254
kafka集群的概念以及基本原理的介绍,kafka的consumer
第3章详细介绍了Kafka集群环境的搭建;第4、5章深入探讨了Kafka客户端的使用方法;第6章带领读者一览Kafka内部设计原理;第7~9章以实例的方式讲解了Kafka集群的管理、监控与调优;第10章介绍了Kafka新引入的流式处理...
Apache Kafka 企业级消息队列的原理、基本架构、搭建 Kafka 集群、操作集群的两种方式、Apache Kafka 原理、消费策略、负载均衡等。
Kafka安装配置、快速启动及基本操作1、Kafka下载2、启动服务扩展知识:进程守护方法和前后台进程切换3、创建一个主题扩展知识:bootstrap-server和zookeeper使用区别4、删除主题5、发送消息6、消费消息7、设置多个...
最近做项目时使用到了Kafka,翻自己博客居然没有相关文章,这时写点文章复习复习,顺便深入理解一下基本操作。 基本模型 Kafka是大数据常用的消息中间件,是由Apache开发的一种发布订阅消息系统,它是一个分布式的、...
kafka运行在集群上,集群包含一个或多个服务器。kafka把消息存在topic中,每一条消息包含键值(key),值(value)和时间戳(timestamp)。kafka有以下一些基本概念:Producer-消息生产者,就是向kafkabroker发消息...
06.Kafka基本操作和最优设置 07.Kafka Java API 简单开发测试 08.storm-kafka 详解和实战案例 09.S图表框架HighCharts介绍 10.HBase快速入门 11.基于HBase的Dao基类和实现类开发一 12.基于HBase的Dao基类和实现类...
该存储库中的示例演示了如何将Kafka Consumer,Producer和Streaming API与HDInsight集群上的Kafka一起使用。 hdinsight-kafka-java-get-started 使用Kafka Consumer,Producer和Streaming API的基于Java的示例 该...
分布式消息队列Kafka的基本架构和集群搭建过程,以及使用Java语言实现客户端API的详细过程。 第三部分(第8~9章):详细讲解了企业大数据处理的两个实际应用案例,分别是基于Druid构建多维数据分析平台和基于JMX...
该存储库包含Vagrant和Ansbile配置,用于在本地计算机上快速设置小型Kafka集群。 使用shell脚本vagrant-up.sh来启动它。 先决条件: 安装以下软件: HashiCorp流浪者 Ansible OracleVirtualBox bsdtar实用程序 ...
Sangrenel是Kafka集群负载测试工具。 Sangrenel最初是为进行一些基准性能测试而创建的,在我在AWS上的负载测试Apache Kafka中得到了体现。 使用此工具时,请记住,基准测试始终是对整个系统性能的检查,并且测试...