`

kafka集群安装和基本使用

阅读更多

kafka的集群管理是通过zookeeper实现的

第一步zookeeper启动

bin/zookeeper-server-start.sh config/zookeeper.properties

 
第二步kafka启动

bin/kafka-server-start.sh config/server.properties

server.properties中指定zookeeper的地址,用逗号隔开

kafka常用操作命令

1、Create a topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

 2、查看所有topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

 3、发送消息(producer。每行一条消息)

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
(输入)This is a message

 4、查看消息(consumer)

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

 5、查看kafka topic分片信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

 

分享到:
评论

相关推荐

    快速部署单机kafka集群(win环境)

    本文不讲kafka集群原理,只谈部署步骤。 默认读者已对kafka有最基本的认知,纯粹作为部署笔记,方便回忆。 另外本文是基于Windows部署的,Linux的步骤是基本相同的(只是启动脚本位置不同)。 kafka集群类型: ...

    Kafka集群的安装和使用

    本文来自于博客园,本文主要以kafka_2.11-0.10.0.0为例,介绍了Kafka集群的安装和使用,希望对您的学习有所帮助。Kafka是一种高吞吐量的分布式发布订阅的消息队列系统,原本开发自LinkedIn,用作LinkedIn的活动流...

    Kafka快速实战与基本原理详解:从零到精通

    通过对Kafka生产者和消费者的代码示例分析,文档展示了消息的发送和接收过程,同时探讨了Kafka集群的搭建和运维,包括主题创建、分区管理、消息复制和容错处理等核心功能。此外,本文还探讨了Kafka的Java客户端访问...

    Spark-Streaming+Kafka+mysql实战示例

    通过该示例,我们可以学习到如何创建Kafka主题、发送消息到Kafka集群、从Kafka集群消费消息,并将消费到的消息保存到MySQL数据库中。这个示例涵盖了从数据源到数据处理和存储的完整流程,可以帮助你理解和应用实时...

    Hyperledger Fabric kafka配置

    Hyperledger Fabric默认使用solo共识,实际上它...该资源就是使用kafka共识的多orderer集群环境下的网络所需要使用的配置文件。你也可以参考下文帮您理解:http://blog.csdn.net/binbinxyz/article/details/79491254

    kafka入门介绍

    kafka集群的概念以及基本原理的介绍,kafka的consumer

    Apache Kafka实战.pdf--有新特性的介绍-强烈推荐

    第3章详细介绍了Kafka集群环境的搭建;第4、5章深入探讨了Kafka客户端的使用方法;第6章带领读者一览Kafka内部设计原理;第7~9章以实例的方式讲解了Kafka集群的管理、监控与调优;第10章介绍了Kafka新引入的流式处理...

    Apache Kafka 企业级消息队列

    Apache Kafka 企业级消息队列的原理、基本架构、搭建 Kafka 集群、操作集群的两种方式、Apache Kafka 原理、消费策略、负载均衡等。

    2、Kafka安装配置、快速启动及基本操作教程

    Kafka安装配置、快速启动及基本操作1、Kafka下载2、启动服务扩展知识:进程守护方法和前后台进程切换3、创建一个主题扩展知识:bootstrap-server和zookeeper使用区别4、删除主题5、发送消息6、消费消息7、设置多个...

    消息中间件Kafka:基本概念和基本使用(经典)

    最近做项目时使用到了Kafka,翻自己博客居然没有相关文章,这时写点文章复习复习,顺便深入理解一下基本操作。 基本模型 Kafka是大数据常用的消息中间件,是由Apache开发的一种发布订阅消息系统,它是一个分布式的、...

    Python操作分布式流处理系统Kafka

    kafka运行在集群上,集群包含一个或多个服务器。kafka把消息存在topic中,每一条消息包含键值(key),值(value)和时间戳(timestamp)。kafka有以下一些基本概念:Producer-消息生产者,就是向kafkabroker发消息...

    Storm流计算项目:1号店电商实时数据分析系统-08.storm-kafka 详解和实战案例.pptx

    06.Kafka基本操作和最优设置 07.Kafka Java API 简单开发测试 08.storm-kafka 详解和实战案例 09.S图表框架HighCharts介绍 10.HBase快速入门 11.基于HBase的Dao基类和实现类开发一 12.基于HBase的Dao基类和实现类...

    hdinsight-kafka-java-get-started:使用Java创建可与HDInsight上的Kafka一起使用的生产者和使用者的基本示例。 也是流式API的演示

    该存储库中的示例演示了如何将Kafka Consumer,Producer和Streaming API与HDInsight集群上的Kafka一起使用。 hdinsight-kafka-java-get-started 使用Kafka Consumer,Producer和Streaming API的基于Java的示例 该...

    企业大数据处理:Spark、Druid、Flume与Kafka应用实践

    分布式消息队列Kafka的基本架构和集群搭建过程,以及使用Java语言实现客户端API的详细过程。 第三部分(第8~9章):详细讲解了企业大数据处理的两个实际应用案例,分别是基于Druid构建多维数据分析平台和基于JMX...

    quick-kafka-cluster

    该存储库包含Vagrant和Ansbile配置,用于在本地计算机上快速设置小型Kafka集群。 使用shell脚本vagrant-up.sh来启动它。 先决条件: 安装以下软件: HashiCorp流浪者 Ansible OracleVirtualBox bsdtar实用程序 ...

    sangrenel:Apache Kafka负载测试“ ...基本上是一个装满锯齿状小铁屑的布袋”

    Sangrenel是Kafka集群负载测试工具。 Sangrenel最初是为进行一些基准性能测试而创建的,在我在AWS上的负载测试Apache Kafka中得到了体现。 使用此工具时,请记住,基准测试始终是对整个系统性能的检查,并且测试...

Global site tag (gtag.js) - Google Analytics