二丫讲梵 二丫讲梵
首页
  • 最佳实践
  • 迎刃而解
  • Nginx
  • Php
  • Zabbix
  • AWS
  • Prometheus
  • Grafana
  • CentOS
  • Systemd
  • Docker
  • Rancher
  • Ansible
  • Ldap
  • Gitlab
  • GitHub
  • Etcd
  • Consul
  • RabbitMQ
  • Kafka
  • MySql
  • MongoDB
  • OpenVPN
  • KVM
  • VMware
  • Other
  • ELK
  • K8S
  • LLM
  • Nexus
  • Jenkins
  • 随写编年
  • 家人物语
  • 追忆青春
  • 父亲的朋友圈
  • 电影音乐
  • 效率工具
  • 博客相关
  • Shell
  • 前端实践
  • Vue学习笔记
  • Golang学习笔记
  • Golang编程技巧
  • 学习周刊
  • Obsidian插件周刊
关于
友链
  • 本站索引

    • 分类
    • 标签
    • 归档
  • 本站页面

    • 导航
    • 打赏
  • 我的工具

    • 备忘录清单 (opens new window)
    • json2go (opens new window)
    • gopher (opens new window)
    • 微信MD编辑 (opens new window)
    • 国内镜像 (opens new window)
    • 出口IP查询 (opens new window)
    • 代码高亮工具 (opens new window)
  • 外站页面

    • 开往 (opens new window)
    • ldapdoc (opens new window)
    • HowToStartOpenSource (opens new window)
    • vdoing-template (opens new window)
GitHub (opens new window)

二丫讲梵

行者常至,为者常成
首页
  • 最佳实践
  • 迎刃而解
  • Nginx
  • Php
  • Zabbix
  • AWS
  • Prometheus
  • Grafana
  • CentOS
  • Systemd
  • Docker
  • Rancher
  • Ansible
  • Ldap
  • Gitlab
  • GitHub
  • Etcd
  • Consul
  • RabbitMQ
  • Kafka
  • MySql
  • MongoDB
  • OpenVPN
  • KVM
  • VMware
  • Other
  • ELK
  • K8S
  • LLM
  • Nexus
  • Jenkins
  • 随写编年
  • 家人物语
  • 追忆青春
  • 父亲的朋友圈
  • 电影音乐
  • 效率工具
  • 博客相关
  • Shell
  • 前端实践
  • Vue学习笔记
  • Golang学习笔记
  • Golang编程技巧
  • 学习周刊
  • Obsidian插件周刊
关于
友链
  • 本站索引

    • 分类
    • 标签
    • 归档
  • 本站页面

    • 导航
    • 打赏
  • 我的工具

    • 备忘录清单 (opens new window)
    • json2go (opens new window)
    • gopher (opens new window)
    • 微信MD编辑 (opens new window)
    • 国内镜像 (opens new window)
    • 出口IP查询 (opens new window)
    • 代码高亮工具 (opens new window)
  • 外站页面

    • 开往 (opens new window)
    • ldapdoc (opens new window)
    • HowToStartOpenSource (opens new window)
    • vdoing-template (opens new window)
GitHub (opens new window)
  • 最佳实践

  • 迎刃而解

  • Nginx

  • Php

  • Zabbix

  • AWS

  • Prometheus

  • Grafana

  • Loki

  • CentOS

  • Supervisord

  • Systemd

  • Docker

  • Docker-Compose

  • Rancher

  • Ansible

  • OpenLdap

  • GitLab

  • GitHub

  • Etcd

  • Consul

  • RabbitMQ

  • Kafka

    • kafka-2-11单机部署
      • 1,简介
      • 2,下载 kafka
      • 3,安装 JDK
      • 4,安装 Kafka
        • 1,启动 kafka
        • 2,功能验证
    • kafka-2-11集群部署
    • kafka-2-11集群监控
    • kafka历史数据清理策略以及配置
    • 如何删除kafka消费组
  • Mysql

  • MongoDB

  • OpenVPN

  • Kvm

  • VMware

  • 配置文件详解

  • Other

  • 运维观止
  • Kafka
二丫讲梵
2019-07-05
目录

kafka-2-11单机部署

文章发布较早,内容可能过时,阅读注意甄别。

# 1,简介

Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持 Java 及多种其它语言客户端,可与 Hadoop、Storm、Spark 等其它大数据工具结合使用。

# 2,下载 kafka

wget https://mirrors.cnnic.cn/apache/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz
1

# 3,安装 JDK

Kafka 使用 Zookeeper 来保存相关配置信息,Kafka 及 Zookeeper 依赖 Java 运行环境。

通过如下命令安装:curl 192.168.1.1/a | sh。

此种安装方式可以参考这里 (opens new window)。

# 4,安装 Kafka

从官网下载 Kafka 安装包,解压安装:

tar -xf kafka_2.11-0.11.0.2.tgz
mv kafka_2.11-0.11.0.2 /usr/local/kafka
cd kafka
1
2
3

# 1,启动 kafka

  • 1,启动 zookeeper。

    使用安装包中的脚本启动单节点 Zookeeper 实例:

    bin/zookeeper-server-start.sh -daemon  config/zookeeper.properties
    
    1

看其他教程说这个地方会有一些标准输出,但是我在使用的过程中并没有将见到有什么输出。

image

根据是否出现红框内 QuorumPeerMain,验证启动是否成功。

  • 2,启动 kafka 服务。

    bin/kafka-server-start.sh -daemon config/server.properties
    
    1

    务必将进程放入后台执行,否则会一直停在一个界面之中。

# 2,功能验证

  • 1,创建 topic

    使用 kafka-topics.sh 创建单分区单副本的 topic test:

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    
    1
  • 2,查看 topic:

    bin/kafka-topics.sh --list --zookeeper localhost:2181
    
    1

    如果输出一个 test 说明正常。

  • 3,产生消息

    使用 kafka-console-producer.sh 发送消息:

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
    Hello world!
    Hello Kafka!
    
    1
    2
    3
  • 4,消费消息

    使用 kafka-console-consumer.sh 接收消息并在终端打印:

     bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
     Hello world!
     Hello Kafka!
    
    1
    2
    3
微信 支付宝
#kafka
上次更新: 2024/07/04, 22:40:37
Rabbitmq二进制集群搭建
kafka-2-11集群部署

← Rabbitmq二进制集群搭建 kafka-2-11集群部署→

最近更新
01
学习周刊-总第217期-2025年第26周
06-26
02
理论正确,事实错误
06-21
03
学习周刊-总第216期-2025年第25周
06-20
更多文章>
Theme by Vdoing | Copyright © 2017-2025 | 点击查看十年之约 | 浙ICP备18057030号
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式