二丫讲梵 二丫讲梵
首页
  • 最佳实践
  • 迎刃而解
  • Nginx
  • Php
  • Zabbix
  • Prometheus
  • Grafana
  • CentOS
  • Systemd
  • Docker
  • Rnacher
  • Ansible
  • Ldap
  • Gitlab
  • GitHub
  • Etcd
  • Consul
  • RabbitMQ
  • Kafka
  • MySql
  • MongoDB
  • OpenVPN
  • KVM
  • VMware
  • Other
  • ELK
  • K8S
  • Nexus
  • Jenkins
  • 随写编年
  • 家人物语
  • 追忆青春
  • 父亲的朋友圈
  • 电影音乐
  • 效率工具
  • 博客相关
  • Vue
  • Shell
  • Golang学习笔记
  • Golang编程技巧
  • 学习周刊
  • Obsidian插件周刊
关于
  • 分类
  • 标签
  • 归档
    • 友链
    • 导航
    • 打赏
    • json2go (opens new window)
    • 微信MD编辑 (opens new window)
    • 国内镜像 (opens new window)
    • 出口IP查询 (opens new window)
开往 (opens new window)
GitHub (opens new window)

二丫讲梵

行者常至,为者常成
首页
  • 最佳实践
  • 迎刃而解
  • Nginx
  • Php
  • Zabbix
  • Prometheus
  • Grafana
  • CentOS
  • Systemd
  • Docker
  • Rnacher
  • Ansible
  • Ldap
  • Gitlab
  • GitHub
  • Etcd
  • Consul
  • RabbitMQ
  • Kafka
  • MySql
  • MongoDB
  • OpenVPN
  • KVM
  • VMware
  • Other
  • ELK
  • K8S
  • Nexus
  • Jenkins
  • 随写编年
  • 家人物语
  • 追忆青春
  • 父亲的朋友圈
  • 电影音乐
  • 效率工具
  • 博客相关
  • Vue
  • Shell
  • Golang学习笔记
  • Golang编程技巧
  • 学习周刊
  • Obsidian插件周刊
关于
  • 分类
  • 标签
  • 归档
    • 友链
    • 导航
    • 打赏
    • json2go (opens new window)
    • 微信MD编辑 (opens new window)
    • 国内镜像 (opens new window)
    • 出口IP查询 (opens new window)
开往 (opens new window)
GitHub (opens new window)
  • 最佳实践

  • 迎刃而解

  • Nginx

  • Php

  • Zabbix

  • Prometheus

  • Grafana

  • CentOS

  • Supervisord

  • Systemd

  • Docker

  • Docker-Compose

  • Rancher

  • Ansible

  • OpenLdap

  • GitLab

  • GitHub

  • Etcd

  • Consul

  • RabbitMQ

  • Kafka

    • kafka-2-11单机部署
      • 1,简介
      • 2,下载 kafka
      • 3,安装 JDK
      • 4,安装 Kafka
        • 1,启动 kafka
        • 2,功能验证
    • kafka-2-11集群部署
    • kafka-2-11集群监控
    • kafka历史数据清理策略以及配置
    • 如何删除kafka消费组
  • Mysql

  • MongoDB

  • OpenVPN

  • Kvm

  • VMware

  • 配置文件详解

  • Other

  • 运维观止
  • Kafka
二丫讲梵
2019-07-05
目录

kafka-2-11单机部署原创

# 1,简介

Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持 Java 及多种其它语言客户端,可与 Hadoop、Storm、Spark 等其它大数据工具结合使用。

# 2,下载 kafka

wget https://mirrors.cnnic.cn/apache/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz
1

# 3,安装 JDK

Kafka 使用 Zookeeper 来保存相关配置信息,Kafka 及 Zookeeper 依赖 Java 运行环境。

通过如下命令安装:curl 192.168.1.1/a | sh。

此种安装方式可以参考这里 (opens new window)。

# 4,安装 Kafka

从官网下载 Kafka 安装包,解压安装:

tar -xf kafka_2.11-0.11.0.2.tgz     
mv kafka_2.11-0.11.0.2 /usr/local/kafka
cd kafka
1
2
3

# 1,启动 kafka

  • 1,启动 zookeeper。

    使用安装包中的脚本启动单节点 Zookeeper 实例:

    bin/zookeeper-server-start.sh -daemon  config/zookeeper.properties
    
    1

看其他教程说这个地方会有一些标准输出,但是我在使用的过程中并没有将见到有什么输出。

image

根据是否出现红框内 QuorumPeerMain,验证启动是否成功。

  • 2,启动 kafka 服务。

    bin/kafka-server-start.sh -daemon config/server.properties
    
    1

    务必将进程放入后台执行,否则会一直停在一个界面之中。

# 2,功能验证

  • 1,创建 topic

    使用 kafka-topics.sh 创建单分区单副本的 topic test:

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    
    1
  • 2,查看 topic:

    bin/kafka-topics.sh --list --zookeeper localhost:2181
    
    1

    如果输出一个 test 说明正常。

  • 3,产生消息

    使用 kafka-console-producer.sh 发送消息:

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
    Hello world!
    Hello Kafka!
    
    1
    2
    3
  • 4,消费消息

    使用 kafka-console-consumer.sh 接收消息并在终端打印:

     bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
     Hello world!
     Hello Kafka!
    
    1
    2
    3
#kafka
上次更新: 2022/05/09, 23:42:59

← Rabbitmq二进制集群搭建 kafka-2-11集群部署→

最近更新
01
置顶文章汇总 原创
05-23
02
Jenkins基于Share Library共享库的最佳实践探索 原创
05-22
03
Debian系统中执行shell报错unexpected operator 原创
05-21
更多文章>
Theme by Vdoing | Copyright © 2017-2022 | 点击查看十年之约 | 浙ICP备18057030号
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式