由于kafka强依赖于zookeeper，所以需先搭建好zookeeper集群。由于zookeeper是由java编写的，需运行在jvm上，所以首先应具备java环境。（ps：默认您的centos系统可联网，本教程就不教配置ip什么的了）（ps2：没有wget的先装一下：yum install wget）（ps3：人

Zookeeper是Apache开源的一个分布式框架，它主要为分布式应用提供协调服务。

docker-compose 快速搭建 kafka（zookeeper）测试环境

大数据技术平台就是一个生态圈，生态里面的各类技术让人眼花缭乱，即便是资深工程师也需要学习跟实践很多年才有一些积累，非专业的人去看当然晕了！因此我们需要把这么一大堆的内容分解开，找出关键的部分，用形象比喻的方式，更容易得让广大初学者从整体架构

Apache Kafka 作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。文章介绍基于 Kafka 的实时数仓在搜索的实践应用。

估计节前前祭拜服务器不灵了，年后服务器总是或多或少的出现点问题。不知是人的问题，还是风水问题。昨天下班时，跟运维小伙伴交代了好几遍：如果使用Docker安装Kafka集群的话，也需要把Kafka集群的服务器硬盘分配的大一些，公司业务量很大，很多服务的通信

springcloud 微服务日志写入kafka

SpringCloud微服务日志可以写入file 再通过filebeat写入logstash, 或者直接写入logstash。日志写入kafka,可以利用kafak的高吞吐量高性能来降低系统延迟，之后再异步写入logstash.

springboot 集成kafka 发送消息，监听topic消息

从文件布局、文件写入机制、消息发送三个维度阐述Kafka与RocketMQ的性能实现差异的根本原因。

带你看下一代云原生分布式消息流平台 Apache Pulsar 的成长回顾！

AI 前线导读： 对于云原生分布式应用程序的开发人员来说，为把更多精力放在应用程序和微服务开发上，而不是浪费时间处理复杂的消息基础架构，他们需要一个解决方案帮助管理好这些基础架构。...

Apache Pulsar 具有众多独特优势，如分层存储、无状态 broker、跨地域复制、多租户等，这些特性让 Pulsar 比 Kafka 更胜一筹。 如果你还在 Pulsar 和 Kafka 的选择上犹豫不决，希望本文总结的 Pulsar 十大优势可以帮你作出决策。

Kafka提供了消费者客户端参数partition.assignment.strategy⽤来设置消费者与订阅主题之间的分区分配策略

在系统开发初期，很容易出现这样一种情况：不同业务线上开发人员，因为技术栈和版本时间的影响，在选型的时候会优先使用自己熟悉的，例如MQ中间件常用的：Kafka、Rocket、Rabbit等，这样很容易忽略各个项目之间的组件差异问题

这个系列主要是讲解关于分布式消息中间件的一些心得 关于分布式系统、中间件是什么、消息中间件能做什么、分布式消息中间件长什么样诸如此类基础概念在上一篇文章——分布式消息中间件（1）：Rabbitmq入门到高可用实战！都已经讲过

Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而

相比于 Kafka 等数据处理中间件，分布式消息平台 Apache Pulsar 如何存储数据？本文基于架构，对比了 Apache Kafka 等传统数据处理中间件和分布式消息平台 Apache Pulsar 的优劣势，供大家参考。

Kafka 零拷贝模型

消息在真正发往 Kafka 之前，有可能需要经历拦截器、序列化器和分区器等一系列的作用，前面已经做了一系列分析。那么在此之后又会发生什么呢？先看一下生产者客户端的整体架构，如下图所示。

使用Kafka或Pulsar的一个常见用例是创建工作队列。这两种技术为实现此用例提供了不同的实现。本将讨论在Kafka和Pulsar中实现工作队列的方法以及它们的相对优势。

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL 是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数

继之前的mysql夺命连环之后，我发现我这个标题被好多套用的，什么夺命zookeeper，夺命多线程一大堆，这一次，开始面试题系列MQ专题，消息队列作为日常常见的使用中间件，面试也是必问的点之一，一起来看看MQ的面试题。

要从容地着手去做一件事，但一开始，就要坚持到底。

消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。虽然说，目前状况是Kafka更为火热，但更为广泛的应该还属老牌的RabbtiMQ和Alibaba自主研发的RocketMQ。

面试官问：简历中写到曾经使用 Kafka 作为消息中间件，我们知道，Kafka 是将数据保存到磁盘中的，那么它为何还能够具备如此高的吞吐量和性能呢？

这篇文章主要是介绍了分布式中redis cluster去中心化管理，kafka与rocketmq中心化管理的架构特点，顺便提了一些oceanbase的架构特色。

神马操作！Kafka 竟然宣布弃用 Java 8

docker-compose 快速搭建 kafka（zookeeper）测试环境

引自： https://www.confluent.io/blog/kafka-without-zookeeper-a-sneak-peek/  

Kafka是分布式发布订阅消息系统。它最初由LinkedIn公司采用Scala语言编写，之后成为Apache项目的一部分。Kafka定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用（如Storm、Spark、Flink）。

KafkaProducer核心架构

要从容地着手去做一件事，但一开始，就要坚持到底。

Kafka是分布式发布订阅消息系统。它最初由LinkedIn公司采用Scala语言编写，之后成为Apache项目的一部分。Kafka定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用（如Storm、Spark、Flink）。

项目环境隔离是在研发迭代中是一项非常重要的功能，如何将常用组件串联起完整的项目调用链路也是比较有挑战的工作。本文介绍了在项目开发中涉及的dubbo项目环境隔离，网关项目环境隔离，kafka项目环境隔离，并介绍了以项目标签为核心的的设计方案。