由于logstash内存占用较大,灵活性相对没那么好,ELK正在被EFK逐步替代.其中本文所讲的EFK是Elasticsearch+Fluentd+Kafka,实际上K应该是Kibana用于日志的展示,这一块不做演示,本文只讲述数据的采集流程.

springcloud 微服务日志写入kafka

摘要：华为Flink可视化开发平台FlinkServer作为自研服务，能够提供比原生flinksql接口更强的企业级特性，比如任务的集中管理，可视化开发，多数据源配置等。

日志集中管理起来以后，定位问题就更高效了，而且还能分析一些有意思的指标。

​​​​​​​​摘要：Kafka网络模块之Server端，介绍Server端启动、接收请求和处理请求的过程。

记录日志是应用程序的一项基本能力，从开发测试到运维调优，以及数据安全和数据挖掘，都离不开日志的记录。本文尝试把日志相关的一些处理都梳理一下，从Spring Boot的日志框架，到Gateway的访问日志（Access Log），到基于AOP和Stream来记录业务操作日志。

本文为大家介绍了关于 kafka-logger 插件的功能前瞻与使用步骤，更多关于 kafka-logger 插件说明和完整配置列表，可以参考官方文档。

摘要：主流的消息中间件包含Kafka、RabbitMQ和RocketMQ，本期云图说为您介绍它们之前的差异。

今天就随便说一说kafka吧，看到哪说到哪，我们有时为了改善系统的性能不得不采取很多措施，消息队列就是其中一个十分有效的方法，我们平时的短信群发，为了避免一下子涌入大量数据，往往会把这些短信送入发送队列，排队一条一条的发送。我们的消息队列和这个

目前Kafka数据导入ClickHouse的常用方案有两种，一种是通过ClickHouse内置的Kafka表引擎实现，另一种是借助数据流组件，如Logstash。

kafka->flume->clickhouse

数据平台SQL开发详解与函数使用

所谓的再平衡，指的是在kafka consumer所订阅的topic发生变化时发生的一种分区重分配机制。一般有三种情况会触发再平衡：

应用耦合：多应用间通过消息队列对同一消息进行处理，避免调用接口失败导致整个过程失败；

Kafka 在消息队列领域为何如此流行？这是多方面协同的结果，包括宏观架构、分布式 partition 存储、ISR 数据同步、以及“无所不用其极”的高效利用磁盘、操作系统特性。每个技术细节都优化到极致，让 Kafka 在众多消息队列中一直保持着强有力的竞争力。

目标： 监控Oracle某张记录表，有新增数据则获取表数据，并推送到微信企业。

大数据技术平台就是一个生态圈，生态里面的各类技术让人眼花缭乱，即便是资深工程师也需要学习跟实践很多年才有一些积累，非专业的人去看当然晕了！因此我们需要把这么一大堆的内容分解开，找出关键的部分，用形象比喻的方式，更容易得让广大初学者从整体架构

Kafka架构基本组成介绍

今天来一起聊聊Kafka基础知识。

从文件布局、文件写入机制、消息发送三个维度阐述Kafka与RocketMQ的性能实现差异的根本原因。

RokcetMQ 与 Kafka 底层存储的那些事儿

也是一个面试热点，到底用推模式还是拉模式呢？

消息队列面试热点一锅端！

使用Spring Cloud的子组件Spring Cloud Stream，是一个构建消息驱动微服务的框架，提供一套消息订阅消费的标准为不同供应商的消息中间件进行集成

Apache Pulsar 延迟消息投递原理解析！

大家都知道，市面上有许多开源的MQ，例如，RocketMQ、Kafka、RabbitMQ等等，现在Pulsar也开始发光，今天我们谈谈笔者最常用的RocketMQ和Kafka，想必大家早就知道二者之间的特点以及区别，但是在实际场景中，二者的选取有可能会范迷惑，那么今天笔者就带领大家

这篇文章主要是介绍了分布式中redis cluster去中心化管理，kafka与rocketmq中心化管理的架构特点，顺便提了一些oceanbase的架构特色。

在系统开发初期，很容易出现这样一种情况：不同业务线上开发人员，因为技术栈和版本时间的影响，在选型的时候会优先使用自己熟悉的，例如MQ中间件常用的：Kafka、Rocket、Rabbit等，这样很容易忽略各个项目之间的组件差异问题

摘要：主流的消息中间件包含Kafka、RabbitMQ和RocketMQ，本期云图说为您介绍它们之前的差异。

2021 阿里云消息队列新功能，看这篇，知全况！

Kafka 在消息队列领域为何如此流行？这是多方面协同的结果，包括宏观架构、分布式 partition 存储、ISR 数据同步、以及“无所不用其极”的高效利用磁盘、操作系统特性。每个技术细节都优化到极致，让 Kafka 在众多消息队列中一直保持着强有力的竞争力。

由于kafka强依赖于zookeeper，所以需先搭建好zookeeper集群。由于zookeeper是由java编写的，需运行在jvm上，所以首先应具备java环境。（ps：默认您的centos系统可联网，本教程就不教配置ip什么的了）（ps2：没有wget的先装一下：yum install wget）（ps3：人

Zookeeper是Apache开源的一个分布式框架，它主要为分布式应用提供协调服务。

docker-compose 快速搭建 kafka（zookeeper）测试环境

大数据技术平台就是一个生态圈，生态里面的各类技术让人眼花缭乱，即便是资深工程师也需要学习跟实践很多年才有一些积累，非专业的人去看当然晕了！因此我们需要把这么一大堆的内容分解开，找出关键的部分，用形象比喻的方式，更容易得让广大初学者从整体架构