Bootstrap
Flink获取kafka中每条消息对应的topic

实战,Flink获取kafka中每条消息对应的topic

实时计算应用及技术选型

公司内已经采用MR与spark之类的技术,做离线计算,为什么用实时计算?

Flink的状态编程和容错机制

流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件,并根据最后一个事件输出结果。例如,流处理应用程序从传感器接收温度读数,并在温度超过90度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。

Flink架构体系

JobManager处理器:

flink流计算可视化web平台

flink-streaming-platform-web 系统是基 Flink 封装的一个可视化的、轻量级的 flink web 客户端系统,用户只需在 web 界面进行 sql 配置就能完成流计算任务 主要功能:包含任务配置、启/停任务、告警、日志等功能,支持 sql 语法提示,格式化、sql 语句校验。

首批+唯一!阿里云实时计算 Flink 版通过信通院大数据产品稳定性测试

阿里云实时计算 Flink 版通过分布式流处理平台稳定性专项测评,阿里云成为「首批+唯一」通过该稳定性专项评测的厂商。

首次揭秘!​春晚活动下快手实时链路保障实践

摘要:本文由快手开发工程师刘建刚分享,主要介绍春晚活动下快手实时链路保障实践。内容主要包含以下四部分:

连续三年蝉联第一,Flink 荣膺全球最活跃的 Apache 开源项目

Apache 软件基金会 2020 年度总结发布,Flink 多项排名领先!

Flink CDC 系列 - 同步 MySQL 分库分表,构建 Iceberg 实时数据湖

本篇教程将展示如何使用 Flink CDC 构建实时数据湖,并处理分库分表合并同步的场景。

扎心!天天写代码,方向真的对吗?

“每个人的时间都是有限的,在有限的时间里选择一项值得投入的技术会变得尤为重要。”

TensorFlow On Flink 原理解析

简介: 本文将分享如何使用一套引擎搞定机器学习全流程的解决方案。先介绍一下典型的机器学习工作流程。如图所示,整个流程包含特征工程、模型训练、离线或者是在线预测等环节。

Flink 完美搭档:数据存储层上的 Pravega

本文将从大数据架构变迁历史,Pravega 简介,Pravega 进阶特性以及车联网使用场景这四个方面介绍 Pravega,重点介绍 DellEMC 为何要研发 Pravega,Pravega 解决了大数据处理平台的哪些痛点以及与 Flink 结合会碰撞出怎样的火花。

数仓系列 | Flink 窗口的应用与实现

简介: 本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下: 1. 整体思路与学习路径 2. 应用场景与编程模型 3. 工作流程与实现机制

实时计算的业务劣势、思维误区和改进之道

实时计算的技术优势,反倒成为其业务劣势?为什么?如何破?本文不讨论技术细节,对数据业务感兴趣同学都建议一读。

Apache Flink在 bilibili 的多元化探索与实践

本文由 bilibili 大数据实时平台负责人郑志升分享,本次分享核心讲解万亿级传输分发架构的落地,以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。

Flink 与 Hive 的磨合期

有不少读者反馈,参考上篇文章《Hive 终于等来了 Flink》部署 Flink 并集成 Hive 时,出现一些 bug 以及兼容性等问题。虽已等来,却未可用。所以笔者增加了这一篇文章,作为姊妹篇。

Flink 1.10 Container 环境实战

简介: 本文第一部分将简明扼要地介绍容器管理系统的演变;第二部分是 Flink on K8S 简介,包括集群的部署模式调度原理等等;第三部分是我们这一年以来关于 Flink on K8S 的实战经验分享,

如何从 0 到 1 参与 Flink 社区?

简介: 本文首先介绍为何要参与开源社区以及在参与开源社区的过程中需要注意什么,然后重点介绍如何参与 Flink 社区以及在社区里面提交 PR 的整个流程。

Flink 1.10 细粒度资源管理解析

对于作业规模不大的普通用户而言,这些通常在可以接受的范围之内

Flink 消息聚合处理方案

简介: 在本篇文章中我们将详细介绍 Flink 中对消息进行聚合处理的方案,描述不同方案中可能遇到的问题和解决方法,并进行对比。

最佳实践 | Flink Forward 全球会议抢先看!

简介: 来了!我们把 Apache 顶级项目盛会搬到线上,4月25-26日,Flink Forward 全球在线会议精华版直播将正式上线,该系列直播均为中文版,精选大会优质内容由 Apache Flink 核心贡献者们对原版英文 talk 进行翻译及解说,您可直接免费在线观看!

祝贺!两位 Apache Flink PMC 喜提 Apache Member

简介: 目前,国内(华人)近 30 位 Apache Member 中,有 3 位是 Apache Flink 的核心贡献者。他们热爱开源也为开源贡献,不仅积极参与社区与其他 PMC 成员共同规划、主导 Apache Flink 的发展,更活跃在多个开源项目,持续为开源社区做贡献。

都在说实时数据架构,你了解多少?

简介: 本文从上述现状及实时数据需求出发,结合工业界案例、笔者的实时数据开发经验, 梳理总结了实时数据体系建设的总体方案。

Iceberg 在基于 Flink 的流式数据入库场景中的应用

简介: 本文以流式数据入库的场景为基础,介绍引入 Iceberg 作为落地格式和嵌入 Flink sink 的收益,并分析了当前可实现的框架及要点。

Flink 在快手实时多维分析场景的应用

简介: 作为短视频分享跟直播的平台,快手有诸多业务场景应用了 Flink,包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用 Flink 在实时多维分析场景的应用与优化。

都在这儿了!5月 Flink 社区发版、更新汇总

简介: 为 Flink 1.11 热身,然后回溯 Flink 社区的四月份——发布了 Statful Functions 2.0、一个新的自定进度的 Flink 培训以及一些旨在改善 Flink 文档体验的工作。

这场大数据+AI Meetup,一次性安排了大数据当下热门话题

简介: 6月14日,阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启,此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家,集中解读大数据当前热门话题!

这场大数据+AI Meetup,一次性安排了大数据当下热门话题

简介: 6月14日,阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启,此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家,集中解读大数据当前热门话题!

扎心!天天写代码,方向真的对吗?

“每个人的时间都是有限的,在有限的时间里选择一项值得投入的技术会变得尤为重要。”

TensorFlow On Flink 原理解析

简介: 本文将分享如何使用一套引擎搞定机器学习全流程的解决方案。先介绍一下典型的机器学习工作流程。如图所示,整个流程包含特征工程、模型训练、离线或者是在线预测等环节。

Flink 完美搭档:数据存储层上的 Pravega

本文将从大数据架构变迁历史,Pravega 简介,Pravega 进阶特性以及车联网使用场景这四个方面介绍 Pravega,重点介绍 DellEMC 为何要研发 Pravega,Pravega 解决了大数据处理平台的哪些痛点以及与 Flink 结合会碰撞出怎样的火花。

数仓系列 | Flink 窗口的应用与实现

简介: 本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下: 1. 整体思路与学习路径 2. 应用场景与编程模型 3. 工作流程与实现机制

Flink on Zeppelin (1)入门篇

​  一直有人在Zeppelin社区问能否在Zeppelin里使用Flink。现在终于有了进展了,从Zeppelin 0.9开始将正式支持Flink 1.10。Flink是一个批流统一的计算引擎,本文将从第一个wordcount的例子为起点来讲述如何在Zeppelin中使用Flink。

其他标签