Bootstrap
Flink 和流式应用运维(十-上)

写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。

好未来 x StarRocks:全新实时数仓实践,深入释放实时数据价值

好未来选择了StarRocks来支撑实时数据的分析应用。实现了数据秒级查询响应能力,构建了一个统一、快速、高效、灵活的实时数仓。

100万级车辆数据监控的hadoop大数据架构探索与实践

作者有幸在前些年主导并尝试使用hadoop大数据生态技术对传统车联网项目进行改造,取得了一些成果。本文对该项目进行复盘,聊聊大数据架构在车联网行业中的实践。

Flink 自定义Avro序列化(Source/Sink)到kafka中

最近一直在研究如果提高kafka中读取效率,之前一直使用字符串的方式将数据写入到kafka中。当数据将特别大的时候发现效率不是很好,偶然之间接触到了Avro序列化,发现kafka也是支持Avro的方式于是就有了本篇文章。

大数据技术发展(三):Spark 代替 Hadoop ? Spark Or Flink ?

在大数据领域中,选择使用 Hadoop、还是 Spark、还是 Flink,这个话题是一个非常热门的话题,这篇文章就带你探个究竟,看看到底选择哪一个技术?

Flink,Spark,Storm,Hadoop框架比较

大数据分析作为一种用于分析大量按需数据的工具,越来越受到人们的欢迎。四个最常见的大数据处理框架包括Apache Hadoop,Apache Spark,Apache Storm和Apache Flink。

Flink,Spark,Storm,Hadoop框架比较

大数据分析作为一种用于分析大量按需数据的工具,越来越受到人们的欢迎。四个最常见的大数据处理框架包括Apache Hadoop,Apache Spark,Apache Storm和Apache Flink。

大数据Flink培训:维表Join/双流Join的方法

​open()新建一个线程定时加载维表,这样就不需要人工的去重启 Job 来让维度数据做更新,可以实现一个周期性的维度数据的更新_大数据培训。

实践解析可视化开发平台FlinkSever优势

摘要:华为Flink可视化开发平台FlinkServer作为自研服务,能够提供比原生flinksql接口更强的企业级特性,比如任务的集中管理,可视化开发,多数据源配置等。

【FlinkSQL】Flink SQL Query(三)- Join

Flink SQL 支持对动态表进行 Join 操作。有几种不同类型的 Join 可以支持多种语义。

【FlinkSQL】Flink SQL Query 语法(一)

Flink SQL Query,TVF 介绍

【FlinkSQL】Flink SQL CREATE 语法

Flink SQL Create 语法

【FlinkSQL】Flink SQL Query 语法(一)

Flink SQL Query,TVF 介绍

【FlinkSQL】Flink SQL CREATE 语法

Flink SQL Create 语法

Flink Checkpoint 和 Large State 调优

为了使 Flink 应用程序能够可靠地大规模运行,必须满足两个条件: 1. 应用程序需要能够可靠地获取 Checkpoint 2. 在发生故障后,需要足够的资源追上(catch up)输入数据流

Flink EventTime 和 Watermark

Flink 事件时间和 watermark

Flink State 和 Fault Tolerance(二)

Flink State 在 Checkpoint 中的存储和开箱即用的 State backend

【FlinkSQL】Flink SQL Query(三)- Join

Flink SQL 支持对动态表进行 Join 操作。有几种不同类型的 Join 可以支持多种语义。

Flink User-Defined Source

Flink User-defined Source and Sink

Flink Metric

Flink 指标

Flink State 和 Fault Tolerance(三)

Savepoint 是命令触发的 Checkpoint,对流式程序做一次完整的快照并将结果写到 State backend,可用于停止、恢复或更新 Flink 程序。整个过程依赖于 Checkpoint 机制。另一个不同之处是,Savepoint 不会自动清除。

Flink Job 概览

介绍 Flink 是如何调度 Job,以及如何在 JobManager 上维护并跟踪 Job 状态。

快手基于 Flink 构建实时数仓场景化实践

一文了解快手基于 Flink 构建的实时数仓架构,以及一些难题的解决方案。

Flink 和流式应用运维(十-中)

写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。

带你认识Flink容错机制的两大方面:作业执行和守护进程

​​​​​​摘要:Flink 容错机制主要有作业执行的容错以及守护进程的容错两方面,前者包括 Flink runtime 的 ExecutionGraph 和Execution的容错,后者则包括 JobManager 和 TaskManager 的容错。

带你认识Flink容错机制的两大方面:作业执行和守护进程

​​​​​​摘要:Flink 容错机制主要有作业执行的容错以及守护进程的容错两方面,前者包括 Flink runtime 的 ExecutionGraph 和Execution的容错,后者则包括 JobManager 和 TaskManager 的容错。

快手基于 Flink 构建实时数仓场景化实践

一文了解快手基于 Flink 构建的实时数仓架构,以及一些难题的解决方案。

其他标签