写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
好未来选择了StarRocks来支撑实时数据的分析应用。实现了数据秒级查询响应能力,构建了一个统一、快速、高效、灵活的实时数仓。
作者有幸在前些年主导并尝试使用hadoop大数据生态技术对传统车联网项目进行改造,取得了一些成果。本文对该项目进行复盘,聊聊大数据架构在车联网行业中的实践。
最近一直在研究如果提高kafka中读取效率,之前一直使用字符串的方式将数据写入到kafka中。当数据将特别大的时候发现效率不是很好,偶然之间接触到了Avro序列化,发现kafka也是支持Avro的方式于是就有了本篇文章。
在大数据领域中,选择使用 Hadoop、还是 Spark、还是 Flink,这个话题是一个非常热门的话题,这篇文章就带你探个究竟,看看到底选择哪一个技术?
大数据分析作为一种用于分析大量按需数据的工具,越来越受到人们的欢迎。四个最常见的大数据处理框架包括Apache Hadoop,Apache Spark,Apache Storm和Apache Flink。
大数据分析作为一种用于分析大量按需数据的工具,越来越受到人们的欢迎。四个最常见的大数据处理框架包括Apache Hadoop,Apache Spark,Apache Storm和Apache Flink。
open()新建一个线程定时加载维表,这样就不需要人工的去重启 Job 来让维度数据做更新,可以实现一个周期性的维度数据的更新_大数据培训。
摘要:华为Flink可视化开发平台FlinkServer作为自研服务,能够提供比原生flinksql接口更强的企业级特性,比如任务的集中管理,可视化开发,多数据源配置等。
Flink SQL Rattern Recognition
Flink SQL 支持对动态表进行 Join 操作。有几种不同类型的 Join 可以支持多种语义。
Flink SQL Query,TVF 介绍
Flink SQL Create 语法
Flink SQL Time Attribute
Flink Data Type 说明
Flink SQL Query,TVF 介绍
Flink SQL Create 语法
Flink Data Type 说明
为了使 Flink 应用程序能够可靠地大规模运行,必须满足两个条件: 1. 应用程序需要能够可靠地获取 Checkpoint 2. 在发生故障后,需要足够的资源追上(catch up)输入数据流
Flink 事件时间和 watermark
Flink State 在 Checkpoint 中的存储和开箱即用的 State backend
Flink SQL 支持对动态表进行 Join 操作。有几种不同类型的 Join 可以支持多种语义。
Flink User-defined Source and Sink
Flink 指标
Flink SQL Time Attribute
Flink SQL Rattern Recognition
Flink State 介绍
Savepoint 是命令触发的 Checkpoint,对流式程序做一次完整的快照并将结果写到 State backend,可用于停止、恢复或更新 Flink 程序。整个过程依赖于 Checkpoint 机制。另一个不同之处是,Savepoint 不会自动清除。
介绍 Flink 是如何调度 Job,以及如何在 JobManager 上维护并跟踪 Job 状态。
一文了解快手基于 Flink 构建的实时数仓架构,以及一些难题的解决方案。
写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
摘要:Flink 容错机制主要有作业执行的容错以及守护进程的容错两方面,前者包括 Flink runtime 的 ExecutionGraph 和Execution的容错,后者则包括 JobManager 和 TaskManager 的容错。
摘要:Flink 容错机制主要有作业执行的容错以及守护进程的容错两方面,前者包括 Flink runtime 的 ExecutionGraph 和Execution的容错,后者则包括 JobManager 和 TaskManager 的容错。
一文了解快手基于 Flink 构建的实时数仓架构,以及一些难题的解决方案。