写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
奖金翻倍,赛程延长!愿各位开发者都能够取得好成绩。
写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
在某次项目中,需要使用flink的http的api上传jar包。先用curl测试一下api如何使用,于是就去翻官方文档,但是有些地方写的不是很清楚。后来在自己的测试和查阅资料下,终于成功了。
Flink状态管理
基于腾讯云流计算Oceanus和PipeLine搭建的实时数据仓库思想
随着近年来,信息技术迅猛发展,通过各种终端设备收集大量数据。可通过对这些数据进行分析、挖掘、机器学习,实现个性化营销、智能推荐等应用场景,为公司挖掘更多的商业价值,为用户带来更好的体验。
大数据分析作为一种用于分析大量按需数据的工具,越来越受到人们的欢迎。四个最常见的大数据处理框架包括Apache Hadoop,Apache Spark,Apache Storm和Apache Flink。
Flink读取kafka数据
实战,Flink获取kafka中每条消息对应的topic
我们都知道flink 连接kafka时,默认是一个partition对应一个thread,它究竟是怎么实现的呢?以及到我们自己定义 RichParallelSourceFunction 的时候如何借鉴这部分代码呢?
经过不断地努力,社区成功发布 Pulsar Flink Connector 2.5.0 版本。Pulsar Flink Connector 集成了 Apache Pulsar 和 Apache Flink(数据处理引擎),允许 Apache Flink 向 Apache Pulsar 读写数据。
flink源码分析之Flink startupMode是如何起作用的
写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
摘要:今天和大家聊聊Flink双流Join问题。这是一个高频面试点,也是工作中常遇到的一种真实场景。
open()新建一个线程定时加载维表,这样就不需要人工的去重启 Job 来让维度数据做更新,可以实现一个周期性的维度数据的更新_大数据培训。
在某次项目中,需要使用flink的http的api上传jar包。先用curl测试一下api如何使用,于是就去翻官方文档,但是有些地方写的不是很清楚。后来在自己的测试和查阅资料下,终于成功了。
写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
本文是字节跳动数据平台开发套件团队在1月9日Flink Forward Asia 2021: Flink Forward 峰会上的演讲分享,将着重分享Flink在字节跳动数据流的实践。
一直有人在Zeppelin社区问能否在Zeppelin里使用Flink。现在终于有了进展了,从Zeppelin 0.9开始将正式支持Flink 1.10。Flink是一个批流统一的计算引擎,本文将从第一个wordcount的例子为起点来讲述如何在Zeppelin中使用Flink。
在Flink on Zeppelin系列的前面几篇文章中,我讲述了如何在Zeppelin里使用Flink的一些基本操作和配置, 中间也会穿插一些高级feature,但都比较零散,这篇文章会集中重点讲述一些非常实用的Flink on Zeppelin的高级feature。
最近做了一系列Flink on Zeppelin的视频教程,整理出来分享在公众号上,希望对大家有所帮助。下面是大纲:
在Flink on Zeppelin 入门篇 中我们讲述了如何配置Zeppelin + Flink来运行一个最简单的WordCount例子。本文将讲述如何使用Flink SQL + UDF来做Batch ETL和BI数据分析的任务。
继之前入门篇和Batch篇之后,今天这篇Flink on Zeppelin主要讲述如何在Zeppelin中使用Flink的Streaming功能,我们会以2个主要的场景来讲:
今天我来讲下如何在Zeppelin里做机器学习。机器学习的重要性我就不多说了,我们直奔主题。
Flink 1.11 正式发布已经三周了,其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了,所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。
Window 可以说是 Flink 中必不可少的 operator 之一,在很多场合都有很非凡的表现。今天呢,我们就一起来看一下 window 是如何实现的。
自从学会自定义source之后,一直都比较好奇,为什么我实现一个 *SourceFunction,我自己定义的代码就可以跟 Flink很好的整合在一起?
自从学会自定义source之后,一直都比较好奇,为什么我实现一个 *SourceFunction,我自己定义的代码就可以跟 Flink很好的整合在一起?
Flink读取kafka数据
Flink读取kafka数据
flink源码分析之Flink startupMode是如何起作用的
自从学会自定义source之后,一直都比较好奇,为什么我实现一个 *SourceFunction,我自己定义的代码就可以跟 Flink很好的整合在一起?