基于 Flink 技术的特点，芒果 TV 在未来的数仓建设中将注重实现湖仓一体的架构，以实现对数据的全面管理和利用。

本次分享将为大家介绍实时数仓在曹操出行（互联网网约车出行企业）的实时数仓应用场景，以及通过离线场景向实时场景下加速升级而获得的业务价值。

Flink是一种流处理框架，广泛应用于处理PB级数据。在知乎内部，他们使用Flink处理数据，采用Flink官方提供的native kubernetes部署方式。为解决HDFS的痛点，他们将依赖存放在分布式文件系统中，容器启动时下载进容器，并根据依赖的稳定性进行分类。任务启动流程包括依赖注入和任务启动。这样可以避免Namenode压力过大、跨数据中心拉文件和一些特殊任务不依赖HDFS的问题。

知乎使用了开源分布式关系型数据库TiDB，用于替代MySQL解决扩展能力问题。为了解决数据分片导致的数据版本不一致和分区字段连续性问题，在数据集成平台中，知乎基于Flink构建了实时和离线的数据同步及清洗功能。这样，用户可以将不同数据源的数据导入到相同的数据源中进行进一步分析处理。然而，使用flink-jdbc-connector时仍存在数据分区设置不智能和唯一键约束字段不连续的问题。

知乎引入Flink作为实时计算引擎，构建了实时计算平台Skytree。平台支持业务的日志落地、实时数仓、广告实时特征等需求。为推广平台，引入了Flink SQL并上线了Mipha。Mipha基于Flink SQL Gateway构建，引入了Mipha MetaStore作为统一的元数据管理组件。初版平台部署在Kubernetes上，支持Flink Jar任务、监控和报警机制。然而，平台存在管理问题，如任务源代码丢失。因此，决定通过重新设计整个平台，面向SQL，推出实时计算平台2.0 Mipha。

本文投稿自贝壳家装数仓团队，在结合家装业务场景下所探索出的一种基于 Flink+Paimon 的排序方案。这种方案可以在实时环境对全量数据进行准确的分组排序，同时减少对内存资源的消耗。

本文介绍了微信风控团队面临的挑战和业务安全风控的流程。团队需要解决人力不足、业务场景覆盖和对抗激烈等问题。业务安全风控流程包括分析、特征开发、策略和数据验证。特征开发在风控中至关重要，特征是策略的基石。团队经历了三个阶段建设了一站式的实时特征开发平台，提高了效率。数据质量对用户体验有直接影响，特征质量要高。平台架构采用了平台化方式，提供开箱即用的能力组件解决问题。

序列化是指将数据从内存中的对象序列化为字节流，以便在网络中传输或持久化存储。序列化在Apache Flink中非常重要，因为它涉及到数据传输和状态管理等关键部分。

当前有两类实时任务需要频繁重启：第一类任务是，实时报表新增维度，此类任务中，Flink 消费 Kafka 实时数据，处理后按照维度聚合，使用聚合函数计算出指标后写入 StarRocks ；第二类任务是实时 ETL 任务，此类任务中，Flink 消费 Kafka 实时数据，经过字段提取、数据过滤再将结果回写…

Apache Flink是一种流处理系统，用于实时数仓建设。数据同步使用cannal监控数据库的binlog日志，并发送到kafka队列。Flink对数据进行加工打宽，再回写到kafka中。数据的落地使用SparkStreaming写入到hudi。Hudi是幂等的、支持事务的表，适用于电商业务。hudi表可以快照查询、增量查询和读优化。使用OLAP引擎（presto）进行即席查询，也可以将数据同步到华为的Gaussdb，实现秒级时延和更优的查询性能。

本文的内容主要是从业务场景跟进到RocksDB的读写行为，来优化RT耗时高的问题，并使用优化方案缓解compaction的压力。

Flink 指标系统做为非常重要的一层基础设施，有必要对其原理做深入理解，这也是灵活应用 Flink 指标系统的基础。

我们有一个flink任务，消费的kafka的数据，写入到es，非常简单的逻辑，但是出现了数据丢失的情况。

本文整理自美团数据平台计算引擎组工程师冯斐，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分：

1. 相关背景和问题
2. 解决思路分析
3. 资源调度优化实践
4. 后续规划

Flink 可以说已经是流计算领域的事实标准，其开源社区发展迅速，提出了很多改进计划（Flink Improvement Proposals，简称 FLIP）并不断迭代，几乎每个新的版本在功能、性能和使用便捷性上都有所提高。Flink 提供了丰富的数据连接器（connecotr）来连接各种数据源，内置了 kafka、jdbc、hive、hbase、elasticsearch、file system 等常见的 connector，此外 Flink 还提供了灵活的机制方便开发者开发新的 connector。对于 source connector 的开发，有基于传统的 SourceFunction 的方式和基于 Flink 改进计划 FLIP-27 的 Source 新架构的方式。本文首先介绍基于 SourceFunction 方式的不足，接着介绍 Source 新架构以及其设计上的深层思考，然后基于 Flink 1.13 ，以从零开发一个简单的 FileSource connector 为例，介绍开发 source connector 的基本要素，尽量做到理论与实践相结合加深大家的理解。

流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。流计算 Oceanus 提供了便捷的控制台环境，方便用户编写 SQL 分析语句、ETL 作业或者上传运行自定义 JAR 包，支持作业运维管理。欢迎大家试用，目前还有新用户1元秒杀活动，机会难得，不容错过。

For years now, Lyft has not only been a proponent of but also a contributor to Apache Flink. Lyft’s pipelines have evolved drastically over the years, yet, time and time again, we run into unique cases that stretch Flink to its breaking points — this is one of those times.