当前有两类实时任务需要频繁重启：第一类任务是，实时报表新增维度，此类任务中，Flink 消费 Kafka 实时数据，处理后按照维度聚合，使用聚合函数计算出指标后写入 StarRocks ；第二类任务是实时 ETL 任务，此类任务中，Flink 消费 Kafka 实时数据，经过字段提取、数据过滤再将结果回写…

Apache Flink是一种流处理系统，用于实时数仓建设。数据同步使用cannal监控数据库的binlog日志，并发送到kafka队列。Flink对数据进行加工打宽，再回写到kafka中。数据的落地使用SparkStreaming写入到hudi。Hudi是幂等的、支持事务的表，适用于电商业务。hudi表可以快照查询、增量查询和读优化。使用OLAP引擎（presto）进行即席查询，也可以将数据同步到华为的Gaussdb，实现秒级时延和更优的查询性能。

本文的内容主要是从业务场景跟进到RocksDB的读写行为，来优化RT耗时高的问题，并使用优化方案缓解compaction的压力。

Flink 指标系统做为非常重要的一层基础设施，有必要对其原理做深入理解，这也是灵活应用 Flink 指标系统的基础。

我们有一个flink任务，消费的kafka的数据，写入到es，非常简单的逻辑，但是出现了数据丢失的情况。

本文整理自美团数据平台计算引擎组工程师冯斐，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分：

1. 相关背景和问题
2. 解决思路分析
3. 资源调度优化实践
4. 后续规划

Flink 可以说已经是流计算领域的事实标准，其开源社区发展迅速，提出了很多改进计划（Flink Improvement Proposals，简称 FLIP）并不断迭代，几乎每个新的版本在功能、性能和使用便捷性上都有所提高。Flink 提供了丰富的数据连接器（connecotr）来连接各种数据源，内置了 kafka、jdbc、hive、hbase、elasticsearch、file system 等常见的 connector，此外 Flink 还提供了灵活的机制方便开发者开发新的 connector。对于 source connector 的开发，有基于传统的 SourceFunction 的方式和基于 Flink 改进计划 FLIP-27 的 Source 新架构的方式。本文首先介绍基于 SourceFunction 方式的不足，接着介绍 Source 新架构以及其设计上的深层思考，然后基于 Flink 1.13 ，以从零开发一个简单的 FileSource connector 为例，介绍开发 source connector 的基本要素，尽量做到理论与实践相结合加深大家的理解。

流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。流计算 Oceanus 提供了便捷的控制台环境，方便用户编写 SQL 分析语句、ETL 作业或者上传运行自定义 JAR 包，支持作业运维管理。欢迎大家试用，目前还有新用户1元秒杀活动，机会难得，不容错过。

For years now, Lyft has not only been a proponent of but also a contributor to Apache Flink. Lyft’s pipelines have evolved drastically over the years, yet, time and time again, we run into unique cases that stretch Flink to its breaking points — this is one of those times.

继OPPO大数据平台开源基于Spark诊断产品Compass（代号“罗盘”）之后，我们又持续迭代开发集成了实时Flink引擎诊断，可用于诊断Flink作业的资源使用情况以及异常问题。在资源诊断方面，Compass给出Flink作业的建议资源参数, 可以缩容或扩容，让作业达到合理的资源使用状态；在异常问题诊断方面，定位Flink作业的运行异常问题，给出改善建议。Compass Flink版本不仅集成DolphinScheduler调度器，即可诊断DolphinScheduler上运行的Flink实时作业，还可以用于可自定义诊断自动上报Flink作业。我们希望通过Compass回馈开源社区，也希望更多人参与进来，共同解决任务诊断的痛点和难题。

At Pinterest, stream data processing powers a wide range of real-time use cases. Our Flink clusters are multitenant and run jobs that concurrently process more than 20M msgs/sec across 12 clusters. Over the course of 2022 and early 2023, we’ve spent a significant period of time optimizing our Flink runtime environment and cluster configurations, and we’d like to share our learnings with you.

本文将侧重介绍部署 K8s 环境，在任务开发、任务部署以及任务监控方面的一些实践总结。

早期使用阿里云OSS作为Checkpoint数据存储，单个Bucket每1P数据量只有免费带宽10Gb/s，超出部分单独计费。为了控制这部分成本，得物开展了自建HDFS在Flink Checkpoint场景下的落地工作。

随着微信业务的飞速发展，大数据应用已经全面走向实时化，业务对流计算引擎的稳定性及性能有更高的要求。微信基于 Flink on K8S 深入打造了云原生、高性能、稳定可靠的实时计算平台，支撑了微信各业务的快速发展。

分享网易传媒在 Flink on K8S 落地过程中关键问题的解决方案和自研实时计算平台 Riverrun 的特色建设。

在数仓分层架构体系中，从 ODS层到 DWD层数据转换需要进行数据清洗、脱敏、列式压缩等步骤。

在日常Flink使用过程中，我们经常遇到Flink任务中某些Slot或者TM负载过重的问题，对日常的资源调配、运维以及降本都带来了很大的影响，所以我们对Flink的task部署机制进行了梳理和调研，准备在后续的工作中进行优化。