元数据是数据平台的衍生数据，比如调度任务信息，离线hive表，实时topic，字段信息，存储信息，质量信息，热度信息等。在数据平台建设初期，这类数据主要散落于各种平台子系统的数据库中，例如HiveMetaStore,调度系统db等，在这个时期数据平台主要以服务业务数据需求为主，平台也以管理表，写ETL，配置调度这类功能性需求作为重点，对于这些散落元数据的收集与统一管理并没有太过强烈的诉求。

随着数据平台业务规模的增长，平台会沉淀大量的数据表，调度任务等元数据。由于前期快速的业务发展产生大量数据管理成本，存储计算成本。此时会逐步产生诸如模型规范治理、模型变更影响，指标异动定位，重复建设治理等需求场景。基于这些场景需求，此时数据平台仅提供数据开发相关的功能便难以满足业务需求，需要建设以数据地图（找数），血缘地图（定位数据链路），影响分析工具，资产看板，治理工具 等一系列偏向于事后的信息查询、治理相关产品工具。

由于先前元数据的散落，导致系统间数据相互耦合，边界不清楚，无法以全局视角观察分析平台数据资产，无法串联数据之间的生产加工关系。于是建设起完善可靠的元数据服务成为后续满足数据发现，数据治理业务的关键。

数据平台部作为B站的基础部门，为B站各业务方提供多种数据服务，如BI分析平台，ABTest平台，画像服务，流量分析平台等等，这些服务、平台背后都有海量数据的取数查询需求。伴随着业务的发展，取数服务也面临越来越多的挑战：

1. 需求多、人力紧张，越来越多业务基于数据驱动来做运营，相关的取数需求如：指标查询、UP主、稿件等明细数据的个性化查询需求越来越多，导致在需求响应上，有限的人力跟不上业务发展。
2. 系统架构重复建设：基于Lambda，Kappa的大数据应用架构在B站有一些应用积累，但非平台化，导致在新场景支持上，出现重复建设，增加了维护成本。
3. 性能优化成本高：在满足多种取数场景需求上，数据服务引入多种引擎，比如Elasticsearch、ClickHouse、HBase、MongoDB，这些引擎都需要查询定制优化，增加了研发成本。

基于这些问题的思考，我们在取数服务上经过了2次大的架构升级，不断探索服务化，平台化之路，下面介绍我们在这方面的工作，欢迎大家一起学习交流。

直播行业从传统的娱乐直播发展到教育直播、电商直播等形式，产生了很多新的玩法。

在webrtc技术栈里面，STUN协议虽然不是非常的引人注目，但却是非常重要的一个部分。

为了给用户提供更好的视频观看体验，B站已研发出很多先进的视频图像分析与处理算法。

随着硬件的不断发展，直播观众的电脑性能不断提升。芯片越来越快，显示器越来越大，显示器上的像素点越来越小，能展现的画面也越来越清晰；同时我国的网络建设进步飞速，光纤入户在大部分城市已经普及。这成为网络直播提供更高的画质的有利条件。

观众对画质的追求越来越高，有需求就有市场，主播也使用越来越高的画质进行直播。在这个过程中，直播平台需要负担的带宽成本也迅速攀升。

事实上，网络带宽的支出在技术成本侧是占比最大的部分。为了将成本控制在一个可以接受的范围，各直播平台纷纷使用P2P技术来降低服务器带宽。云服务提供商也提供了成套的解决方案，可以为没有自研能力、无法负担自研成本或短时间内无法完成自研的直播平台提供快速接入。

随着B站内部对HLS协议直播的传输研发完成度不断提高，自研P2P的前提条件具备了。HLS本身是一种切片式的直播传输格式，具体细节可以参考前面的《HLS直播协议在B站的实践》。因为切片是静态文件，所以可以通过HTTP带Range头的请求下载这个文件的指定部分。如果让不同的观众下载同一个切片文件的不同部分，然后这些观众之间再互相交换一下数据，大家就都有完整的数据了，而服务器事实上只传了一份数据出去，带宽成本就大幅度降低了。

目前在B站，线上大概有4000+的flink实时任务，主要支撑数据集成,实时数仓，模型训练，特征指标计算，以及增量化等业务。

当前各种渗透测试工具层出不穷且更新速度快，安全产品对各类渗透工具的检测难度也随之不断上升。

可信赖的数据质量是大数据平台核心竞争力的体现，是大数据航母战斗群的预警机。

B站致力于以网关作为统一标准 API 规范的起点，为业务团队提供更有效的 API 开发生态。

目前我们说的混部技术，主要是将不同优先级的在线业务(通常为延迟敏感型高优先级任务)和离线任务(通常为延时不敏感型低优先级任务)部署在相同的物理机器上，达到提高资源利用率、降低成本的目的。

B站的直播间作为整个APP中交互最为复杂的单页面之一，其承担的业务量已经不亚于一个小型APP。

近几年随着B站业务量和数据量的增长，离线计算集群规模从最初的两百台发展到目前近万台，从单机房发展到多机房。

上次我们介绍了《从零开始的富文本编辑器（上）》，其中我们探讨了contenteditable属性以及slatejs框架的api，本篇我们将接续上篇内容着重介绍一些实践细节。

2022年英雄联盟S12全球总决赛于9月29日拉开帷幕，赛事直播间吸引了大批量英雄联盟忠实粉丝。为了给玩家们提供更好的观赛体验，我们研发了一种面向S12赛事直播的实时画面超分算法来提升画面质量。该算法能够在源流的基础上使得画面细节更加清晰、纹理更加丰富，可以将视频从1080p超分至4k分辨率的同时达到75fps的实时处理速度。

随着必剪项目快速发展，业务功能越来越多，代码量也越来庞大，开发团队也在扩大，以前的项目代码架构和开发模式，存在较多的问题，已经不能满足业务快速迭代的诉求了。