知鸦日报2024-06-09

该文章是关于一家名为Myntra的电子商务公司建立直播平台的经历。他们开发了一个主机应用程序，使主持人能够进行直播，并且解决了主持人因为网络问题或设备故障而中断直播的挑战。他们还使用WebRTC进行流媒体采集，并通过Kafka将采集到的数据发送到转码器。转码器将原始视频转换为适用于不同设备和网络的多个格式，然后通过CDN将内容传送给观众。此外，他们使用Blob Storage来存储直播录像。最后，他们提到了一些成功的直播活动和名人嘉宾。该直播平台已经成功运行了三年，没有或极少出现问题。

Pinterest的广告投放平台是公司最关键的系统之一，负责每年超过30亿美元的收入。为了解决多年的技术债务并为未来的业务目标奠定基础，广告基础设施团队重新设计和重写了该系统。他们设计了一个复杂的软件系统，采用代码组织和团队变更管理等措施，以确保易于扩展、关注点分离、安全设计和开发速度。通过使用内部图执行框架Apex和创新的数据模型，在迁移过程中保证了安全执行。重写后的AdMixer服务已在生产环境稳定运行，实现了产品创新的加速和大团队的安全开发，开发人员满意度得到大幅提升，还实现了基础设施成本的降低。详细设计和迁移过程请参考博文的第二部分。

大数据应用像一条工业流水线，它一般会有数据采集、数据加工、数据存储、数据计算及可视化这几个环节。数据采集，顾名思义采集相应的数据，是整个数据流的起点，采集的全不全、对不对，直接决定数据广度和质量，影响后续所有的环节。而埋点作为一种重要的采集手段，可以将用户行为信息转化为数据资产，为产品分析、业务决策、数据推荐、商业化应用等提供可靠的数据支持。

随着移动互联网的发展进步，移动终端电子阅读已经成为人们生活中必不可少的精神娱乐。七猫免费小说旨在为国人提供免费好看的小说、图书，丰富人民的精神文化。那么，移动终端如何能够提供好的内容、样式排版？这就需要对电子书格式进行深入的研究，掌握常见的EPub电子书格式、实现可定制化、差异化、掌握电子书的标准规范，基于标准规范化设计自己的电子书解析引擎，可实现跨平台阅读。

本文讲解了web前端实现全局页面增加水印的方式，拓展介绍了图片增加自定义水印的方法。基本实现了高安全度的水印，保证了页面数据的安全性。

Canal的工作原理就是把自己伪装成MySQL slave，模拟MySQL slave的交互协议向MySQL Mater发送 dump协议，MySQL mater收到Canal发送过来的dump请求，开始推送binary log给Canal，然后Canal解析binary…

通过制作一本EPUB书籍和了解其内部结构，可以让我们对EPUB这种格式的电子书有一个较为全面的了解和认知，今后不但可以编写属于自己的.epub格式的书籍，而且可以根据其结构去编写解析EPUB格式的阅读器和制作用于测试的书籍。希望此篇可以带你开启深入研究EPUB电子书的大门～

随着免费小说业务快速的发展，免费小说客户端的优化也逐渐进入深水区，在2020年我们开始整体阅读器优化的调研工作。阅读器视图控件作为整个阅读器中业务交互最复杂，业务变更最频繁的组件，也是最贴近用户的组件，却面临数据UI耦合严重，广告与阅读器强耦合，代码的可维护性和可拓展性、性能都面临越来越难的境地。越来越多样化的业务视图、视频流化的广告视图，更多的业务刷新场景，多个业务模块数据视图都在阅读器中交汇…

为保证推荐结果的新颖性，本文提出了一种新的策略，通过在推荐流程中的精排阶段引入交互特征（指用户、书籍间的曝光、点击交互数据），在保证不降低推荐精度，甚至略有提升的同时，降低过滤的复杂度，其中总存储由400GB降低为200GB（降低的曝光打压存储，新增的交互特征存储），提升推荐引擎性能， 同时模型更容易维护。

我们常说解决问题的能力是一个人的核心竞争力，解耦就是我们提升解决问题能力的关键工具，让我们面对复杂问题、复杂项目和复杂任务时能够从容不迫，化繁为简，逐步解决遇到的任何难题。

ip2region 是一个准确率99.9%的ip地址定位库。 0.0x毫秒级查询，数据库文件大小只有1.5M，提供了java, php, c, python查询客户端和Binary,B树,内存三种查询算法。

APP需支持IPv6 访问，所以需要研究下怎样能同时支持IPv4和IPv6的高并发访问。查找资料的过程中发现多篇论文提到Trie树，结合之前实现禁词库的经验，深入研究之后发现可行。该处就将IP段生成Trie树过程的剪枝实现进行简单的讨论。

随着产品不断迭代，阅读器作为一个占据用户99%使用时长的模块，承载了愈加复杂的业务功能。开发一个能供人看书的阅读软件并不困难，但是如何打造一个高可用的阅读器却是门道颇深。本篇文章结合本人阅读器新架构实操经验，为大家阐述开发设计中的诸多细节，希望能对大家有所帮助。

由于我们编辑器有自定义排版的需求,所以我查看了dart framework层关于RichText的排版与绘制的流程,发现都是在native实现,也就是在flutter engine中使用C++实现的.所以我们是需要下载flutter engine源码,修改调试,并把自定义的flutter engine接入到我们的项目中.

七猫中文网阅读器页面实现前后端分离，除了要保留原有页面功能（皮肤切换、字号、字体设置），还需要支持vip用户在登录后可以正常阅读vip章节。

实现一个 diff 的功能，这需要解决两个问题，核心问题是如何寻找出两段给定文本的差异，次要问题是如何保存数据。

目前在七猫免费小说 App 端，音频内容主要有 TTS 和有声书两种类型，TTS…

H5页面调试是移动端开发过程中不可或缺的一环，综合运用这些工具，我们可以快速定位问题、优化页面性能，并提升用户体验，随着移动端技术的发展，H5调试技术也会持续进步。我们可以期待更加智能化的调试工具，以及更加全面的性能分析功能。

七猫社区Timeline Feed架构演进是一个旨在改进和优化社区动态展示功能的项目它是书友圈中一个不可获缺的tab。2.0通过对现有架构进行演进，我们可以提升用户体验、优化性能，并满足不断增长的用户需求。

自定义封面功能，从最初的产品需求，到方案调研，到开发完成，再到功能组件化，经历了漫长的过程。开发中所依赖的fabricjs库也是我们第一次使用，它的功能还是非常强大的，帮助我们高效的开发出了一个简单的封面生成工具，不过也遇到了一些奇怪的兼容性问题，例如百分比渐变色在某些浏览器不生效等问题，目前也还在优化迭代中，如果大家有遇到类似的功能，欢迎来一起探讨。

当前有两类实时任务需要频繁重启：第一类任务是，实时报表新增维度，此类任务中，Flink 消费 Kafka 实时数据，处理后按照维度聚合，使用聚合函数计算出指标后写入 StarRocks ；第二类任务是实时 ETL 任务，此类任务中，Flink 消费 Kafka 实时数据，经过字段提取、数据过滤再将结果回写…

伴随着七猫的发展，大数据团队针对不同业务场景和不同数据功能，调研和运用多种技术栈和数据库来来解决了各类数据存放和使用的问题。本文将七猫大数据团队在实践过程中的一些开发技巧和代码示例进行整理，一是用于技术的沉淀记录，二是希望通过该文章能帮助大家对各种数据库同步场景所有启发。

七猫推送系统经过近两年的开发迭代，已逐渐稳定完善，作为成本较低的拉活手段，已成为七猫越来越不可缺少的基础能力。本文将带大家一起回顾七猫推送系统从诞生到成熟稳定的演进。

转眼间，七猫的算法推荐平台已走过了近三个年头，三年来，算法推荐引擎从0到1，经过一次次迭代更新，逐渐变得完善。这篇文章主要从我们推荐引擎的技术架构出发，给大家分享一下我们的架构演化之路，以及对未来演进方向的展望。