古茗是怎么做前端数据中心的之接口分析篇

古茗是怎么做前端数据中心的之接口分析篇

摘要

本文主要介绍了古茗前端数据中心的接口分析工作和数据处理方式。接口分析旨在了解接口的使用情况并及时发现错误，提供指标和错误分析。前端数据采集通过不同的hook方式在不同的端侧进行，如在Web侧通过hack XMLHttpRequest和Fetch，在小程序侧通过hack请求参数的complete回调，在Flutter侧通过覆盖HttpOverrides。数据处理使用nodejs+redis+influxdb+mysql，将数据存储到redis中并定时将列表型统计数据写入mysql。数据处理还包括统计趋势，通过按分钟维度的缓存和统计算法，将URL分类写入缓存并进行数据统计。每分钟，将缓存中的数据写入influxdb并清空缓存。