知乎实时数仓实践及架构演进

知乎实时数仓实践及架构演进

摘要

这篇文章介绍了知乎在实时数仓中的稳定性实践。2016年初，知乎选择了Spark Streaming作为实时数据处理框架，考虑了日志量和实时性需求。为了保证数据正确性，知乎在Spark Streaming层实现了At-least-once语义，并在下游做了去重逻辑。文章还提到了通用的ETL逻辑与埋点数据结构的关系。