兴盛优选数仓体系建设

兴盛优选数仓体系建设

摘要

当前兴盛优选的基础数仓采用了业界标准的数仓分层模型，并结合了Flink++Spark+Hudi的架构，使用了数据湖的功能。基于Flink实现了实时线的数据处理，可以支持秒级可见性延迟；而基于Spark和Hudi实现了批量线的数据处理，可实现5-10分钟的可见性延迟。数仓团队会根据业务需要在不同的线进行开发，以满足不同的业务需求。目前数仓已实现了0到1的建设，数据质量和使用也得到了初步的提升和推广。未来的发展方向包括提升可用性、稳定性和准确性，以及提高便利性，通过丰富多场景的宽表和优化查询方式来满足业务需求。