二维码字帖抠图
当前兴盛优选的基础数仓采用了业界标准的数仓分层模型,并结合了Flink++Spark+Hudi的架构,使用了数据湖的功能。基于Flink实现了实时线的数据处理,可以支持秒级可见性延迟;而基于Spark和Hudi实现了批量线的数据处理,可实现5-10分钟的可见性延迟。数仓团队会根据业务需要在不同的线进行开发,以满足不同的业务需求。目前数仓已实现了0到1的建设,数据质量和使用也得到了初步的提升和推广。未来的发展方向包括提升可用性、稳定性和准确性,以及提高便利性,通过丰富多场景的宽表和优化查询方式来满足业务需求。
欢迎在评论区写下你对这篇文章的看法。
Home - Wiki Copyright © 2011-2024 iteam. Current version is 2.139.0. UTC+08:00, 2024-12-23 09:54 浙ICP备14020137号-1 $Map of visitor$