话题中间件与数据库 › JuiceFS

中间件与数据库:JuiceFS

基于日志的 JuiceFS 可观测最佳实践

JuiceFS 访问日志可通过火山引擎日志服务 TLS 统一采集和解析,支持深度 SQL 分析和实时监控。TLS 提供即用分析大盘,覆盖写操作、顺序读、生命周期等核心场景,帮助用户高效进行性能分析和故障诊断。通过预设模板和自定义仪表盘,用户可快速洞察文件系统操作,优化业务负载,实现全链路可观测能力。

利用 JuiceFS 实现 Flink 动态镜像

Flink是一种流处理框架,广泛应用于处理PB级数据。在知乎内部,他们使用Flink处理数据,采用Flink官方提供的native kubernetes部署方式。为解决HDFS的痛点,他们将依赖存放在分布式文件系统中,容器启动时下载进容器,并根据依赖的稳定性进行分类。任务启动流程包括依赖注入和任务启动。这样可以避免Namenode压力过大、跨数据中心拉文件和一些特殊任务不依赖HDFS的问题。

JuiceFS 在火山引擎边缘计算的应用实践

火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础,构建在边缘大规模基础设施之上的云计算服务,形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。

边缘存储主要面向适配边缘计算的典型业务场景,如边缘渲染。火山引擎边缘渲染依托底层海量算力资源,可助力用户实现百万渲染帧队列轻松编排、渲染任务就近调度、多任务多节点并行渲染,极大提升渲染效率。

文件系统的发展趋势与 JuiceFS 的云上实践

JuiceFS 是一个为云环境而设计的分布式文件系统,在 2021 年初开源后,过去一年在开源社区里发展很快,也受到了很多关注。本次分享希望让大家了解 JuiceFS 的设计背景、设计理念,以及它能够为开发者带来的帮助和价值。

JuiceFS 在携程海量冷数据场景下的实践

携程的冷数据规模在 10PB+,包括备份数据、图片语音训练数据和日志数据等,存储方案主要是本地磁盘和GlusterFS。在实际使用中这些方案遇到了不少痛点:

  • GlusterFS 在单目录下文件众多时,ls命令速度很慢;
  • 受疫情期间机器采购周期的制约,无法灵活地根据实际需求弹性扩缩容,存储成本控制困难;
  • 磁盘损坏等故障带来的机器替换和扩缩容操作,使得运维成本居高不下。

随着云计算技术的发展,公有云厂商为混合云客户提供了海量冷数据的廉价存储方案,经过严谨的成本计算,我们发现使用公有云的对象存储可以显著降低存储和运维成本。为了减少迁移成本,我们一直在寻找后端存储能支持各类公有云对象存储、高性能的文件系统,直到JuiceFS 出现在我们的视野中。JuiceFS有以下优势:

  • POSIX 接口,对应用无侵入
  • 强一致性,文件修改立刻可见,为同一个 volume 被多台机器挂载的场景提供 了close-to-open 保证
  • 支持了主流的公有云对象存储,支持开源软件作为元数据引擎(Redis、TiKV)等
  • 支持云原生,能够将volume以 CSI 的方式挂载到Pod上
  • 社区活跃,代码更新快

经过大半年的测试和使用,我们已经对接了数据库备份和 ElasticSearch 冷数据存储,将2PB+的数据迁移到了JuiceFS,预计后续还会有10PB+的数据接入。目前JuiceFS系统稳定,在降低运维成本和存储成本方面取得了良好的效果。本文将对JuiceFS原理以及我们在使用中所遇到的问题和采取的优化方案进行简单介绍。

  • «
  • 1
  • »

Accueil - Wiki
Copyright © 2011-2025 iteam. Current version is 2.144.3. UTC+08:00, 2025-08-15 01:57
浙ICP备14020137号-1 $Carte des visiteurs$