知鸦日报2023-12-03

Dropbox最近推出了使用400G以太网技术的数据中心架构。他们采用了400G-DAC互连的简化版本的MDF机架和跨数据中心的数据中心互连。通过优化光纤网络，支持从100G到400G的连接，并使用密集波分复用系统，提供了更高的带宽和更低的成本。他们在采用400G技术过程中学到了一些重要的教训，例如对组件进行细致的测试，确保向后兼容性，并制定了应对供应链不稳定因素的备用计划。这些经验将有助于他们在未来的发展中应对新的挑战。

ClickHouse是一个开源的高性能面向列的数据库，用于在线分析处理。Lyft决定扩展ClickHouse并废弃Druid，将现有的Druid用例迁移到ClickHouse。ClickHouse相对于Druid具有简化的基础设施管理、较低的学习曲线、数据去重、较低的成本和专门的引擎等优势。Lyft通过基准测试和性能分析来评估ClickHouse，并进行了平滑的迁移过程。他们在Lyft使用ClickHouse的架构是基于Altinity的Kubernetes Operator，在HA模式下运行，使用AWS M5类型的计算实例和EBS卷进行存储。数据的摄取主要通过Kafka和Kinesis进行，并通过内部代理和可视化工具进行读取查询。Lyft在ClickHouse上处理大量数据，并对查询性能进行了优化，包括使用排序键、跳过索引和投影等技术。他们在ClickHouse上处理多个用例，包括市场健康、政策报告、花费追踪、预测和实验等。然而，在使用ClickHouse过程中也遇到了一些问题，如查询缓存性能和与Kafka集成的问题。此外，Lyft计划进一步扩展ClickHouse的使用，包括稳定批处理架构和使用流式Kinesis摄取。他们还计划将Flink SQL迁移到ClickHouse，并考虑使用ClickHouse Keeper替代ZooKeeper以减少外部组件依赖。

Airbnb开发了一个适用于CRM平台的弹性DevOps框架，集成了Salesforce DX、Git、Buildkite和Vlocity，以实现高效、连续且具有高软件质量的交付。他们的解决方案包括使用Git进行版本控制、通过Buildkite进行自动化部署和使用Salesforce DX将代码部署到目标环境。他们还采用了静态代码分析、代码审查和自动化测试等方法来确保代码质量和功能性。他们的框架还采用了预先验证和增量部署的方式来减少部署时间。这些改进使得部署时间从平均90分钟减少到15分钟，并实现了增量部署。他们的DevOps实施成功地提高了软件质量和交付效率。

Grab的Coban团队开发了一个名为Coban的实时数据流平台，其中核心组件是Coban UI和Heimdall。Coban UI是一个前端Web界面，用户可以通过几次点击创建数据流资源，并与多个监控系统无缝集成，实时监控关键指标和健康状态。Heimdall是Coban UI的后端，提供API来管理数据流资源，包括创建、读取、更新和删除操作。Heimdall还负责集中和提供与这些资源相关的元数据，以供其他Grab系统使用。通过从各种上游系统和平台获取数据，并不断丰富和更新元数据，Heimdall可以为其他Grab平台提供全面准确的数据流资源信息。此外，Heimdall还将整个资源清单纳入Grab的库存平台，以及将Kafka流纳入其中。