知鸦日报2021-04-24

随着聊天的持续增长和新的内部工具的出现，帮助我们的代理更有效率和生产力是确保为我们的用户提供更快的支持时间并进一步扩大聊天规模的关键。

从对另一个第三方工具的使用情况进行分析，以及进行一些观察，我们意识到建立一个基于模板的功能不会有帮助。我们需要提供个性化的功能，因为我们的消费者支持专家关心他们的写作风格和语气，而使用模板往往让人觉得是机器人。

我们决定建立一个机器学习模型，称为SmartChat，它通过利用几个内部数据源提供上下文建议，帮助我们的聊天专家更快地打字，从而为更多的消费者服务。

在这篇文章中，我们将解释从问题发现到设计迭代的过程，并分享该模型是如何从数据科学和软件工程角度实现的。

复杂的系统很难进行大规模的推理；我们往往不能准确地推断系统的行为和性能，所以我们需要根据经验得出这些数据。我们使用负载测试来做到这一点：找到我们系统的极限，并在一个受控环境中大规模地剔除错误。Slack是一个相当复杂的系统--无论你是为成千上万的成员触发一个工作流，还是将一个文件上传到一个线程中，所有的东西都是相互关联的 为我们的用户提供发送消息并使其立即出现在可能是数以百万计的客户端的体验所需的技术，对于大规模构建和测试是非常具有挑战性的。为了充分地测试我们的系统，我们需要建立一个既现实又具有成本效益的工具，以反映实际的用户流量和行为。

在过去的几年里，Airbnb的工程从单体的Ruby on Rails架构转移到面向服务的架构。在我们的Rails架构中，我们每个资源都有一个API来访问基础数据。这些API有授权检查以保护敏感数据。由于有一个单一的方法来访问资源的数据，管理这些检查很容易。在向SOA过渡的过程中，我们转向了一个分层的架构，其中有包裹数据库的数据服务和从多个数据服务中提取的展示服务。将权限检查从单片机转移到SOA的最初方法是将这些检查转移到展示服务。然而，这导致了几个问题。

1. 重复的和难以管理的授权检查。通常情况下，多个提供访问相同基础数据的展示服务都有重复的授权检查代码。在某些情况下，这些检查变得不同步，难以管理。
2. 分散到多个服务。这些授权检查大多需要调用其他服务。这很慢，负载难以维持，而且影响了整体性能和可靠性。

前几天，接到研发同事反馈，内网通过 Nginx 代理下载 OSS 的大文件时，老是会断，而在服务器上下载时却很正常，非常奇怪。原本以为可能和 VPN 有关，经确认排除嫌疑。彷徨了许久，最后发现是 Nginx Buffer 的锅。下面就来聊聊这个问题是怎么发生的。

我们的分布式存储业务遇到了几例宕机，业务方用到fuse文件系统，ubuntu 16系统，内核4.10，宕机现场很奇怪，本文主要总结排查过程和涉及的内核知识。

文章涉及的内容有：radix tree的基本知识和一个特殊使用场景、ubuntu 16 kdump遇到的坑、内存回收等等。

文章的上篇已经发布，上篇分析到，案例与radix tree的一种特殊用法有关，下篇将结合crash日志和radix tree源码进行一次深入分析。

随着公司业务的快速发展，需求越来越多、迭代越来越快，在有限的测试人员和时间投入的前提下，如何做好质量防控，如何提高测试效率，是大家持续思考的问题。

公司业务越来越复杂，应用越来越多，接口越来越多，接口的参数也越来越多，如何做好接口测试？如何做全接口的每一个参数的测试？

在测试过程中，测试人员主要面临以下问题：

• 测试人员都把精力放在核心的业务测试上。很少腾出时间来关注接口的各种参数类型的测试。
• 接口越来越多、接口参数也越来越多，很难做到每个接口、每个参数的穷尽测试。
• 针对接口参数设计的测试用例，用例数量通常都很多，如果只靠人工投入，会大大增加测试人员的时间成本，降低测试效率。
• 测试人员核心关注点在正常的业务数据上，非正常业务数据相关的逻辑很少考虑周全，比如最大值、最长字符、特殊值等。

面对以上的问题，如果所有的测试都靠人工来完成，那将是很大的一笔人工和时间开销。是否可以自动化构造测试数据来自动化部分测试类型，将是本文解决的问题。