日志实践推荐

背景

---

软件系统生产稳定，依靠着各种高可用、高吞吐、高性能的设计。一旦出现生产问题，常常需要线上定位问题。

日志则是必备的，问题定位利器。常常出现线上问题，我们都可以通过日志精确定位。同时在开发过程中，由于极长的调用链难以快速定位问题或难以复现时，它是极好的利器。

日志级别

---

一个项目各个log级别的定义应该是清楚明确的，是每个开发人员所遵循的；

即使是TRACE或者DEBUG级别的日志，也应该有一定的规范，要保证除了开发人员自己以外，包括测试人员和运维人员都可以方便地通过日志定位问题；

FATAL

表示需要立即被处理的系统级错误。

当该错误发生时，表示服务已经出现了某种程度的不可用，系统管理员需要立即介入。

这属于最严重的日志级别，因此该日志级 别必须慎用，如果这种级别的日志经常出现，则该日志也失去了意义。

通常情况下，一个进程的生命周期中应该只记录一次FATAL级别的日志，即该进程遇到无 法恢复的错误而退出时。

当然，如果某个系统的子系统遇到了不可恢复的错误，那该子系统的调用方也可以记入FATAL级别日志，以便通过日志报警提醒系统管 理员修复；

ERROR

该级别的错误也需要马上被处理，但是紧急程度要低于FATAL级别。

当ERROR错误发生时，已经影响了用户的正常访问。从该意义上来说，实际上 ERROR错误和FATAL错误对用户的影响是相当的。

FATAL相当于服务已经挂了，而ERROR相当于好死不如赖活着，然而活着却无法提供正常的服务，只能不断地打印ERROR日志。

特别需要注意的是，ERROR和FATAL都属于服务器自己的异常，是需要马上得到人工介入并处理的。

而对于用户自己 操作不当，如请求参数错误等等，是绝对不应该记为ERROR日志的；

WARN

该日志表示系统可能出现问题，也可能没有，这种情况如网络的波动等。

对于那些目前还不是错误，然而不及时处理也会变为错误的情况，也可以记为WARN日 志，例如一个存储系统的磁盘使用量超过阀值，或者系统中某个用户的存储配额快用完等等。

对于WARN级别的日志，虽然不需要系统管理员马上处理，也是需要 即使查看并处理的。

因此此种级别的日志也不应太多，能不打WARN级别的日志，就尽量不要打；

INFO

该种日志记录系统的正常运行状态，例如某个子系统的初始化，某个请求的成功执行等等。

通过查看INFO级别的日志，可以很快地对系统中出现的 WARN,ERROR,FATAL错误进行定位。

INFO日志不宜过多，通常情况下，INFO级别的日志应该不大于TRACE日志的10%；

DEBUG or TRACE

这两种日志具体的规范应该由项目组自己定义，该级别日志的主要作用是对系统每一步的运行状态进行精确的记录。

通过该种日志，可以查看某一个操作每一步的执 行过程，可以准确定位是何种操作，何种参数，何种顺序导致了某种错误的发生。

可以保证在不重现错误的情况下，也可以通过DEBUG（或TRACE）级别的 日志对问题进行诊断。

需要注意的是，DEBUG日志也需要规范日志格式，应该保证除了记录日志的开发人员自己外，其他的如运维，测试人员等也可以通过 DEBUG（或TRACE）日志来定位问题；

在出错时，日志中包含尽量多的有用上下文信息

---

为什么可以这么做？

日志过多大家伙会说影响性能，但是值得指出的是出错是小概率分支。如果是出错是大概率分支那，打日志以外操作更会成为瓶颈！

多打日志减少支持时间，比起开发所用的实现时间，线上和线下的排查/支持要花费很多时间；

别吞噬异常！

抓住异常没有书写人和响应日志，将导致难以定位。

    @Override

    public UserAmountStat getUserYestodayStat(Long userId, String day) throws GlobalServiceException {

        // TODO Auto-generated method stub

        try {

            UserAmountStat stat = userAmountStatMapper.getUserYestodayStat(userId, day);

            if (stat == null) {

                stat = new UserAmountStat();

                stat.setBet(0l);

                stat.setPrize(0l);

                stat.setBonus(0l);

            }

            return stat;

        } catch (Exception e) {

            // TODO: handle exception

            throw new GlobalServiceException(e);

        }

    }

此处推荐的需要在日志中记录的内容

• 在系统启动或初始化时记录重要的系统初始化参数
• 记录系统运行过程中的所有的错误
• 记录系统运行过程中的所有的警告
• 在持久化数据修改时记录修改前和修改后的值
• 记录系统各主要模块之间的请求和响应
• 重要的状态变化（如对系统白名单的修改等）
• 系统中一些长期执行的任务的执行进度
• 服务信息：接口、方法、版本等等
• 如果是超时，配置的超时时间，本次处理所用的时间，是Server端超时还Client超时？
• 重试的次数，本次重试的是第几次（fail over）

RequestID

将一个请求的整个处理流程和唯一的requestID关联起来，requestID规则另行定义。

日志输出级别

在设置日志输出级别时，推荐如下：

• 开发、测试环境打开DEBUG；
• 线上生产环境保证设置为WARN级别；

 

关于日志分类

---

日志从功能来说，可分为诊断日志、统计日志、审计日志。

诊断日志：

• 请求入口和出口
• 外部服务调用和返回
• 资源消耗操作: 打开文件等
• 容错行为： 譬如云硬盘的副本修复操作
• 程序异常： 譬如数据库无法连接

• 后台操作：清理程序

• 启动、关闭、配置加载

• 抛出异常时，不记录日志

统计日志：

• 用户访问统计
• 计费日志（如记录用户交易流水日志，格式较为严格，便于统计）

审计日志：

• 管理操作（类似于登录信息记录）

关于日志格式

---

日志格式一定要统一，不能任由开发人员的喜好来。举例来说，对于NOS视频截图超时的ERROR日志，有以下几种方式打印：

第一种：

logger.error(“Gearman timeout exception for request ” + getRequestID() + ” value: ” + value, e);

第二种：

logger.error(“RequestID: ” + getRequestID() + “, Error Message: Gearman timeout exception: ” + e);

第三种：

logger.error(getErrorMessage(getRequestID(), getErrorMessage(), e));

第一种方式打印日志即是开发人员按照自己的喜好来的，这种方法带来的问题是：

• 系统中日志格式不统一，不利于自动化处理
• 有些日志可能只有开发人员自己才能看懂
• 代码规范性不好

而第三种方式，通过一个函数来规范日志格式，所有开发人员便可以通过该接口实现统一的日志。

关于日志语义

---

日志书写语义一定要明确，定义明确语义的异常类信息，在此列举linux环境下两个报错信息作为示例；

[root@ip-172-31-1-43 ~]# cd /file

-bash: cd: /file: 没有那个文件或目录

[root@ip-172-31-1-43 ~]# cd build-public-ult_6.0-2015-09-02-17_6d3c3ee51a.tar.gz

-bash: cd: build-public-ult_6.0-2015-09-02-17_6d3c3ee51a.tar.gz: 不是目录

我们可以看到同样是cd命令，在遇到不同的错误行为时，分别针对性的给出了报错信息。