Python subprocess模块项目实战

subprocess 模块允许我们启动一个新进程，并连接到它们的输入/输出/错误管道，从而获取返回值。subprocess 模块首先推荐使用的是它的 run 方法，更高级的用法可以直接使用 Popen 接口。

1. subprocess.run方法

subprocess.run()方法是3.5版本新增的，用于可以接受等待进程执行结束后获取返回值的场景，如果可以满足使用需求，官方推荐使用run()方法。

subprocess.run()的执行过程是同步的，脚本执行结束之前是阻塞的，只有脚本结束之后才会返回subprocess.CompletedProcess对象。

2. subprocess.Popen方法

subprocess.Popen（）常用参数介绍：
args：shell命令，可以是字符串或者序列类型（如：list，元组）
stdin, stdout, stderr：分别表示程序的标准输入、输出、错误句柄
shell：如果该参数为 True，将通过操作系统的 shell 执行指定的命令，args只能是String类型的参数；该参数为False，args可以是序列类型。

Popen 对象常用方法：
poll(): 检查进程是否终止，如果终止返回 returncode，否则返回 None,项目中通过该方法返回判断进程是否执行结束。
wait(timeout): 等待子进程终止，如果进程执行时间较长，可以使用该方法来保证进程执行完整。
communicate(input,timeout): 和子进程交互，发送和读取数据。
send_signal(singnal): 发送信号到子进程 。
terminate(): 停止子进程,也就是发送SIGTERM信号到子进程。
kill(): 杀死子进程。发送 SIGKILL 信号到子进程。

3. run与Popen的同步/异步对比实验

Run()和Popen()同步/异步的简单对比如下：

从执行结果可以看出，Popen在子进程执行过程中就可以获取到日志，run需要等待进程执行完成才能获取到日志。如果需要执行的命令耗时很短，可以选择run方法。因为我们的数据构造流程通常比较长，需要实时获取日志，所以选择了Popen。

在使用Popen的过程中也遇到了一些问题，下面将具体介绍一下遇到的问题以及解决方案。

1. 如何保证获取到完整的进程执行日志

subprocess.Popen()可以获取到执行过程中的日志了，那我们如何保证进程日志获取的完整性呢？我们来看下具体方案：

方案一：这是我们最开始采用的方案。通过获取方法poll()返回的状态码来检查进程是否终止。如果终止，返回 returncode，否则返回 None，代码如下：

该方案在使用的过程中存在问题。当子程序已经执行完毕，日志还没有获取完整，会出现日志接收不全的情况。为了解决这种问题，保证日志的完整性，我们选择通过判断日志是否读取完毕作为判断依据，详细参见方案二。

方案二：通过判断日志是否读取完毕保证日志完整性。代码如下：

这种方法看似解决了日志不全的问题，但是存在着一定的风险。日志为None无法有效保证子进程执行结束（虽然经过多方实践，暂时没有发现日志为None但脚本未执行结束的情况）。为了安全起见，我们还是需要兼顾一下进程的执行状态，具体参见方案三。

方案三：通过判断poll()返回状态和日志返回值，也就是说，程序状态结束且返回对象为空，才表示子进程已经执行结束，并且获取到了完整的日志，代码如下：

该方案已经比较完善了，通过子进程执行结束并且执行日志为None，保证执行日志的完整性。美中不足的是，日志信息可能会比实际的多一些，当输出先读取完毕，子进程还没有结束，我们会获取到一部分空行，为了日志的美观度，我们可以进一步优化，获取日志的时候，过滤掉空行，代码如下：

通过判断输出流和进程的执行状态，完美的解决了上面的问题，保证了日志的完整性与正确性。

2. 如何保证脚本进程正常终止

当脚本执行以后，我们可能会因为某些原因想终止脚本的运行，如参数错误等。在我们项目代码中，使用Popen.terminate()去终止进程的时候，发现命令只终止了父进程，唤起的子进程仍然在执行。

为了找到原因，先看一下项目中创建Popen的代码：

参数介绍的时候提到过，shell为True或False时，command的类型是有要求的。因为我们command传值是String类型，参数shell只能设置为True。当shell=True的时，程序会创建一个shell进程，command是shell进程的子进程。 

Stop the child. On POSIX OSs the method sends SIGTERM to the child. On Windows the Win32 API function TerminateProcess()is called to stop the child

解决方案如下：

方案一：比较优雅的方式，创建Popen对象时，将参数shell设为False。实践发现，当shell=False的时候，Popen.terminate()方法的执行结果是符合预期的； 

subprocess.Popen(command, shell=False)

方案二：手动终止进程。使用第三方工具包psutil，获取全部的子进程并逐一杀掉，该方法在Linux和windows平台通用。代码见下图。

在windows服务器下，还可以用以下命令：

taskkill /t /f /pid {pid}，强制杀掉指定进程以及它的子进程。

windows平台的方案无需第三方依赖，所以我们项目中选择了该方案，项目代码如下：

以上就是Python中的subprocess模块在我们项目实践中遇到的问题以及解决方案，希望可以给大家提供一些使用思路以及规避掉一系列问题。