一个Socket能否被多线程写入

原创 fireflyc 写程序的康德

问题

这段Python代码会连接到服务器端，然后启动两个A、B线程。A不停写入字符“a”到Socket，一次写入32k；B每隔1秒钟写入字符“b”到Socket，每次写入10字节。

A、B两个线程共享了同一个Socket，每次写入都是“完整的数据包”，Python的sendall方法会保证整个数据块完整的写入到Socket中。

问题：服务器端收到的是什么？

实验分析

这是一段服务器端代码，它接受客户端请求读取第一个字符，如果是“a”则尝试读取后续的32767（32768-1）字节；如果是“b”则读取后续的9（10-1）字节。每次读取都是“完整的”，这一点是通过loop_read不断循环读取实现的。

客户端代码通过sendall方法能保证完整的数据交给内核，那么服务器端收到的数据可能是32k的a或者10bytes的b。

找两台服务器分别运行服务器端和客户端（我的环境是2vCPU，1G内存）。大概10-30秒左右，服务器端输出错误——发现“不完整的数据包”。（输出太大，我截取其中一部分）

为了验证不是程序bug而是真的会出现“乱入”（囧，我真找不到合适的词），我通过tcpdump -i ens160 -na -vvvv -Xx port 3000 -w test.pcap在服务器端抓取了数据包，然后通过wireshark分析完整的通讯过程。

“b”数据包只出现了一次，在数据包50。通过wireshark我计算出来前49个数据包一共是390800字节，每次a都是32768一组，那么前49个数据包发送了390800/32768.0= 11.9组“a”。注意：这是一个小数，也就是说最后第12块数据应该全是“a”而这10bytes的“b”完全是“乱入”。

分析

先看一下write方法的工作过程（所有的网络写入其实都是这个系统调用）

write函数最终会调用内核中的tcp_sendmsg函数，数据先被复制到tcp buffer中（这是位于内核的一块存储空间，大小是由参数tcp_wmem控制的），然后加上TCP头、加上IP头，丢给物理网卡。物理网卡中有一块发送队列的存储空间用来存放所有待发送数据。这个发送队列比较特殊是“环形”结构（ring），如果数据太多来不及发送会被丢弃掉（与之对应网卡还有“接收队列”，也是ring结构）。

虽然这个函数开始的时候通过lock_sock 上了锁但是它绝对仅仅代表是线程安全而不是无状态一个的函数。

无状态是指，只要输入的参数一样那么得到的结果应该是一致的；而线程安全是指两个线程可以同时访问。所以无状态一定是线程安全的，而反之则未必。

A、B两个线程，其中A每次写入32k，32k可能会被拆分成多次写入（根据buffer剩余空间决定真正能写入多少数据）；B每次写入10bytes。如果内存不足（图中的wait_for_sndbuf和wait_for_memory）只写入一部分数据那么内核会调用sk_stream_wait_memory等待内存，而这个函数里面会释放sk。完整的调用链sk_stream_wait_memory->sk_wait_event->lock_sock。

当A写入数据的时候资源不足所以写入不完整于是释放资源，而B此时有机会被执行后刚好资源得到释放，于是写入成功；而A再次被执行的时候继续写入未完成的数据时，B已经“乱入”成功。

当分析出结果的时候我的表情