互联⽹是⼈类历史上最伟⼤的发明创造之一，⽽构成互联⽹架构的核⼼在于TCP/IP协议。那么TCP/IP是如何⼯作的呢，我们先从数据包开始讲起。

1. 数据包

我们以访问⽹易易某一个广告的请求为例：

上图演示了浏览器（作为客户端）发送了了⼀一个HTTP GET请求到⽹易广告投放系统

• 服务器端

• 域名为，IP地址：，端⼝为）

• ⽽网易广告投放系统返回了了HTTP 302响应。

从抓包分析（专题后续会有详细讲述）的角度，查看请求响应在TCP/IP层面是如何交互的（为简化描述，不涉及IP层以下的细节）。

上图每⼀行代表一个数据包的信息，分别为

• 时间（Time）、原IP地址（Source）、目的IP地址（Destination）、协议（Protocol）、长度（Length）和数据包信息（Info）。

浏览器作为客户端（），发送⼴告请求之前，⾸先需要跟广告投放系统服务器（）建⽴连接，⽽建立连接过程是TCP来完成的，于是浏览器委托给客户端TCP来建⽴连接。客户端TCP建立连接的过程是通过来完成的（图中前三个数据包）。

连接建⽴后，客户端TCP通知浏览器可以使⽤连接进行数据通信，于是浏览器准备好HTTP GET⼴告请求数据，委托给客户端TCP发送出去，⽽客户端TCP会把这个⼴告请求数据打包成一个数据分段（因为请求⻓度短），委托IP把数据分段传递给远端的广告服务器，IP把这个数据分段再次打包成IP数据包（图中第四个数据包）并发送出去。请求数据包经过长途跋涉（经过若干个路路由器器）到达服务器，导航是由IP路由来完成的。服务器端IP收到这个数据包后，剥离出数据分段传递给服务器端TCP。服务器端TCP收到IP传递过来的数据分段，回复ack确认，说明服务器端TCP收到了这个请求数据分段，然后服务器端TCP把这个数据分段拆开，取出数据，通知上层⼴告投放系统，有数据需要处理。

广告投放系统根据通知去取数据，进行HTTP解析，发现是⼴告请求，于是进行广告请求处理，并构造HTTP响应内容，委托给服务器端TCP发送给客户端。服务器端TCP接收到应用数据后，打包成一个数据分段（因为响应长度短），委托给IP发送给客户端。服务器端IP把数据分段打包成IP数据包并发送出去。响应数据包经过长途跋涉到达客户端，客户端IP接收到响应数据包（第六个数据包）后，剥离出数据分段并传递到客户端TCP。当客户端TCP接收到⼴告响应数据分段后，拆开，取出数据，并通知浏览器上层应⽤去接收数据。浏览器根据通知取出响应数据后，做后续的⼴告操作。

整个会话过程，从TCP/IP底层来看，都是数据包的传递和处理。数据包是以TCP/IP为核⼼的互联⽹的基本处理单位。

了解了这些，我们继续讲述TCP/IP。

2. TCP/IP概述

我们以RFC 1180中的图作为参考

上图展示了了四层TCP/IP协议图，其中network applications是应用程序，属于应⽤层；TCP和UDP主要是传输数据，属于传输层，TCP确保端对端的可靠传输并尽量确保⽹络健康运行，而UDP是简单不可靠传输；IP主要解决路由问题，属于网络层；ARP是网络地址转换，主要⽤来转换IP地址和MAC地址，介于数据链路层和网络层之间，可以看成2.5层；ENET在这里是数据链路层，网卡驱动属于这⼀层，主要做具体的介质传输，前⾯示例中的广告请求抓包就是在数据链路层抓取。

值得注意的是，ARP在linux系统⾥里里属于⽹网络层，⽽而在RFC⾥里里是介于数据链路路层和⽹网络层之间。在《TCP/IP详解》⼀一书里，ARP被放到了了数据链路层。当解决实际问题的时候，我们应该把ARP放到⽹络层。

上图给出使用TCPCopy在不同层发包的使用⽅法。如果TCPCopy从数据链路层发包，由于没有享受到ARP服务，⽤户需要在使用TCPCopy的时候额外加上MAC地址；而如果TCPCopy从IP层发包，则无需指定MAC地址。

本专题主要讲述TCP相关案例，没有特殊说明的话，TCP特指传输层的TCP。

3. 什么是TCP

TCP即传输控制协议，是⼀种面向连接的、可靠的、基于字节流的通信协议。TCP的主要工作是定义端口标识应用程序的身份，实现端对端的可靠通信，并进行拥塞控制，防止互联网崩塌。

TCP有如下关键特性：

由于TCP是⾯向连接的协议，所以是一种有状态的协议，而有状态的协议往比较复杂，因此TCP学习起来也⽐较困难。

通过状态图来查看一下TCP状态的复杂性：

上图展示了错综复杂的TCP状态图，然而现实更加复杂。

现实中的TCP状态图其实是这样的：

图中，不仅SYN_RCVD状态能够收到reset数据包（图中RST，reset数据包是重置连接的数据包，可以使TCP状态瞬间变为CLOSED状态，⽽CLOSED状态是无法追踪的），⽽且FIN_WAIT1、FIN_WAIT2、ESTABLISHED、SYN_SENT和CLOSE_WAIT都能被reset数据包打回到CLOSED状态。

不仅如此，TCP状态还受到超时的影响。例如Linux系统，⼀旦连接处于FIN_WAIT_2，在60秒内（默认）如果没有接收到对端的FIN数据包，系统会把此连接状态FIN_WAIT_2直接变到CLOSED状态。虽然Linux这样做是为了防止攻击，但这种超时就⼲掉连接状态的做法，很可能误杀了了很多正常连接，从⽽使问题更加捉摸不定。

在互联⽹领域，很多诡异的问题跟TCP状态有关系，专题后续会有较多案例来讲述这些灵异问题。

4. 端⼝

当我们去连接服务器程序时，需要指明服务器端口。为什么需要端⼝呢？因为系统是通过端口来区分不同应用程序，TCP通过端口找到上层应用。

需要注意的是，端⼝号是有限的，端⼝号最大为65535，能够利用的端口数量随配置而定。例如在压力测试过程中，一台机器可以利用的TCP端口是有限的，能够利用的连接（客户端口，客户端IP，服务器应用端⼝，服务器IP地址）是有限的。为了解决这个问题，可以配置多IP地址来扩大可用连接数量。

系统支持同一个端口，不同的IP地址来绑定不同的应用。Linux高版本系统下，在绑定同一个IP地址的情况下，我们还可以利用REUSEPORT机制使不同应用程序共享同一个监听端口，这对高性能服务器开发是非常有用的。我们开发的数据库中间件cetus就利用这个机制来解决短链接⻛暴的问题。

5. IP

网络层的主要工作是定义⽹络地址，区分网段，子网内MAC寻址，对不同子网的数据包进行路路由。IP的主要作用就是在复杂的网络环境中将数据包发给最终的⽬标地址。

IP是⾯向无连接的，是无状态的协议。IP为什么被设计成无状态呢？

• 无状态协议处理简单

• 通信之前无需建立连接

• TCP已经⾯向连接服务了，IP层可以委托TCP来解决面向连接的问题

• 由于不带有状态，互联网路由起来更加自由，容错性也更强

值得注意的是，现实中的IP层往都带有安全过滤，甚至有些路由器，防火墙等中途设备还会干涉应用（例如通过reset数据包来干涉TCP会话），为了更好的做安全检测，IP层还增加了connection tracking，在无状态协议上⾯来追踪上层连接。这种方式提高了安全性，但有时也会带来新的问题，我们后面有案例具体讲述connnection tracking带来的坑的故事。

6. TCP Socket

应⽤程序通过TCP socket接⼝来调用TCP服务，从⽽达到传递数据的目的。每一个TCP socket会被绑定到一个端口，TCP socket双向都可以通信，在发送数据的同时，还可以接收数据。

值得注意的是，应⽤程序发送完数据，只代表通过TCP socket委托给TCP的工作已经完成，不代表发送给对端完毕，应用发送数据和TCP传输数据不是同步的。

7. How TCP/IP Works

当用户通过TCP socket接口发送请求后，TCP协议模块接管了请求传递，TCP先把请求拆分成一个更小的数据分段（假设TCP offload没有开启的情况下），通过IP层发送出去。在IP层，这些数据分段会被封装成IP数据包，通过数据链路层发送给互联网（见下图）。这些数据包经过互联网的多个路由器到达目的地。由于IP网络是无状态的协议，每一个数据包走的路径可能不一样，而且到达的顺序也有可能不一样，这就要求对端的TCP需要重新组装数据包，以确保向应用层传递的数据是用户能够识别的用户请求，这样服务器应⽤程序就可以处理用户发起的请求了。

下图中，假设⽤户请求拆分成两个IP数据包

第⼀个IP数据包可能经过A，B，C，G，如下图。

第二个数据包可能经过A，B，E，G（在B点选择了E节点，导致路径不同），如下图。

导致数据包在B节点走向不同路径的原因可能有很多种，例如C节点暂时不如E节点通畅或者临时发生了网络拥塞，这与在高速道路驾驶的原理差不多。

由于网络环境多变，还可能第二个数据包先到达服务器，这时TCP会负责处理out of order的情况；如果⽹络传递过程中，某一个路由器由于过于繁忙，把第一个数据包丢了，那么客户端的TCP会负责重传第一个数据包，确保服务器端的TCP能够不会因为丢包而收不到第一个数据包。

如果用户请求内容很大，如上传一个大文件，就会被拆分成⼤量数据分段，而TCP传输这些数据分段的时候，往还会考虑整个互联网能够接收的程度和对⽅能够接收的程度，发送数据过于贪婪不仅会连累整个互联网，对方也未必能够接收得了，而且还可能使⾃己速度更慢，这有点像道路驾驶一样，不能过于自私，遵守一定的交通规则才能使道路通畅。在互联网传输数据方面，这些交通规则算法就是赫赫有名的网络拥塞控制算法，而对方能否接收得了，则通过发送窗口的方式进行控制。总体来说，一次发送数据的⼤小是根据对⽅的接收窗口⼤小和拥塞控制算法来综合决定的。

从上面可以看出，IP负责在互联网传输数据，而TCP负责数据传输可靠并且尽量使网络健康运行，两者合作完成了请求的传递，这也是互联网应用工作的普遍方式。

需要注意的是，TCP负责跟TCP进行交互，应用层无需去实现TCP的功能，只需要委托给TCP来完成数据传输，这种隔离的方式给应用层的开发/运维/测试带来了⽅便，另外，当出现TCP相关问题时，解决问题的难度也⼤大增加。

8. TCP经验知识

在多年实战过程中，我们发现以下TCP经验对工作很有帮助。总结如下：

9. IP经验知识

在IP经验知识方面，我们大致总结如下：

10. 、结束语

TCP/IP⽹络是互联网的基石，了解TCP/IP是如何⼯作的，对于我们解决问题是非常有帮助的，下⼀节会充分利用这节所讲的知识进行抓包分析。