目录 (15)
HTTP(Hypertext Transfer Protocol)
最近在面试的过程中,我发现自己忘了很多基础知识,而且也没有好好整理过。所以我抱着从头开始重新学习的心态来写这篇文章…… T_T
HTTP 是一种让我们能够获取资源的协议。它尤其是 Web 上数据交换的基础,主要是 Server-Client 之间的通信协议。通常 Web 浏览器(Chrome、Safari 等)是 Client,而 Tomcat、Nginx 之类的则充当 Server 的角色。
1. 资源
Web 服务器负责管理和提供资源。Web 服务器可以传送静态文件,也可以根据是谁、在什么时候发出的请求来动态地传送数据。例如,登录时每个用户获取到的昵称信息都会不同。而 Web 客户端则通过适合相应用途的 Web 服务器来接收这些数据。
1.1 MIME(媒体类型,Content-type)
MIME(Multipurpose Internet Mail Extensions)是为了解决不同邮件系统之间收发消息时遇到的问题而设计的。更具体地说,由于每个邮件系统都按照自己的方式对附件进行编码,所以需要指定文件的类型和编码方式,使它们能够互相兼容。HTTP 通信中同样会传输各种类型的文件,因此也需要能够通过 MIME 类型来识别要传输的数据。
因此,HTTP 通过 Content-type(数据格式)、Content-length(数据大小)、Content-Encoding(压缩方式)这些头部来传递数据的格式和压缩方式,Web 客户端则利用这些信息对数据进行恰当的处理。
在 HTTP 中接收图片时,MIME 会以如下格式获取。HTTP/1.1 200 OKContent-Type: image/jpegContent-Length: 245760Content-Encoding: gzipContent-Type: {主类型}/{子类型}; charset={编码方式,utf-8 等}Content-Length: 文件大小Content-Encoding: {压缩方式, gzip 等1.2 URI(uniform resource identifier,统一资源标识符)
Web 服务器的资源各自都有名字,客户端必须能够指定这些资源。这种服务器资源的名字就叫做 URI。URI 可以帮助我们唯一地标识信息资源并确定其位置。
例如,这个博客背景视频的 URI 是 https://api.yooncarrot.com/static/home/background2.mp4。(如果知道 S3 服务器地址以及该文件在 S3 中的资源位置,也可以通过 S3 服务器地址来访问。)
URI 分为 URL 和 URN 两种。
URL(uniform resource locator)
表示特定服务器上某个资源的具体位置。URL 由 3 个部分组成。
方案(scheme):https://(通常使用的协议)
服务器的互联网地址(域名):api.yooncarrot.com
资源在服务器上的位置:/static/home/background2.mp4
URN(uniform resource name)
与资源位置无关,充当唯一名称的角色。即使资源位置发生了移动,这个 URN 也应该能正常工作,而且无论使用什么协议都可以访问。(格式为 urn:命名空间:命名空间中的名称,如 urn:isbn:9780134092669)通常书籍、论文的信息就是以这种方式存储的。现在实际上几乎已经不再使用了。
2. 事务
HTTP 事务由请求(client -> server)和响应(server -> client)组成。而这种交互是通过格式化的 HTTP 报文来完成的。
请求
GET /static/home/background2.mp4 HTTP/1.1
Host: api.yooncarrot.com响应
HTTP/1.1 200 OK
Content-type: video/mp4
Content-Length: 981314
请求中包含 HTTP 方法信息、要发送到的服务器地址和路径,响应中则包含协议版本、响应状态、MIME 信息等。而且为了显示一个网页,通常要经过多次 HTTP 事务。(获取 HTML 文档、获取 JS 文件、获取图片……)
2.1 HTTP 方法
客户端在发送请求时,会通过 HTTP 方法告诉服务器应该执行什么操作。
方法 | 说明 |
GET | 把指定的资源发送给客户端 |
PUT | 将客户端发送到服务器的数据存储为指定名称的资源 |
DELETE | 从服务器上删除指定的资源 |
POST | 把客户端数据发送给服务器的网关应用程序 |
HEAD | 只把指定资源的 HTTP 头部发送给客户端 |
OPTIONS | 告诉客户端服务器支持哪些方法 |
2.2 状态码
所有 HTTP 响应都会同时发送状态码和原因短语(像 OK 这样的文字)。原因短语仅供参考,状态是通过 HTTP Status Code 来处理的。
状态码 | 说明 |
200 | 正常 |
302 | 资源已被临时移动,请进行 redirect |
404 | 不存在的资源 |
3. 报文
HTTP 报文不是 binary 格式,而是普通文本,因此读写起来很容易。HTTP 请求和响应由起始行、头部、用于与 body 分隔的空行以及主体组成。

起始行
如果是请求,就告诉服务器要做什么;如果是响应,就告诉客户端发生了什么。
头部
头部以冒号(:)分隔 key 和 value 来传递。如果要添加值,只需再加 1 行即可。
主体
主体出现在头部的空行之后。HTTP 报文的主体中可以包含二进制数据。
4. TCP 连接
要进行 HTTP 通信,就需要 TCP 连接。而且在网络概念中,HTTP 是位于 TCP 之上的层。

如上所示,网络模型有很多种,其中以最近更新的 TCP/IP 5 层模型为基准,把 HTTP 的传输过程整理成表格如下。

把这个传输过程用图来表示的话,如下所示。

详细来说,如果通过计算机应用程序发送数据,就会依次经历以下过程。
生成应用程序数据
在传输层添加 TCP/UDP 头部(端口)(生成报文段)
在网络层添加 IP 头部(生成数据包)
如果是内部网络,就查看 ARP 表,确认是否存在目标 IP 的 MAC 地址;如果没有,就通过 ARP 更新目标 IP 的 ARP 表。
如果是外部网络,就获取 ARP 表中默认网关(下一跳)的 MAC 地址来使用
利用 ARP 表中下一跳的 MAC 地址添加以太网头部(生成帧)
将帧传递给网卡
网卡把数据传送到下一跳的 MAC 地址。
在数据传输过程中,如果有路由器的 ARP 表中存在目标 IP 地址,就最终发送到该 ip。
但是在上述过程中,客户端需要找到服务器的 ip 地址,而我们通常输入的是域名地址。那么,怎样才能通过域名地址知道 ip 呢??例如,要通过 yooncarrot.com 的 443 端口进行 https 通信,就必须知道 yooncarrot.com 的 ip 地址才能访问该服务器。这是因为通过 DNS 获取了域名地址对应的 ip 地址,然后用该 ip 地址进行了 https 通信。
5. HTTP 版本
HTTP 经历了 0.9、1.0、1.1、2.0、3.0 等版本,一直在不断发展。目前已经推出到 3.0,其中 1.1 和 2.0 版本使用得最为频繁。
5.1 HTTP/0.9
HTTP/0.9 是 HTTP 的原型。只能传输 HTML 文件,而且只有 GET 方法。
5.2 HTTP/1.0
这是第一个被广泛使用的版本。增加了版本号、Header、Method、MIME,并且可以通过网页 Form 进行交互。
之后随着 WWW 的急速膨胀,又增加了 keep-alive 连接、虚拟主机支持、代理连接支持等许多功能。
keep-alive 让客户端和服务器之间的多个请求和响应可以通过一个 tcp connection 来处理。这样就减少了每次请求都要建立 connection 的开销,使处理更加高效。另外,如果要断开 connection,可以在头部中加入 Connection: close 来断开。(一个响应延迟导致之后的响应也跟着延迟的现象叫做 HOL blocking。)
5.3 HTTP/1.1
HTTP/1.1 专注于修正 HTTP 设计上的结构性缺陷、进行显著的性能优化以及移除有问题的功能,并支持部署更加复杂的 Web 应用程序。
keep-alive 功能被改为 default,并增加了管线化功能。
管线化是一种可以在一个连接上按顺序发送多个请求、并按顺序接收响应的功能。由于必须保证响应顺序,一个慢响应可能会拖慢全部响应,再加上管线化实现起来很困难,代理服务器也无法正确处理,问题很多,所以现在已经不再使用了。
5.4 HTTP/2.0
HTTP/2.0 把数据的 header 和 body 做成名为 frame 的数据单位,不以 text 而以 binary 形式,再以 stream 的形式发送。另外还增加了 multiplexing(多路复用)功能和 Server Push 功能。
HTTP/2.0 会把每个请求的头部分成 1 个或 2 个 header frame 以及 0 个以上的 data frame,组成 1 个 stream 来发送。
multiplexing(多路复用)是为了解决 HOL(Head of Line)Blocking 而出现的功能。由于以 frame 为单位发送数据,当有 3 个请求时,不必一定按顺序发送 Header,可以在第 3 个请求的 Header 之前先发送第 2 个请求的 Header frame,从而改善了响应按照请求顺序依次处理的现象。
当然,虽然在 Application Layer 上克服了这个问题,但由于 frame 仍然是通过 TCP Connection 收发的,所以无法解决 TCP 中发生的 HOL Blocking。例如,如果中途某个 Header 的数据包丢失了,那么在等待这个丢失的数据包到达的期间,后面要接收的数据仍然必须等待。虽然解决了 Application Layer 中的 HOL Blocking,但没能解决 Transport Layer 中的 HOL。
Server push 是指在客户端发出 HTTP 请求之前,服务器先把资源发送给客户端。但是由于客户端并不知道服务器发送过来的资源,还会再次请求,所以这个功能被移除了。
5.5 HTTP/3.0
HTTP/3.0 解决了 Transport Layer 中的 HOL Blocking 问题。为此,它不再依赖 TCP,而是使用了基于 UDP 的 QUIC 协议。因此,原本基于 TCP 的 Stream 通过使用基于 UDP 的 QUIC 协议,每个流都变得相互独立。建立 Connection 所需的时间变成了 0 秒。
随着使用 QUIC 协议,每个请求 Stream 都可以独立运作。简单举个例子,如果说以前所有请求都只能通过 1 根管道发送,那么使用 QUIC 协议后,就可以使用与请求数量相同的管道来发送请求。也就是说,数据包可以通过多根管道而不是 1 根管道来发送。
QUIC 协议不是在 TCP 和 TLS 之上运行,而是由 QUIC 统一处理,因此延迟非常小。QUIC 基于 UDP 运行,并内置了 TLS 1.3,对于曾经连接过一次的服务器,重新连接时可以用 0-RTT(0 Round Trip Time)直接发送数据。也就是说,因为无需握手就能直接发送数据,所以可以用 0-RTT 直接发送数据。
