目次 (15)
HTTP(Hypertext Transfer Protocol)
最近面接を受けるなかで、基礎をかなり忘れてしまっていて、きちんと整理できていないと感じました。そこで、基礎から初めて学ぶつもりでもう一度記事を書いていきます...(泣)
HTTPはリソースを取得できるようにするためのプロトコルです。特にWeb上で行われるデータ交換の基礎であり、主にServer-Client間の通信プロトコルです。通常はWebブラウザ(Chrome、Safariなど)がClientで、TomcatやNginxのようなものがServerの役割を担います。
1. リソース
Webサーバーはリソースを管理し、提供します。Webサーバーの静的ファイルを渡すこともできますが、誰がいつリクエストしたかによって動的にデータを渡すこともできます。例えば、ログイン時にユーザーごとに受け取るニックネームの情報は異なるはずです。そしてWebクライアントは、用途に合ったWebサーバーを通してこうしたデータを受け取ります。
1.1 MIME(メディアタイプ、Content-type)
MIME(Multipurpose Internet Mail Extensions)は、異なるメールシステム間でメッセージをやり取りするときに起こる問題を解決するために設計されました。より詳しく言うと、各メールシステムがそれぞれ独自の方法で添付ファイルをエンコードしていたため、どんなファイルなのかとエンコード方式を指定して互換性を持たせるためのものでした。HTTP通信でもさまざまな種類のファイルを送るため、送るデータについてMIMEタイプで確認できるようにする必要がありました。
そこでHTTPでは、Content-type(データ形式)、Content-length(データサイズ)、Content-Encoding(圧縮方式)というヘッダーを通じてデータの形式と圧縮方式を送り、Webクライアントはその情報を活用してデータを適切に処理します。
HTTPで画像を受け取ると、MIMEは次のような形式で受け取ることになります。HTTP/1.1 200 OKContent-Type: image/jpegContent-Length: 245760Content-Encoding: gzipContent-Type: {主タイプ}/{サブタイプ}; charset={エンコーディング方式,utf-8など}Content-Length: ファイルサイズContent-Encoding: {圧縮方式, gzipなど1.2 URI(uniform resource identifier、統一資源識別子)
Webサーバーのリソースはそれぞれ名前を持っていて、クライアントはそのリソースを指し示せる必要があります。そして、こうしたサーバーリソースの名前をURIと呼びます。このURIは、情報リソースを一意に識別し、その位置を指定できるようにしてくれます。
例えば、このブログの背景動画のURIは https://api.yooncarrot.com/static/home/background2.mp4です。(S3サーバーのアドレスと、S3上でのそのファイルのリソースの位置がわかれば、S3サーバーのアドレスからアクセスすることもできます。)
URIにはURLとURNの2種類があります。
URL(uniform resource locator)
特定のサーバー上にある1つのリソースの具体的な位置を意味します。そしてURLは3つの部分で構成されます。
スキーム(scheme):https://(通常使われるプロトコル)
サーバーのインターネットアドレス(ドメイン):api.yooncarrot.com
サーバー上のリソースの位置:/static/home/background2.mp4
URN(uniform resource name)
リソースの位置に影響されない、一意の名前の役割を果たします。リソースの位置を移動しても、このURNは問題なく機能しなければならず、プロトコルに関係なくアクセスできます。(urn:名前空間:名前空間内での名前 という形になります。urn:isbn:9780134092669)通常、書籍や論文の情報をこのような形で保存します。現在は事実上ほとんど使われていません。
2. トランザクション
HTTPトランザクションは、リクエスト(client -> server)とレスポンス(server -> client)で構成されます。そして、このやり取りは定型化されたHTTPメッセージで行われます。
リクエスト
GET /static/home/background2.mp4 HTTP/1.1
Host: api.yooncarrot.comレスポンス
HTTP/1.1 200 OK
Content-type: video/mp4
Content-Length: 981314
リクエストにはHTTPメソッドの情報、送信先のサーバーアドレス、パスが含まれ、レスポンスにはプロトコルのバージョン、レスポンスのステータス、MIME情報などが含まれます。そしてWebページを表示するためには、通常何度ものHTTPトランザクションを経ます。(HTML文書を取得して、JSファイルを取得して、画像を取得して...)
2.1 HTTPメソッド
クライアントはリクエストを送るとき、HTTPメソッドでサーバーがどんな動作をすべきかを伝えます。
メソッド | 説明 |
GET | 指定したリソースをクライアントに送れ |
PUT | クライアントからサーバーに送ったデータを、指定した名前のリソースとして保存せよ |
DELETE | 指定したリソースをサーバーから削除せよ |
POST | クライアントのデータをサーバーのゲートウェイアプリケーションに送信せよ |
HEAD | 指定したリソースのHTTPヘッダー部分だけをクライアントに送れ |
OPTIONS | サーバーでどのメソッドが使えるかをクライアントに知らせよ |
2.2 ステータスコード
すべてのHTTPレスポンスには、ステータスコードと理由フレーズ(OKのような文言)が一緒に送られます。理由フレーズは単なる参考用で、ステータスはHTTP Status Codeによって処理されます。
ステータスコード | 説明 |
200 | 正常 |
302 | リソースが一時的に移動したのでredirectせよ |
404 | 存在しないリソース |
3. メッセージ
HTTPメッセージはbinary形式ではなくプレーンテキストなので、読み書きが簡単です。そして、このHTTPリクエストとレスポンスは、開始行、ヘッダー、ボディと区切るための空行、本文で構成されています。

開始行
リクエストであれば何をすべきかをサーバーに伝え、レスポンスであれば何が起きたかをクライアントに伝えます。
ヘッダー
ヘッダーはkeyとvalueをコロン(:)で区切った形で送られます。値を追加する場合は1行追加すればOKです。
本文
本文はヘッダーの空行の次に来ます。HTTPメッセージは本文にバイナリデータを含めることができます。
4. TCPコネクション
HTTP通信を行うにはTCPコネクションが必要です。そしてHTTPは、ネットワークの概念ではTCPの上の階層です

上のようにさまざまなネットワークモデルがありますが、その中から最近更新されたTCP/IPの5階層を基準に、HTTPが送信される過程を表にまとめると次のとおりです。

そして、その送信過程を図で表すと以下のようになります。

詳しく説明すると、コンピューターのアプリケーションからデータを送る場合、次のような順序の過程を経ることになります。
アプリケーションデータの生成
トランスポート層でTCP/UDPヘッダー(ポート)を追加(セグメントの生成)
ネットワーク層でIPヘッダーを追加(パケットの生成)
内部ネットワークであれば、ARPテーブルを確認して宛先IPのMACアドレスがあるかどうかを確認し、なければARPで宛先IPのARPテーブルを更新。
外部ネットワークであれば、ARPテーブルにあるデフォルトゲートウェイ(ネクストホップ)のMACアドレスを取得して使用
ARPテーブルのネクストホップのMACアドレスを使ってイーサネットヘッダーを追加(フレームの生成)
LANカードにフレームを渡す
LANカードはネクストホップのMACアドレスにデータを送る。
データの転送中に、宛先IPアドレスがARPテーブルに存在するルーターがあれば、最終的にそのIPへ送信。
しかし、クライアントは上の過程でサーバーのIPアドレスを見つける必要がありますが、普通はドメインアドレスを入力します。では、どうやってドメインアドレスからIPを知ることができるのでしょうか??例えば、yooncarrot.comの443番ポートでhttps通信をする必要がある場合、yooncarrot.comのIPアドレスがわからないとそのサーバーにアクセスできません。これは、DNSを通じてドメインアドレスに対応するIPアドレスを受け取り、そのIPアドレスでhttps通信をしていたからです。
5. HTTPのバージョン
HTTPは0.9、1.0、1.1、2.0、3.0と登場しながら発展し続けています。現在は3.0まで登場しており、1.1と2.0のバージョンが最も頻繁に使われています。
5.1 HTTP/0.9
HTTP/0.9はHTTPのプロトタイプです。HTMLファイルしか送信できず、GETメソッドしか存在しませんでした。
5.2 HTTP/1.0
初めて最も広く使われたバージョンです。バージョン番号、Header、Method、MIMEが追加され、WebページのFormでやり取りできるようになりました。
そしてWWWが急激に拡大するにつれて、keep-aliveコネクション、仮想ホスティングのサポート、プロキシ接続のサポートなど、多くの機能が追加されました。
keep-aliveは、クライアントとサーバー間の複数のリクエストとレスポンスを1つのtcp connectionで処理できるようにしました。そのため、リクエストのたびにconnectionを確立するコストを減らし、より効率的に処理できるようにしました。そして、connectionを切りたいときはヘッダーにConnection: closeを含めることで切れるようにしました。(1つのレスポンスが遅れると、それ以降のレスポンスも遅れてしまう現象をHOL blockingと呼びます。)
5.3 HTTP/1.1
HTTP/1.1は、HTTP設計の構造的な欠陥の修正、目立ったパフォーマンスの最適化、誤った機能の削除に重点が置かれ、より複雑になったWebアプリケーションのデプロイをサポートします。
keep-alive機能がdefaultに変更され、パイプライン機能が追加されました。
パイプラインは、1つの接続で複数のリクエストを順番に送り、順番に受け取れるようにする機能です。レスポンスの順序が保証されなければならないため、遅いレスポンス1つが全体のレスポンスを遅らせることもありますが、パイプラインの実装が難しいうえ、プロキシサーバーが正しく処理できず問題が多かったため、今は使われていません。
5.4 HTTP/2.0
HTTP/2.0は、データのheaderとbodyをframeというデータ単位にし、textではなくbinary化し、stream化して送ります。そして、multiplexing(多重化)という機能とServer Push機能が追加されました。
HTTP/2.0は、リクエストごとにヘッダーを1つか2つのheader frameと0個以上のdata frameに分け、1つのstreamにして送ります。
multiplexing(多重化)は、HOL(Head of Line)Blockingを解決するために生まれた機能です。frame単位でデータを送るようになり、3つのリクエストがある場合でも必ずしも順番どおりにHeaderを送る必要はなく、3番目のリクエストのHeaderよりも2番目のリクエストのHeader frameを送れるようにしたため、リクエストの順序に従ってレスポンスが順番どおりに処理される現象を改善しました。
もちろんApplication Layerでは克服されましたが、TCP Connection上でframeをやり取りしていたため、TCPで発生するHOL Blockingは解決できませんでした。例えば、途中であるHeaderのパケットロスがあった場合、その失われたパケットが届くまで待つあいだ、その後に受け取るべきデータは依然として待たなければなりません。Application LayerでのHOL Blockingは解決しましたが、Transport LayerでのHOLは解決できませんでした。
Server pushは、クライアントがHTTPリクエストを送る前に、サーバーが先にクライアントへリソースを送ることです。しかし、クライアントはサーバーが送ったリソースを把握できずに再度リクエストしてしまうため、この機能は削除されました。
5.5 HTTP/3.0
HTTP/3.0では、Transport LayerでのHOL Blocking問題を解決しました。これを解決するために、TCPに依存せず、UDPをベースにしたQUICプロトコルを使いました。その結果、TCPベースだったStreamがUDPベースのQUICプロトコルを使うようになり、各ストリームが独立するようになりました。Connectionの確立にかかる時間も0秒になりました。
QUICプロトコルを使うようになって、各リクエストのStreamが独立して動作できるようになりました。わかりやすく例えると、これまではすべてのリクエストを1本のパイプだけで送らなければならなかったのが、QUICプロトコルを使うことで、リクエストの数だけパイプを使ってリクエストを送れるようになったということです。つまり、パケットを1本のパイプではなく、複数のパイプで送れるようになりました。
QUICプロトコルはTCPとTLSの上で動作するのではなく、QUICで統合的に処理するため、遅延が非常に少ないです。QUICはUDPベースで動作し、TLS 1.3が組み込まれているので、一度接続したサーバーに対しては、再接続時に0-RTT(0 Round Trip Time)ですぐにデータを送れます。つまり、ハンドシェイクなしですぐにデータを送れるので、0-RTTでデータをすぐに送れるというわけです。
