目次 (8)
[ブログ紹介] 無中断(Blue/Green)配布の作成
この記事は[人50%、AI 50%]で書いたものです。
昨日、ブログのバックエンドをAWS LightsailからGCPソウルリージョンに移動し、GitHub Actionsの自動デプロイまで貼り付けました。
配布が自動になるので楽になりましたが、一つの残念な点が残っていました。デプロイするたびに既存のSpringコンテナを下げて新しいコンテナを上げます。その間に訪問者が入ってくると502エラーが出て、仕上げ処理中だったリクエストも途中で切れることができました。
今回の記事では、メモリ2GBのサーバー1台(e2-small)環境でどのように中断時間がまったくないBlue/Green展開を作成したのか、そして作成しながら取り上げたローカルキャッシュ(Caffeine)と安全終了(Graceful Shutdown)の話をまとめました。
目標は3つです。
配布中、たった1秒の停止502もあってはならない。
すでに入ってきて処理中だった要求は最後まで終えてオフにしなければならない。
新しいバージョンに問題がある場合は、既存のサービスに影響を与えることなく展開のみをキャンセルする必要があります。
なぜ以前の配布は32秒も止まったのですか?

最初は「コンテナを下げて上げるのは1秒で終わるから、とてもちょっと止まるだろう?」と思いやすいです。しかし、実際にBlue/Green適用直前に回っていた最後の単一コンテナ配布ログを開いてみると、約32秒間接続が全くなくなって(502)ありました。
11:05:33 [deploy] Starting containers... ← 기존 carrot_back 정지 & 새 컨테이너 시작11:05:40 [deploy] Attempt 1/30: HTTP status 000 ← 아직 Spring 켜지는 중 (방문자에겐 502)...11:06:03 [deploy] Attempt 12/30: HTTP status 00011:06:05 [deploy] Healthcheck passed (HTTP 200) ← 드디어 첫 정상 응답!二つの理由のためでした。
名前とポートが一つだけなので昔を先に切らなければなりませんでした。以前は carrot_back というコンテナ一つに 9004 ポート一つだけ書いていたので、 docker compose up -d を実行すると、既存のコンテナを先にオフにしてから新しいコンテナを浮かせることができました。
Dockerの「稼働完了(Up)」はSpringの「準備完了(200)」ではありませんでした。 Dockerはjava -jarコマンドが実行され始めると1秒でコンテナがオンになったと見ていますが、その中でSpring Bootがクラスを読み込み、Cloud SQL接続を確立してポートを開くまでには25秒以上かかります。
その32秒間、Springサーバーはオンになっているので、入って来た訪問者は全部で502エラーを見るしかなかった。
変わった無中断配布 (Blue/Green)
Blue/Green配布方式は大きく2つの方式で浮かんでいます。常に2つvs必要なときだけ2つの方法です。
常に2つ浮かせる | 必要に応じて2つ | |
|---|---|---|
通常のサーバー | 2個 | 1個 |
展開時にサーバー | 2個 | 2個 |
ロールバック速度 | とても速い | 環境の再生成が必要な場合があります |
コスト | 高い | 比較的低い |
可用性 | 高い | 比較的低い |
それで、どんな戦略が私に合うのかを把握するために、私の2GBメモリのサーバーのメモリ使用量を確認してみました。

区分 | 物理メモリ使用量 |
|---|---|
Spring Boot(`carrot_back`) | 約398MB |
Caddy(`carrot_caddy`) | 約34MB |
Redis(`carrot_redis`) | 約6MB |
Linux OS・ドッカーデーモンなどシステム基本占有 | 約429MB |
現在の総使用量 | 約867MB/1,960MB(残りの利用可能メモリ約1,092MB) |
コンテナ3個自体は約438MBだけを使っており、Linux OSとドッカーが基本的に使うメモリ(約429MB)まで合わせても、全2GBのうち約1.1GB(1,092MB)が空です。ここにスワップ1GBまであるので、配布するしばらくの間Springコンテナ一つ(約400MB)をさらに浮かべるスペースは十分でした。
ただ、知らなくてサーバーが飛び出すことができ、必要なく1つずつさらに浮かせるには仕様が低く、2つの措置をとりました。
コンテナあたりのメモリ上限を掛ける:従来はJVM設定がMaxRAMPercentage = 60.0(サーバーメモリ2GBの60%=最大1.2GBまで許可)で開いていました。普段は400MBしか使えませんが、切り替えの瞬間に2GBのサーバーが耐えられないことがあります。そのため、コンテナあたりのヒープメモリを最大512MB(-Xmx512m、コンテナ制限900MB)に設定しました。
移行が終わったら前のコンテナを下げる:デプロイ時にのみ 2 つのコンテナを浮かべていて、処理が完了すると 1 つだけ浮かせるようにしました。
変わった配布の流れはこうだ。

次の配布の際は逆にGreen→Blueの順に交互に切り替えます。
無中断展開のためのCaddy設定
トラフィックの方向を変える役割はCaddyが引き受けます。この時、CaddyがGreen <-> Blueを切り替える方法は、デプロイメントスクリプトを介したreload方式に置き換えることになります。
# caddy/Caddyfile (고정)handle { request_body { max_size 10MB } reverse_proxy { import /etc/caddy-runtime/upstream.caddy # 이 파일의 텍스트가 여기에 그대로 들어감 (ex. "to back_green:9000") header_up X-Real-IP {remote_host} }}上記の/etc/caddy-runtime/upstream.caddyファイルを配布スクリプトがgreen <-> blueに置き換えてください。
デプロイスクリプトの置き換え方法
現在のコンテナ色の確認
異なる色で新しいコンテナを浮かべる
新しいコンテナhealth-checkで200出るまで確認
upstream.caddy ファイルのアドレスを新しいコンテナーの代わりに置き換える
caddyリロードして設定を反映
古いコンテナの削除
コンテナの交換中のエラーには既存のコンテナを書き続ける
既存のリクエストまで終了 (Graceful Shutdown)
新しいコンテナが浮かんだとすぐに既存のコンテナを取り除いてはいけません。切り替えられる0.1秒前にすでに入ってきたリクエストや、真っ白な文章を書いてくれていたAIドラフトストリーミング(/ai/*)が途中で切れることがあります。

それで、既存のリクエストを終えてサーバーの電源を切るように設定してください。
デプロイスクリプトは、caddy reloadが終了した後、既存のコンテナに終了シグナル(SIGTERM)を送信します。
Spring Boot設定にserver.shutdown:gracefulと最大待機時間60秒を入れました。また、Dockerも待ち時間(stop_grace_period:65s)を変更しました。だから60秒間入ってきたリクエストを処理できるようにしました。
Webリクエストが終了しても、バックグラウンドスレッド(articleIndexExecutor)でWeaviateベクトルインデックスが回っている可能性があるため、この操作も最大30秒まで終了して下げるように(waitForTasksToCompleteOnShutdown)設定しました。
ローカルキャッシュ(Caffeine)に問題がないことを確認する
AIと作業しながら考えられなかった部分です。 Redisを書くとJVMとは別のローカルキャッシュなので、気にしなくて済む確率が高いです。しかし、Caffeineを書くと、GreenとBlueはメモリを共有しないので初期化されます。
そのため、Caffeineが使用するフローが新たに初期化され、サーバーが立ち上がったときにどのような影響があるかを確認しました。もし影響があったらRedisに移してもいいと思うんです。
保管場所 | 含まれるデータ | Blue ↔ Green 切り替え時 |
|---|---|---|
共有Redisコンテナ | ログイン Refreshトークン、まだDBに合わなかったヒット数、AI・検索 1日限度 | そのまま共有・維持済み |
各JVM内のCaffeine | 記事の詳細、カテゴリリスト、サイトマップ、自然言語検索ランキング(すべて10分有効期限) | 共有しない(新しいコンテナは空の状態で始まります) |
上記のように管理されているデータを確認してみると、ただCaffeineにいなければDBから再インポートするかして再び埋め込むとやめました。もちろん、DB通信時間ほど応答が遅くなるでしょうが、大きな影響はないと判断しました。
Green/Blue切り替え後本当に1秒も切れたのだろうか?
設定が終わったら、通常「無中断展開がうまくいったか」をどのように検証しますか?単に配布が終わった後、ブラウザで接続してみるだけでは、切り替えの瞬間にしばらく502が経ったかどうかはわかりませんので、配布が進行中ずっと外部から依頼を続けながら成功率と応答時間を計る方法で確認します。
今回も実際のblue→green運営配布をもう一度回しながら、私のPCで0.2秒間隔(毎秒5回)で約2分間休まないで呼び出してみました。
12:53:55 [deploy] Active slot: blue -> Target slot: green (127.0.0.1:19005)12:54:10 [deploy] Starting candidate container carrot_back_green...12:54:12 [deploy] Polling healthcheck on http://127.0.0.1:19005/categories (max 90s)...12:54:12 [deploy] Attempt 1/45: HTTP status 000, retrying in 2s...... (새 Spring Boot가 켜지는 약 26초 동안, 방문자는 계속 carrot_back_blue 이용)12:54:38 [deploy] Healthcheck passed on attempt 13 (HTTP 200).12:54:38 [deploy] Validating and hot-reloading Caddy -> carrot_back_green:9004...12:54:39 [deploy] Traffic switched to carrot_back_green.12:54:39 [deploy] Gracefully draining and stopping previous slot: app-blue (up to 65s)...12:54:42 [deploy] Blue/Green deployment complete (active: green). Pruning unused images...結果は下表を見るとわかります。
区分 | 既存のデプロイ(シングルコンテナ) | Blue/Green配布(実測) |
|---|---|---|
デプロイ中の停止時間 | 約32秒(11:05:33→11:06:05) | 0秒 |
連続リクエスト成功率 | 32秒区間全量失敗(502) | 558 / 558 成功 (100%, 失敗 0件) |
応答時間(min/p50/p95/p99/max) | - | 14.1/19.5/30.2/52.1/993.7ms |
転換の瞬間まで502が0件でした。 greenが点灯する26秒はもちろん、caddy reloadが起きた12:54:38~39秒の間にも558回のリクエストがたった一つも切れませんでした。
993.7msの停滞: 558件中100msを超える要求はたった2件でした。特に最も長かった993.7msは、正確にcaddy reloadの直後に、greenが空のキャッシュ状態で最初の投稿リストをCloud SQLから読み込んだ遷移の瞬間に記録されました。そしてすぐ次の0.2秒後、要求は61.1ms、次の要求は23.7msで、まもなく普段の速度で戻ってきました。
以前のコンテナの整理も3.5秒で終わりました。 12:54:39に終了信号を受けたapp-blueが残りの処理を終え、12:54:42に完全に降りました。
これで毎配布ごとにblue→green→blueの順に交互になり、訪問者は絶えず配布できるようになりました。
得たものとこれからやりたいこと
今回得たもの
配布中に停止する時間が0秒になりました。本当に嬉しいです!ユーザーがいないので重要ではありませんが、それでも気持ちいいです。
していたリクエストをやめません。転換の瞬間、回っていたリクエストやインデックス作業も最後まで終えて降ります。
展開の失敗は障害につながりません。新しいバージョンがオンにならない場合、古いバージョンはそのままサービスを守ってくれます。
追加費用が0ウォンです。
これからやりたいこと:カナリー(Canary)配布
今は訪問者規模も小さく、サーバーも1台だと一度にすっきりと進むBlue/Greenが一番よく合うと思います。実は、Caddyの重み付けルーティングやクッキー固定機能を使えば、サーバー1台でもトラフィックの一部だけを新しいバージョンに送るカナリ配布真似は出すことができますが、今の私のサービス規模やユーザー数を考えると、とても役に立たない機能なので、カナリ配布まで試す判断は開発者として受け入れられませんでした。
後でブログや新しいサービスを育てながらユーザーが増え、サーバーもいろいろ増えたら、その時はカナリの配布を実戦でぜひ取り上げてみたいです。
