目录 (10)
【博客介绍】从 AWS Lightsail 迁移到 GCP 生态系统
本文由我本人撰写,约占 40% 的工作量,60% 的工作量由人工智能完成。
我已将博客后端( api.yooncarrot.com )从 AWS Lightsail 迁移到 GCP。
我的目的是高效利用订阅 Jaminai Ultra 套餐获得的 100 美元抵用金。既然反正都要换套餐,我就尽量按照自己的判断和喜好来安排。
从 Spring Server 到 MySQL、Redis、Nginx、Certbot 和 Jenkins,所有服务都运行在一台服务器上。
我将数据库(我认为它是系统的核心)与服务器分离,并让 Jenkins 使用 Git Actions 构建它。
我已经总结了我们为什么不遗余力地改造一台运行良好的服务器,我们如何在更换数据库引擎的同时成功迁移而没有丢失任何数据,以及迁移后速度和成本发生了怎样的变化。
搬家时,我最注重三件事。
将包含帖子数据的数据库单独分离出来,以便即使整个应用服务器被彻底清除,该数据库也能幸存下来(非常重要!!!)
尝试在不停机的情况下切换服务器
有效利用预算,并通过绩效考核检查执行情况。
现有结构:当所有内容都塞进单个服务器时会发生什么
其架构是这样的:前端( yooncarrot.com )托管在 Vercel 上,而后端( api.yooncarrot.com )完全由一台具有 2 个 vCPU 和 4GB 内存的 AWS Lightsail 服务器处理。

它既便宜又方便,因为每月只需大约 35,000 韩元就能解决所有问题,但总感觉哪里不太对劲。
我最担心的是,作为博客核心的数据库会和应用服务器面临同样的命运。这种架构意味着,一旦发生像磁盘崩溃这样的重大故障,除非我单独备份,否则我所有的文章都可能消失。
此外,直接安装在主机上的Jenkins 构建程序加剧了我的焦虑。每次构建运行时,都会占用大量服务器内存,导致剩余内存降至 500MB 以下。即使只有一次构建操作出错,也可能导致特定应用程序崩溃或服务器因内存不足 (OOM) 错误而运行缓慢。
所以我认为将数据库和大型构建与应用服务器完全分离是一项重要的任务。
结构变更:角色分离和向托管架构过渡
我保留了前端原样,并将后端、图像存储和数据库迁移到了 GCP。

流量和数据流已发生如下变化。
请求入口和代理:当访问者发送请求时,位于 GCE e2-small 前面的 Caddy 首先接收到该请求。它将静态镜像路径(/static/*)直接转发到 GCS 存储桶,并将剩余的 API 请求传递给后端 Spring Boot 容器。
完全数据库隔离:在读写数据时,我们仅通过私有 IP 地址与 Cloud SQL(PostgreSQL 16)通信,而非直接与服务器通信。我们已启用每日自动备份和 7 天时间点 (PITR) 备份。
释放的内存:应用服务器内存减少了一半,从 4GB 减少到 2GB。但是,现在移除了占用大量内存的 MySQL 和 Jenkins,我确认三个容器(Caddy、Spring Boot、Redis)加起来使用的内存只有大约 500MB。
分配 | 现有(AWS) | 变更后(GCP 首尔) |
应用服务器 | Lightsail 2 vCPU,4GB | GCE e2-small 2 vCPU,2GB |
数据库 | 内部 MySQL 8 容器 | Cloud SQL PostgreSQL 16 |
数据库备份 | 直接人工管理 | 自动备份 + 7 天 PITR |
图像库 | S3(Nginx代理) | GCS(球童代理) |
代理和 SSL | Nginx + Certbot(手动配置以实现自动颁发/续期) | 球童(自动签发/续期) |
构建和部署 | 内部 Jenkins 构建 | GitHub Actions 外部构建 |
服务器连接 | 打开 SSH 端口 22 | 仅限 IAP 隧道(第 22 区) |
摆脱证书管理的繁琐:使用 Caddy 代替 Nginx + Certbot

之前,我分别运行 Nginx 和 Certbot 容器,并手动配置证书颁发和续订脚本。这次,我使用Caddy省去了这些麻烦。
# 간단한 Caddy 설정!!api.yooncarrot.com { encode zstd gzip handle_path /static/* { # 이미지 → GCS 서울 버킷 rewrite * /{버킷이름}{uri} reverse_proxy https://storage.googleapis.com { header_down Cache-Control "public, max-age=2592000" } } handle { # 나머지 → Spring reverse_proxy app:9004 { header_up X-Real-IP {remote_host} } }}后来,当我们不间断地进行部署时,还是出现了问题。
只有当域名实际指向新服务器时,才会颁发 Let's Encrypt 证书。因此,我们无法在切换 DNS 之前通过 Caddy 预先获取 Let's Encrypt 证书。结果,在 Gabia 将 DNS 连接到 GCP 服务器并颁发证书期间,后端服务实际宕机了约 12 秒。
我当时想,下次应该提前迁移后端证书。这样,我就可以在获取新证书的同时继续使用现有证书了。
将构建从生产服务器分离:从 Jenkins 到 GitHub Actions
之前的部署方法是使用 GPG 加密生产环境变量文件并将其上传到 Git 存储库;当代码被推送时,运行在 Lightsail 服务器上的 Jenkins 会收到一个 webhook,并直接在内部执行解密和 Docker 构建。
在一台 4GB 内存的服务器上同时运行繁重的 Gradle 和 Docker 构建,导致每次部署后内存使用量都飙升,几乎达到内存饱和状态。因此,这次我把整个构建和解密过程都迁移到了GitHub Actions上。我觉得使用 Jenkins 几乎没有任何实际意义。(用户数量这么少,真的有必要做到零停机部署吗?)

所以这次,我尝试尽可能多地利用免费资源,从外部解决这个问题。那就是GitHub Actions。

我已将其配置为仅在 PR 或开发分支上运行测试,并且仅在代码合并到主分支时才进行部署。一旦主分支上的测试通过,它就会创建一个 Docker 镜像,将其上传到 Artifact Registry,解密 .env.prod.secret 文件,并通过 IAP 隧道将其传递给服务器。
服务器完成数据库迁移、容器替换和健康检查。
重组管道给我们带来了三个好处。
服务器负载为零,存储费用为零:生产服务器仅接收并执行已完成的镜像。镜像一旦接收,无论成功与否,都会立即从镜像仓库中删除。此外,由于采用了每日自动删除策略,镜像仓库的成本为零。
无密钥文件身份验证:GCP 服务帐户 JSON 密钥未存储在 GitHub 上。使用工作负载身份联合,部署时仅授予此存储库中的工作流临时权限,而应用服务器本身仅被授予下载和日志写入权限。
完全封锁端口 22 :我们移除了端口 22 的入站和出站流量(该端口开放且不安全),并仅通过 Google IAP 隧道阻止对服务器的访问。
我为什么从MySQL切换到PostgreSQL?
这是我在这次迁移过程中投入最多精力的任务。我们不仅将数据库迁移到了服务器外部,还把数据库引擎从 MySQL 8 切换到了PostgreSQL 16。由于 Cloud SQL 一旦创建就无法更改数据库引擎,所以我们必须确保从一开始就正确构建它。
我选择PostgreSQL有两个原因。(说实话,很大一部分原因是我想尝试一下现在流行的技术。)
Weaviate 目前用于自然语言搜索,以后可以随时合并到 pgvector 中以替换其基础架构。
您可以直接使用 pg_trgm,这对于部分韩语字符搜索非常有利。(在 MySQL 中,则使用 ngram。)
我花了很多时间来匹配 MySQL 和 PostgreSQL 中不同的表列数据类型。
转换项目 | MySQL 8 | PostgreSQL 16 |
用户身份 | 二进制(16) | UUID |
标志列 | tinyint | 布尔值 |
JSON 数据 | JSON | jsonb |
自动递增键 | 自增 | 由默认身份生成 |
更新修改时间 | 更新当前时间戳 | 更新前触发器 |
韩国搜索 | 全文(匹配...对抗) | pg_trgm GIN + ILIKE |
数组聚合 | JSON_ARRAYAGG | json_agg |
无需停机即可切换服务器(仅保留 Get 方法……)
我们还必须解决迁移过程中留下的评论或点赞只保留在旧服务器上而消失的问题。因此,我们将服务器迁移到了 GCP,并配置其保持读取功能开启,同时暂时暂停写入操作。

搬家当天,我按以下步骤进行。
写入阻塞和 6 分钟等待:在 DNS 仍然指向旧服务器期间,我首先停止了 GCP 应用,并阻止了旧服务器 Nginx 上除 GET 请求之外的所有请求,返回 503 错误。阅读帖子一切正常,但评论、点赞和浏览量的记录目前已暂停。由于浏览量每 5 分钟收集到 Redis 并更新到数据库,我等待了 6 分钟,直到所有剩余的浏览量都写入 MySQL。
十六进制编码提取:将 mysqldump 生成的数据恢复到 GCP 服务器上的临时 MySQL 容器(内存限制为 512MB)后,我将所有字符串转换为十六进制,并将它们传递给临时 PostgreSQL 模式,以防止在复制过程中损坏正文中的制表符、换行符、反斜杠和表情符号。
单次事务转换和交叉验证:我们在单个事务中集成了 UUID、布尔值和 JSONB 转换的加载、下一篇文章编号列的重置以及与源数据的行数比较。即使其中任何一个步骤出现不同步,整个过程也会回滚,而不会影响 Cloud SQL 的任何数据。
加载之前,我们首先比较了列列表,以确保代码中不存在的列不会悄悄地只出现在生产数据库中;加载完成后,我们将 11 个表的行数、键指纹和图像大小与原始表进行了比较。重新执行锁定和 DNS 切换:通过在同一事务结束时记录完成标记,我们防止了迁移脚本即使在 DNS 切换后意外重新运行也会覆盖新数据;相反,它会检查该标记并立即停止。验证完成后,我立即启动了 GCP 应用,并将 Gabia 中的 A 记录更改为新的 IP 地址。
写作功能中断了大约 25 分钟,在此期间,访客可以正常阅读文章。现有服务器保持备用状态 7 天,以便在出现任何问题时可以轻松恢复 A 记录。(AWS 服务器作为备份运行。)
搬迁后令人兴奋的绩效评估
我通过以下步骤测量响应时间:每次都从一台韩国电脑建立新连接,然后交替向一台正在运行的只读 Lightsail 服务器和一台新的 GCP 服务器发送相同的请求 100 次。(我本来可以测试 10,000 次,但我没有立即使用生产服务器。)

请求类型 | 光帆(第50页/第95页/第99页) | GCP首尔(第50页/第95页/第99页) |
类别列表 | 23 / 26 / 37毫秒 | 23 / 25 / 50毫秒 |
帖子列表(10) | 27 / 39 / 51毫秒 | 37 / 52 / 59毫秒 |
查看详细帖子 | 32 / 37 / 41毫秒 | 30 / 36 / 54毫秒 |
韩国搜索 | 26 / 35 / 46毫秒 | 31 / 36 / 139毫秒 |
图片(/静态) | 54 / 85 / 92毫秒 | 37 / 41 / 56毫秒 |
测量后我确实注意到了一些趋势。(由于每100个请求中第99个请求会受到最慢的一两个请求的影响,请只关注整体趋势。)
最令人欣喜的是,p50 的图像响应时间从 54 毫秒大幅减少到 37 毫秒,p99 的图像响应时间从 92 毫秒大幅减少到 56 毫秒。
经过一番调查,我发现虽然我之前使用的 S3 服务也位于首尔区域,但之前的 Nginx 配置将 S3 地址作为变量传递。然而,由于它没有注册为上游服务器(proxy_pass https://$bucket ),连接无法重用,每次都会频繁地建立新连接。(但我听说从 1.27.3 版本开始,免费版的 Nginx 就支持这个功能了……?)现在,Caddy 重用了与 GCS 的连接,并通过同一区域内的 Google 内部网络进行路由,将内部服务器的处理时间从 36 毫秒降低到了 20 毫秒。
另一方面,我认为P99 中帖子列表检索或其他 API 的10 毫秒延迟是由于数据库迁移到外部造成的。我认为这是因为,与之前容器在同一服务器内通信不同,现在数据需要通过网络传输到 Cloud SQL。此外,由于调用位于欧洲的 Weaviate 时出现的问题,搜索速度似乎也出现了显著的峰值。
令人震惊的搬家后费用估算(又花了7500韩元 T_T)
Lightsail 的实际月账单(含税)为 27.01 美元(约合 36,500 韩元)。
搬迁后,我预计 GCP 首尔地区的月费用税前为29.60 美元,含 10% 增值税后约为 44,000 韩元。

现在,我们来比较一下现有价格和当前价格。另外,由于GCE提供一年期合同折扣,我也将其作为一项附加选项列出。

每月只需多花大约7500韩元。
自动备份和时间点恢复环境,即使整个服务器被清除,帖子也能保留。
我们通过分离数据库实现了可扩展性和高可用性 (HA)。这尤其重要,因为数据库是系统的核心,能够更安全地保护它是一项巨大的优势。
您可以使用 Google AI Ultra 订阅提供的 GCP 额度免费维护服务器。
除了上面提到的那些好处之外,我还获得了更多其他好处。现在我再也不用担心服务器崩溃和博客数据库丢失,可以睡个安稳觉了。Z2z...
优点、缺点、需要改进的地方、总结
优点
通过这一举措,应用服务器几乎变成了一个无状态启动器。即使服务器崩溃,只需启动一个新实例并重启部署即可完成恢复,并且实现了可扩展性,如果流量增加,我们可以随时升级服务器容量。
令人失望的方面
在 GCP 生态系统中,很难找到像 AWS 那样性价比高的服务器。Lightsail 的优势在于它从一开始就专注于低成本云服务,而 GCP 本身并不以低成本服务为目标,因此在性能相同的情况下,GCP 的价格似乎更高一些。
虽然我已经将数据库分离,但这并不能提供全面的高可用性保证。带有 HA 前缀的数据库价格大约是普通数据库的两倍,而且我听说它们会将同一个数据库复制到同一区域内的不同区域。所以,如果能实现更高的可用性当然很好……但我打算只做备份就足够了。说实话,这些数据并没有那么重要,对吧?即使只每周备份一次,丢失的数据量也不会很大。
Redis 在云端使用成本太高,所以我把它和 Spring 服务器部署在同一台服务器上。另外,我本来想用 GCP 提供的反向代理,但似乎要收费,所以就自己搭建了 Caddy(Nginx + Cert)。
未来计划改变的事情
目前,我使用 GPG 加密 .env.prod 文件并将其上传到 Git。这样,运行器就可以解密这些文件并使用它来运行服务器。但是,我认为直接将配置文件上传到代码仓库提交中实际上可能存在风险。因此,我计划使用 GCP Secret Manager 分离环境变量,并从 Git 中移除加密文件。
如果还有剩余内存,请尝试应用蓝绿部署。
我正在考虑将文件上传方式切换到预签名 URL。这样可以实现预先上传,并且我计划实现一个系统,如果上传未确认,则自动删除文件。我打算在文章发布时立即确认上传。(S3 使用预签名 URL,GCS 使用签名 URL)
如果接下来一周一切顺利,没有出现任何重大问题,我计划彻底清理一下我一直搞不定的 Lightsail 服务器和 S3 存储桶。GCP 定价公布后,我也会更新这篇文章。对人工智能时代有广泛的了解,让我能够按照自己的设想构建基础设施,这种感觉很棒……虽然也有点让人害怕……
