Fast Horse Express应用平台从AWS迁移到GCP

关于Fast Horse Expres

Fast Horse Express是一家位于北美的互联网物流商城公司，员工数超过100人，核心业务主要从事同城/跨城货运的物流服务、搬家、零担、汽车租售及车后市场服务。它通过共享模式整合社会运力资源，完成海量运力储备，并依托移动互联、大数据和人工智能技术，搭建“方便、科技、可靠”的货运平台，实现多种车型的即时智能调度，为个人、商户及企业提供高效的物流解决方案。

客户痛点

  1. 服务器稳定性：业务依赖于服务器架构的稳定性和可靠性。任何服务器故障、网络中断或系统崩溃都可能导致业务中断、订单延误或客户不满，对企业形象和客户关系造成负面影响。需要可靠的服务器架构，能够提供持续的服务可用性，以应对突发的负载压力，并确保系统性能不受影响。
  2. 数据分析和挖掘：业务上线后，有大量的行为数据无法充分利用，急切需要通过分析用户行为数据，获得有关客户偏好、需求趋势和市场洞察的深入了解。这将帮助他们提供个性化的物流解决方案，改善运营效率和客户满意度。然而，处理大规模数据、实时分析和挖掘数据的能力。
  3. 数据安全和合规性：作为互联网物流商城公司，Fast Horse Express处理大量用户数据，包括个人信息、订单记录、支付信息等。因此，保护用户数据的安全和隐私，并遵守相关的数据保护法规和合规要求是他们的一项重要责任。数据泄露或违反合规性可能会导致声誉受损以及法律和经济风险。

GCP解决方案和价值

RJ根据客户痛点，经过和gcp人员等一起讨论解决方案，定制数据迁移以及CICD自动化部署流程等解决方案并打包了gcp GKE,cloud SQL,Memorystore for Redis，pub/sub,CICD等产品，并和gcp人员等一起进行poc验证，包括数据库迁移，对象数据迁移，redis缓存数据迁移，平台应用迁移等，同时集成部署了CICD工具集进行应用程序自动化发布，解决了客户自动化发布应用程序问题，提升了运维开发效率、节省了时间成本。

工具服务介绍

  • GCP DMS：GCP 数据库迁移服务 (DMS) 是一种托管迁移和复制服务，可帮助您快速、安全地将数据库和分析工作负载迁移到 GCP，同时最大限度地减少停机时间并实现零数据丢失。GCP DMS 支持各种数据库和分析引擎的迁移，例如 MySQL 和 PostgreSQL，以及预览版的 SQL Server 和 Oracle 迁移。DMS 是一项免费服务，您只需为使用全新的 GCP 数据库付费。
  • Rclone：Rclone是一个用于和同步云平台同步文件和目录命令行工具。采用 Go 语言开发。它允许在文件系统和云存储服务之间或在多个云存储服务之间访问和同步文件，它具有单向同步功能，使目录完全相同，它具有加密、缓存和联合后端，支持 Fuse 安装，并且可以通过 HTTP、WebDAV、FTP、SFTP 或 DLNA 服务本地或远程文件。
  • Velero: Velero 是一款云原生时代的灾难恢复和迁移工具，采用 Go 语言编写，并在 github 上进行了开源，开源地址为：https://github.com/vmware-tanzu/velero。Velero 源于西班牙语，意思为帆船，非常符合 Kubernetes 社区的命名风格。利用 velero 用户可以安全的备份、恢复和迁移 Kubernetes 集群资源和持久卷。它的基本原理就是将集群的数据，例如集群资源和持久化数据卷备份到对象存储中，在恢复的时候将数据从对象存储中拉取下来。除了灾备之外它还能做资源移转，支持把容器应用从一个集群迁移到另一个集群，这也是 velero 一个非常成功的使用场景。

 
  • Cloud SQL：一种完全托管的关系数据库服务，可让您在云中轻松设置和管理PostgreSQL、MySQL 和 SQL Server数据库。
  • IP 许可名单：当源数据库位于 Google Cloud 外部并且具有外部可访问的 IPv4 地址和 TCP 端口时，公共 IP 连接最合适。如果源数据库托管在 Google Cloud 中的另一个 VPC 中，那么将源数据库与 Cloud SQL 实例连接起来的最简单方法是使用 VPC 对等互连。
  • Amazon RDS：Amazon Relational Database Service 是 Amazon Web Services 提供的分布式关系数据库服务。它是一种“在云中”运行的 Web 服务，旨在简化关系数据库的设置、操作和扩展，以便在应用程序中使用。

优化云基础设施环境

在迁移和优化之前，需要评估迁移的需求、预算和目标和要求，并参考 GCP 的最佳实践指南、文档和RJ专业技术咨询，获得更具体和个性化的优化建议：

1、网络架构优化：

  • 使用合适的虚拟专用云（VPC）网络架构，将资源划分到不同的子网和区域中，以实现网络隔离和高可用性。身份和访问管理（IAM）策略，以保护数据和资源。
  • 配置合适的防火墙规则，以保护您的资源并限制网络流量。
  • 使用负载均衡器（Load Balancer）来分发流量，并确保负载均衡器配置合理，以提高可扩展性和可靠性。

2、计算资源优化：

  • 使用适当的虚拟机（VM）实例类型和规模，以满足您的大数据处理工作负载需求。考虑使用高内存或高计算能力的实例类型，根据数据量和处理要求进行选择，并避免资源浪费。
  • 利用 GCP 提供的自动伸缩功能，根据工作负载的变化自动扩展或缩减 VM 实例数量。

3、存储和数据库优化：

  • 使用适当的存储服务，如云存储Cloud Storage，以满足您的大数据存储和处理需求。这些服务提供高可扩展性和性能，并能与其他 GCP 服务集成。
  • 使用 Cloud SQL 或 Memorystore for Redis等托管数据库服务，以简化数据库管理并提供高可用性和可扩展性。
  • 配置数据备份和容灾策略，以确保数据的可靠性和持久性。

4、费用优化：

  • 定期审查和优化资源的使用情况，以避免不必要的费用。
  • 使用成本监控工具，如 GCP 的 Cost Management Dashboard 或者RJ 的 tweaker实时查看费用使用情况，以帮助您跟踪和控制费用。
  • 使用承诺使用折扣（CUD）或持续使用折扣（SUD）等费用优化选项，以降低 VM 实例和其他资源的成本。

5、安全性和合规性：

  • 配置适当的身份和访问管理（IAM）策略，以确保只有授权用户能够访问和管理您的资源。使用多层级的访问控制，确保最小权限原则。
  • 启用详细的审计日志记录和监控，以监测潜在的安全事件和异常活动，并满足合规性要求。
  • 实施数据加密和密钥管理措施，以保护敏感数据的安全性。

迁移工作计划及项目周期规划

  1. 需求分析阶段：在这个阶段中，首先进行业务信息调研，了解Fast Horse Express应用平台的需求和现有架构。然后制定项目计划安排，并进行项目管理沟通和初步培训。
  2. 架构设计阶段：在这个阶段中，首先要确定整体架构。然后制定迁移方案设计、云上架构设计、测试方案设计，并进行项目管理和沟通。
  3. POC验证阶段：在这个阶段中，进行POC（Proof of Concept）验证，即实际验证迁移方案的可行性和效果。验证包括基础环境验证、VPC搭建、测试资源创建、各项服务迁移方案的验证、GKE测试环境部署、数据备份和恢复验证、CICD环境搭建、日志收集方案测试、监控告警方案测试等，并进行项目管理和沟通。
  4. 部署&迁移阶段：在这个阶段中，部署生产环境的Landing Zone，创建GCP资源服务，搭建生产环境的GKE集群，实施监控告警，搭建生产环境的CICD环境，进行生产数据迁移，实施日志收集、Cloud CDN部署、Armor应用防火墙部署、数据备份策略部署，最后进行生产应用部署和验证，并进行项目沟通。
  5. 项目移交阶段：在这个阶段中，准备项目资料，进行操作和维护流程培训，以及GCP产品使用培训，确保项目移交给相关人员。
  6. 运营优化阶段：在这个阶段中，进行架构优化，管理和优化成本，收集和处理问题，以确保Fast Horse Express应用平台在GCP上的运营效率和稳定性。

整体流程为：需求分析阶段 -> 架构设计阶段 -> POC验证阶段 -> 部署&迁移阶段 -> 项目移交阶段 -> 运营优化阶段。在每个阶段中，都有相应的任务和验证步骤，并进行项目管理和沟通，以确保整个迁移项目的顺利进行。

项目周期性：Fast Horse Express应用平台从AWS迁移到GCP的项目周期大致分为六个阶段。首先是需求分析阶段，通过调研和计划安排来了解业务需求和制定项目计划。接下来是架构设计阶段，包括设计整体架构和迁移方案等。然后进行POC验证阶段，通过验证各项迁移方案的可行性和效果来确定最佳方案。之后是部署&迁移阶段，其中包括生产环境的部署、数据迁移和应用部署等。项目移交阶段涉及准备项目资料和培训相关人员。最后是运营优化阶段，包括架构优化、成本管理和问题处理等。整个项目周期的目标是顺利完成应用平台的迁移，并确保在GCP上的高效运营和稳定性。每个阶段都有相应的任务和验证步骤，并进行项目管理和沟通，以确保项目按计划进行并达到预期目标。

迁移前架构：

迁移后架构：

迁移方式：

  • 使用Redis shake工具将Redis数据迁移到Redis的GCP Memorystore，并测试迁移后的Redis的可靠性和性能。
  • 使用DMS服务将AWS RDS迁移到GCP Cloud SQL，并测试其可靠性和性能。
  • 使用Rclone工具将S3对象数据迁移到GCP云存储，并测试迁移的对象数据的可靠性和性能。
  • 使用Velero迁移AWS EKS到GCP GKE，并测试迁移的服务的可靠性和性能。

Partner 价值

  1. RJ通过了解到Fast Horse Express的业务需求，迅速开展了与客户相关的业务推广，建立了良好的客户关系。在这个项目中，RJ参与了项目的所有前期工作，并积极响应客户的需求。
  2. RJ的销售和技术团队通过与客户的多次访问和交流，远程、在线和实时支持，线下访问和交流提供了优质高效的服务，增强了双方的信任。同时RJ将继续为客户提供更好的服务，更多增值服务。在整个项目周期内，根据客户要求进行现场派驻，至少有一名技术人员在现场提供维护支持。
  3. RJ在运维、部署、迁移、测试等相关技术方面拥有丰富的经验。我们可以为客户量身定制合适的业务需求解决方案，提供现场或远程技术服务，完善客户运维系统建设，确保云服务安全。
  4. 在了解了客户的痛点和需求后，RJ与BD合作，快速与客户沟通，从架构设计、产品选择、最佳实践、CDN加速、VPC安全等方面为客户的业务制定了相应的解决方案，并提交了可靠的解决方案设计和部署支持。

客户收益

  1. 弹性和可扩展性：GCP 提供了高度可扩展的基础设施，可以根据客户的需求自动调整计算和存储资源。这意味着客户可以根据业务需求快速扩展或缩小其基础设施，而无需担心资源不足或浪费。
  2. 高可用性和可靠性：GCP 提供了高可用性和可靠性的基础设施，包括多个区域和可用区，以确保客户的应用程序始终可用。此外，GCP 还提供了自动化的故障转移和备份功能，以确保客户的数据始终安全可靠。
  3. 安全性：GCP 提供了多层次的安全性，包括物理安全、网络安全和数据安全。GCP 还提供了一系列安全工具和服务，以帮助客户保护其应用程序和数据免受安全威胁。
  4. 成本效益：GCP 提供了灵活的计费模型，客户只需支付他们实际使用的资源。此外，GCP 还提供了一系列优惠和折扣，以帮助客户降低其云计算成本,本次迁移帮助客户节省近25%的成本。
  5. 运维效率：使用自动化工具和服务、可视化工具和服务、简化工具和服务、优化故障处理流程和建立知识库和文档等方法，提高运维工作的效率近30%。

关于RJ

RJ的总部设在香港，并在中国大陆的不同城市设有分支机构，包括北京、上海、广州、深圳、青岛、武汉、成都、杭州。RJ是GCP云生态系统中值得信赖的增值服务提供商。RJ的业务战略定位是云咨询、云迁移和成本优化，关键客户群定位是游戏和电商。