详情页标题前

阿里云ECS云服务器迁移自建数据库至高可用版RDS实例-云淘科技

详情页1

将源ECS实例上的数据库迁移至高可用版云数据库RDS,可实现数据库服务的高可用性、高可靠性、高安全性和高易用性。本教程以MySQL数据库为例,介绍如何使用DTS将ECS实例上的自建数据库迁移至高可用版RDS实例。

前提条件

  • 已配置SLB实例,详情请参见配置SLB实例。
  • 已创建高可用版RDS实例,并且部署方案为多可用区部署。如未创建,请参见创建RDS MySQL实例。
  • 已为RDS实例创建账号。如未创建,请参见创建数据库和账号。
  • 已为ECS实例上的自建数据库创建非root账号,用于DTS迁移。 例如,您可以运行以下命令为MySQL数据库创建名为dts、密码为123456的账号。
    grant all on *.*  to 'dts'@'%'  IDENTIFIED BY '123456';

背景信息

DTS提供的数据迁移功能能够支持同异构数据源之间的数据迁移,同时提供了库列三级映射、数据过滤多种ETL特性。您可以使用DTS进行零停机迁移,在迁移过程中,源数据库正常持续提供服务,最大程度降低迁移对业务的影响。DTS支持的数据库类型请参见数据迁移。

操作步骤

  1. 进入迁移任务的列表页面。
    1. 登录DMS数据管理服务。
    2. 在顶部菜单栏中,单击集成与开发(DTS)。
    3. 在左侧导航栏,选择数据传输(DTS) > 数据迁移。

    说明 您也可以登录新版DTS迁移任务的列表页面。

  2. 在迁移任务右侧,选择迁移实例所属地域。说明 新版DTS迁移任务列表页面,需要在页面左上角选择迁移实例所属地域。
  3. 单击创建任务,配置源库及目标库信息。警告 选择源和目标实例后,建议您仔细阅读页面上方显示的使用限制,以成功创建并执行迁移任务。
    类别配置说明
    任务名称

    DTS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    源库信息 选择已有的实例 您可以按实际需求,选择是否使用已有实例。

    • 如使用已有实例,数据库信息将自动填入,您无需重复输入。
    • 如不使用已有实例,您需要输入下方的数据库信息。
    数据库类型 选择MySQL。
    接入方式 根据源库的部署位置进行选择,本文以公网IP为例介绍配置流程。 说明 当自建数据库为其他实例类型时,您还需要执行相应的准备工作,详情请参见准备工作概览。
    实例地区 选择源MySQL数据库所属地域。
    主机名或IP地址 填入源MySQL数据库的访问地址,本案例中填入公网地址。
    端口 填入源MySQL数据库的服务端口(需开放至公网),默认为3306。
    数据库账号 填入源MySQL数据库的账号,权限要求请参见数据库账号的权限要求。
    数据库密码

    填入该数据库账号对应的密码。

    目标库信息 选择已有的实例 您可以按实际需求,选择是否使用已有实例。

    • 如使用已有实例,数据库信息将自动填入,您无需重复输入。
    • 如不使用已有实例,您需要输入下方的数据库信息。
    数据库类型 选择MySQL。
    接入方式 选择云实例。
    实例地区 选择目标RDS MySQL实例所属地域。
    RDS实例ID 选择目标RDS MySQL实例ID。
    数据库账号 填入目标RDS实例的数据库账号,权限要求请参见数据库账号的权限要求。
    数据库密码

    填入该数据库账号对应的密码。

    连接方式

    根据需求选择非加密连接或SSL安全连接。如果设置为SSL安全连接,您需要提前开启RDS MySQL实例的SSL加密功能,详情请参见设置SSL加密。

  4. 配置完成后,单击页面右下角的测试连接以进行下一步。
  5. 如果您的自建数据库具备白名单安全设置,您需要复制弹跳框中的DTS服务器IP地址,并加入自建数据库的白名单安全设置中。然后单击测试连接以进行下一步。警告
    • 如果源或目标数据库是阿里云数据库实例(例如RDS MySQL、云数据库MongoDB版等),DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单,您无需手动添加,请参见DTS服务器的IP地址段;如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中,您还需手动在ECS上的自建数据库中添加对应地区DTS服务的IP地址,以允许来自DTS服务器的访问;如果源或目标数据库是IDC自建数据库或其他云数据库,则需要您手动添加对应地区DTS服务的IP地址,以允许来自DTS服务器的访问。
    • 上述场景中,DTS自动添加或您手动添加DTS服务的公网IP地址段可能会存在安全风险,一旦使用本产品代表您已理解和确认其中可能存在的安全风险,并且需要您做好基本的安全防护,包括但不限于加强账号密码强度防范、限制各网段开放的端口号、内部各API使用鉴权方式通信、定期检查并限制不需要的网段,或者使用通过内网(专线/VPN网关/智能网关)的方式接入。
    • DTS任务完成或释放后,建议您手动删除添加的DTS服务的IP地址。在阿里云数据库实例的白名单或ECS的安全规则中,您需要删除名称包含dts的IP白名单分组;在IDC自建数据库或其他云数据库,您需要删除的DTS服务的IP地址,请参见DTS服务器的IP地址段。
  6. 配置任务对象及高级配置。
    配置 说明
    迁移类型
    • 如果只需要进行全量迁移,请同时选中库表结构迁移和全量迁移。
    • 如果需要进行不停机迁移,请同时选中库表结构迁移、全量迁移和增量迁移。

    说明 如果未选择增量迁移,为保障数据一致性,数据迁移期间请勿在源实例中写入新的数据。

    目标已存在表的处理模式
    • 预检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在预检查阶段提示错误,数据迁移任务不会被启动。

      说明 如果目标库中同名的表不方便删除或重命名,您可以更改该表在目标库中的名称,请参见库表列名映射。

    • 忽略报错并继续执行:跳过目标数据库中是否有同名表的检查项。 警告 选择为忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:
      • 表结构一致的情况下,在目标库遇到与源库主键的值相同的记录,则会保留目标库中的该条记录,即源库中的该条记录不会迁移至目标库中。
      • 表结构不一致的情况下,可能导致只能迁移部分列的数据或迁移失败。
    目标库对象名称大小写策略

    您可以配置目标实例中迁移对象的库名、表名和列名的英文大小写策略。默认情况下选择DTS默认策略,您也可以选择与源库、目标库默认策略保持一致。更多信息,请参见目标库对象名称大小写策略。

    源库对象

    在源库对象框中选择待迁移对象,然后单击阿里云ECS云服务器迁移自建数据库至高可用版RDS实例-云淘科技将其移动至已选择对象框。

    说明 迁移对象选择的粒度为schema、表、列。若选择的迁移对象为表或列,其他对象(如视图、触发器、存储过程)不会被迁移至目标库。

    已选择对象
    • 如需更改单个迁移对象在目标实例中的名称,请右击已选择对象中的迁移对象,设置方式,请参见库表列名单个映射。
    • 如需批量更改迁移对象在目标实例中的名称,请单击已选择对象方框右上方的批量编辑,设置方式,请参见库表列名批量映射。

    说明

    • 如果使用了对象名映射功能,可能会导致依赖这个对象的其他对象迁移失败。
    • 如需设置WHERE条件过滤数据,请在已选择对象中右击待迁移的表,在弹出的对话框中设置过滤条件。设置方法请参见通过SQL条件过滤任务数据。
    • 如需按库或表级别选择迁移的SQL操作,请在已选择对象中右击待迁移对象,并在弹出的对话框中选择所需迁移的SQL操作。支持的操作请参见支持增量迁移的SQL操作。
  7. 单击下一步高级配置,进行高级配置。
    配置 说明
    设置告警 是否设置告警,当迁移失败或延迟超过阈值后,将通知告警联系人。

    • 不设置:不设置告警。
    • 设置:设置告警,您还需要设置告警阈值和告警联系人。更多信息,请参见在配置任务过程中配置监控报警。
    复制源表Online DDL工具执行过程的临时表到目标库 若源库使用数据管理DMS(Data Management Service)或gh-ost执行Online DDL变更,您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似工具执行Online DDL变更,否则会导致DTS任务失败。

    • 是:迁移Online DDL变更产生的临时表数据。说明 Online DDL变更产生的临时表数据过大,可能会导致迁移任务延迟。
    • 否,适配DMS Online DDL:不迁移Online DDL变更产生的临时表数据,只迁移源库使用数据管理DMS(Data Management Service)执行的原始DDL数据。说明 该方案会导致目标库锁表。
    • 否,适配gh-ost:不迁移Online DDL变更产生的临时表数据,只迁移源库使用gh-ost执行的原始DDL数据,同时您可以使用默认的或者自行配置gh-ost影子表和无用表的正则表达式。说明 该方案会导致目标库锁表。
    源、目标库无法连接重试时间 在迁移任务启动后,若源库或目标库连接失败则DTS会报错,并会立即进行持续的重试连接,默认持续重试时间为720分钟,您也可以在取值范围(10~1440分钟)内自定义重试时间,建议设置30分钟以上。如果DTS在设置的重试时间内重新连接上源库、目标库,迁移任务将自动恢复。否则,迁移任务将失败。说明

    • 针对同源或者同目标的多个DTS实例,如DTS实例A和DTS实例B,设置网络重试时间时A设置30分钟,B设置60分钟,则重试时间以低的30分钟为准。
    • 由于连接重试期间,DTS将收取任务运行费用,建议您根据业务需要自定义重试时间,或者在源和目标库实例释放后尽快释放DTS实例。
    配置ETL功能 选择是否配置ETL功能。关于ETL的更多信息,请参见
    什么是ETL

    流式ETL

    • 是:配置ETL功能,并在文本框中填写数据处理语句,详情请参见在DTS

      迁移或
      同步任务中配置ETL。

    • 否:不配置ETL功能。
    是否去除正反向任务的心跳表sql根据业务需求选择是否在DTS实例运行时,在源库中写入心跳SQL信息。

    • 是:不在源库中写入心跳SQL信息,DTS实例可能会显示有延迟。
    • 否:在源库中写入心跳SQL信息,可能会影响源库的物理备份和克隆等功能。
  8. 上述配置完成后,单击页面下方的下一步保存任务并预检查。 说明
    • 在迁移任务正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动迁移任务。
    • 如果预检查失败,请单击失败检查项后的查看详情,并根据提示修复后重新进行预检查。
    • 如果预检查产生警告:
      • 对于不可以忽略的检查项,请单击失败检查项后的查看详情,并根据提示修复后重新进行预检查。
      • 对于可以忽略无需修复的检查项,您可以依次单击点击确认告警详情、确认屏蔽、确定、重新进行预检查,跳过告警检查项重新进行预检查。如果选择屏蔽告警检查项,可能会导致数据不一致等问题,给业务带来风险。
  9. 预检查通过率显示为100%时,单击下一步购买。
  10. 在购买页面,选择数据迁移实例的链路规格,详细说明请参见下表。
    类别 参数 说明
    信息配置 链路规格

    DTS为您提供了不同性能的迁移规格,迁移链路规格的不同会影响迁移速率,您可以根据业务场景进行选择,详情请参见数据迁移链路规格说明。

  11. 配置完成后,阅读并选中《数据传输(按量付费)服务条款》。
  12. 单击购买并启动,迁移任务正式开始,您可在数据迁移界面查看具体进度。

后续步骤

在应用程序中配置RDS实例的连接地址和账号密码,以连接到RDS实例。您还可以使用数据管理服务DMS(Data Management Service)或客户端管理RDS实例。具体操作,请参见通过客户端、命令行连接RDS。

腾讯云1折,限时活动,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利。同意关联立享优惠

转转请注明出处:http://www.yunxiaoer.com/153725.html

(0)
上一篇 2023年12月9日 下午5:11
下一篇 2023年12月9日 下午5:11
详情页2

相关推荐

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。