阿里云大数据开发治理平台 DataWorks创建和查看DataWorks导出任务-云淘科技

背景信息

迁移助手支持通过全量导出、增量导出和自选导出等方式导出任务。不同导出类型的使用场景如下：

• 全量导出适用于全量备份工作空间中的任务，主要用于备份代码、快速复制一个测试环境等场景。全量导出的版本为开发过程中最新的版本。

  全量导出仅支持导出保存成功的对象。当同一个任务有开发和生产等多个版本时，以开发侧保存的版本为主进行全量导出，操作详情请参见下文的创建全量导出任务。

• 增量导出基于对象的最后修改时间，筛选最近修改过的对象并导出，操作详情请参见下文的创建增量导出任务。

  说明

  增量导出不支持选择导出黑名单。

• 自选导出适用于抽象出通用的业务流程，以便其它业务快速复制。在开发和生产集群完全隔离的状态下，您可以通过自选导出功能，完成类似于发布任务的操作，操作详情请参见下文的创建自选导出任务。

使用限制

• 当前不同版本的DataWorks迁移助手在进行DataWorks迁移时，支持的策略如下表所示。

  DataWorks迁移功能描述	基础版	标准版	专业版	企业版
  DataWorks迁移，租户内免费导出包个数	累计10个	累计30个	累计100个	无上限
  DataWorks导入包大小限制	100M	300M	无上限	无上限
  DataWorks导入时支持自动提交、自动发布	不支持	不支持	支持	支持

• 仅主账号和工作空间管理员能够进行导入和导出操作，其他角色成员仅支持查看导入、导出任务列表，无操作权限。

• 进行数据质量规则导出与导入时，有以下注意事项：

  • 导出数据质量规则时，订阅管理（报警相关配置）不支持导出。

  • 导入的数据质量规则关联的表如果在目标空间不存在，则在数据质量规则页面上不会展示出这条导入的规则，如果在导入数据质量规则后完成目标表创建，那同样会在表的规则详情页展示出这条导入的规则。

  • 数据质量导入步骤会依赖周期任务导入步骤成功才会执行，因为同一个导入包里面如果同时有数据质量规则和关联的调度节点信息，您需要先把关联的节点先导入目标空间且成功提交发布了，才能将调度节点和正确的质量规则关联上。

  • 如果只单独导入数据质量，不导入关联的调度节点，那数据质量依然会导入成功，只是没有关联调度节点的信息。后续把关联调度节点信息导入提交发布后，重新导入数据质量规则后，DataWorks会重新更新数据质量规则并关联上调度节点。

进入迁移助手

1. 登录DataWorks控制台，单击左侧导航栏的数据建模与开发 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

2. 单击左上方的图标，选择全部产品 > 更多 > 迁移助手，进入迁移助手首页。

创建全量导出任务

1. 在DataWorks导出页面，单击右上方的新建导出任务。

2. 在新建导出任务对话框中，配置各项参数。

   

   参数	描述
   导出名称	导出名称仅支持大小写字母、中文、数字、下划线和小数点。
   导出类型	选择全量导出时，您可以结合下面的导出范围的配置，导出选择对象的全量内容。
   导出范围与导出对象	导出范围支持： 导出全部对象：选择导出全部对象后，则后续会直接导出当前工作空间下的全部对象，包括：周期任务、手动任务、资源、函数、表DDL、数据源、数据服务、临时查询、组件、数据质量校验规则。 自选导出对象：选择自选导出对象后，您可以根据需要，在下方导出对象的下拉框中选择需要全量导出的对象，例如周期任务、资源、数据服务等。
   导出对象状态	您可以选择需要导出哪种状态下的对象内容： 保存：导出已保存的导出对象内容。 提交：导出已提交的导出对象内容。 发布：导出已发布的导出对象内容。
   黑名单	您可以根据业务需求决定是否选中添加黑名单，以筛选全量导出过程中无需导出的任务和资源。
   导出版本格式	包括公共云、专有云（V3.12及以上）和专有云（V3.6.1-V3.11）。DataWorks上不同版本的数据格式不一致，请先确认待导入环境中DataWorks的版本。
   备注	对导出任务进行简单描述。

3. 可选：添加黑名单并导出任务。

   如果您选中添加黑名单，请执行下述操作：

   1. 在新建导出任务对话框中，单击添加黑名单。

   2. 在选择黑名单页面，选择无需导出的对象。

   3. 单击添加到黑名单。

   4. 单击页面右上方的开始导出。

   5. 在导出确认对话框中，单击确认。

4. 可选：如果您未选中添加黑名单，请直接单击开始导出。

5. 在导出进度对话框中，查看任务的导出进度。待导出成功后，单击返回导出任务列表。

创建增量导出任务

1. 在DataWorks导出页面，单击右上方的新建导出任务。

2. 在新建导出任务对话框中，配置各项参数。

   

   参数	描述
   导出名称	导出名称仅支持大小写字母、中文、数字、下划线和小数点。
   导出类型	选择增量导出，您将导出指定日期后修改的文件，包括已保存、已提交的周期任务、手动任务、表元数据和数据源。
   导出范围与导出对象	导出全部对象：选择导出全部对象后，则后续会直接导出当前工作空间下的全部对象，包括：周期任务、手动任务、资源、函数、表DDL、数据源、数据服务、临时查询、组件、数据质量校验规则。 自选导出对象：选择自选导出对象后，您可以根据需要，在下方导出对象的下拉框中选择需要全量导出的对象，例如周期任务、资源、数据服务等。
   导出对象状态	您可以选择需要导出哪种状态下的对象内容： 保存：导出已保存的导出对象内容。 提交：导出已提交的导出对象内容。 发布：导出已发布的导出对象内容。
   修改日期	按照最后修改的时间进行增量。
   导出版本格式	包括公共云、专有云（V3.12及以上）和专有云（V3.6.1-V3.11）。
   备注	对导出任务进行简单描述。

3. 单击开始导出。

创建自选导出任务

1. 在DataWorks导出页面，单击右上方的新建导出任务。

2. 在新建导出任务对话框中，配置各项参数。

   

   参数	描述
   导出名称	导出名称仅支持大小写字母、中文、数字、下划线和小数点。
   导出类型	选择自选导出，您可以自由选择需要导出的文件，包括已保存、已提交的周期任务、手动任务、表元数据和数据源。
   导出版本格式	包括公共云、专有云（V3.12及以上）和专有云（V3.6.1-V3.11）。
   备注	对导出任务进行简单描述。

3. 单击选择导出内容。

4. 在自选导出列表页面，根据导出对象的类型筛选需要导出的对象。

   迁移助手支持的导出对象包括：表、周期任务、资源、手动任务、函数、数据质量、数据服务、数据源、组件和临时查询。

5. 选中需要导出的对象后，单击添加至导出包。

   您也可以根据导出对象、对象类型、对象名称等条件进行筛选，单击筛选结果添加到导出包，添加筛选的所有结果。

6. 单击页面右上方的开始导出。

任务状态

在导出任务列表页面，您可以查看导出任务的导出任务名称、导出类型、任务创建人、状态、更新时间和备注等信息，不同状态的任务可以进行不同的操作：

• 当导出任务的状态为导出成功时，您可以：

  • 单击查看导出报告，查看导出任务的基本信息、概览和明细。

  • 单击下载导出包，下载导出任务至本地。

    说明

    下载链接有效期为30天，请及时下载文件至本地。超期后链接将失效，您需重新执行导出操作。

  • 克隆不同导出类型的任务：

    • 单击导出类型为全量导出，且未添加黑名单任务后的克隆。在克隆对话框中，输入导出名称，单击开始导出。

    • 单击导出类型为全量导出，且已添加黑名单任务后的克隆。在克隆对话框中，输入导出名称，单击添加黑名单。

      在选择黑名单页面，选择无需导出的对象，单击添加到黑名单后，单击页面右上方的开始导出。

    • 单击导出类型为自选导出任务后的克隆。在克隆对话框中，输入导出名称，单击选择导出内容。

      在自选导出列表页面，选择需要导出的对象，单击添加至导出包后，单击页面右上方的开始导出。

• 当导出任务的状态为导出失败时，除查看导出报告和下载导出包外，您还可以单击重试，重新导出任务。

• 当导出任务的导出类型为自选导出、状态为编辑中时，您可以：

  • 单击编辑，在任务的编辑页面根据导出任务类型进行不同的操作。

  • 单击查看导出包，在导出包详情页面查看导出任务的基本信息、概览和明细。

  • 单击删除，在删除对话框中，单击确认。

• 当导出任务的导出类型为全量导出、状态为编辑中时，除可以编辑和删除导出任务外，您还可以单击查看黑名单。在黑名单预览对话框中，确认添加的黑名单，单击开始导出或关闭。