阿里云大数据开发治理平台 DataWorks数据地图概述-云淘科技

元数据采集与接入

• MaxCompute数据

  如果您使用了MaxCompute引擎，您可以直接在数据地图进行MaxCompute表元数据管理的相关操作。

• 其他类型元数据

  除MaxCompute外，您还可以通过元数据采集功能将不同数据源中的元数据导入数据地图进行统一管理。在数据发现页面通过元数据采集器将其他数据源中的元数据采集至DataWorks数据地图，采集完成后，您可以在数据地图搜索并查看各数据源的元数据信息。除MaxCompute以外，目前数据地图支持的其他数据源类型有：E-MapReduce、Hologres、CDH Hive、CDH Kudu、CDH Hbase、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、OSS、OTS、PostgreSQL、MySQL、SQL Server、Oracle（持续扩充中），元数据采集配置详情请参见数据发现。

  说明

  如果需要在数据开发中表管理进行可视化建表操作，请先在数据地图进行元数据采集，可视化建表操作仅支持绑定为引擎类型的数据源。详情请参见表管理。

  

网络连通

如果您需要将数据源中的元数据导入数据地图进行统一的元数据管理，需要先确保数据地图元数据采集器能正常访问您的数据库。如果您需要进行元数据采集的数据库已开启白名单访问控制，请在数据库白名单列表中，添加您使用的DataWorks所在地域对应的IP网段。需要配置的白名单请参见元数据采集的数据源有白名单访问控制时需要配置的白名单。

数据总览

• 您可以在数据总览页面查看当前地域（Region）下的MaxCompute总项目数，总表数、存储量、总API数、存储趋势图、项目占有率Top、表占有率Top和热门表。

• 您还可以查看元数据采集完成后的AnalyticDB MySQL 3.0、MySQL、E-MapReduce、Hologres、AnalyticDB PostgreSQL、OTS等的数据库总数，总表数、总API数等信息。

详情请参见数据总览。

查找表和API

数据地图支持您通过如下方式查找表和API。

• • 您可以通过首页中的表类目下展示的近期浏览的表、近期读取的表、热门浏览和热门读取等列表快速获取相应的表。或者在搜索框中输入关键字搜索目标表，详情请参见通用数据查询与管理。

  • 您还可以通过首页中的API类目下展示的近期浏览的API、热门浏览的API、热门调用的API等列表快速获取相应的API，或者在搜索框中输入关键字搜索目标API，详情请参见通用数据查询与管理。

  

• • 您可以在搜索界面中的表类目下对各数据源中元数据采集后的表通过表名，表描述及字段名，字段描述进行搜索。同时支持通过表所在类目，项目或数据库进行表过滤。此外，对于MaxCompute还支持根据表所在生产或开发环境及表负责人进行过滤，对于E-MapReduce还支持通过集群过滤表。详情请参见查找表。

  • 您还可以在搜索界面中的API类目下对当前租户下所有空间中的API，通过输入API名称、API描述等关键字进行搜索，同时支持通过API类型、工作空间、负责人对搜索结果进行过滤。找到符合条件的API。详情请参见数据服务API。

  

查看表详情和API详情

• 您可以单击目标表名称跳转至表详情页面，查看表的基础信息、产出信息和血缘信息等信息。请参见查看表详情。

  说明

  血缘信息页面中您可以查看引擎节点内部血缘关系，具体引擎节点血缘支持情况以产品实际页面展示为准。此外，MaxCompute还支持基于离线同步的完整链路血缘查看。您可以查看MaxCompute表的上下游血缘，通过展开表血缘层级查看MaxCompute表的原始数据来源相关信息和MaxCompute表数据最终流向的数据库相关信息。

  表详情页面右上角支持通过表名，表描述，字段名，字段描述及项目名等关键字进行搜索。详情请参见查看表详情。

• 您可以单击目标API名称跳转至API详情页面，查看API的基础信息、技术信息等信息。详情请参见查看API详情。

  API详情页面右上角支持通过API ID、API Path、API名称、API描述等关键字搜索API。

表的有序组织和管理

类目管理功能方便您通过类别有效地组织和管理表，表的类目管理配置完成后，您可以在查找表时，通过类目来过滤目标表。详情请参见类目导航管理：配置管理，同时支持您管理表。

说明

阿里云主账号及拥有AliyunDataWorksfullaccess权限的RAM用户可以编辑类目树。

• 类目管理

  您可以通过如下方法将表添加至类目中：

  1. 通过配置管理 > 类目导航配置批量将表添加到指定类目。

     类目导航配置完成后，您可以选中最后一级类目，并通过界面的快速添加入口，快速将表某个项目下的某些表批量添加至该类目中。详情请参见类目导航管理：配置管理。

  2. 通过我的数据页面批量将表添加到指定类目。

     类目配置完成后，您可以在我的数据（我拥有的数据、我管理的数据）页面批量将表添加到指定类目。详情请参见我的数据。

• 表管理

  对于MaxCompute数据类型，数据地图支持批量修改中文名，生命周期、支持批量删除开发表或者生产表，批量转交表责任人。详情请参见我的数据。

• 个人收藏

  数据地图支持您将个人关注的表统一添加到个人收藏中进行管理，方便快速定位和查阅。您可以通过我的数据页面下的我的收藏分组中查看目前个人收藏的表。详情请参见我的数据。

  • 将表添加入我的收藏

    您在查看表详情时，可以通过表详情页的收藏按钮，快速将表加入的我的收藏，详情请参见查看表详情，添加收藏后，您可以通过我的数据页面下的我的收藏分组中进行查看，详情请参见收藏表。

  • 将表从我的收藏列表移除

    您可以通过下面两种方式取消收藏表，取消收藏后，将不会展示在我的数据页面下的我的收藏列表中。

    • 您可以通过我的数据页面下的我的收藏分组中对目前收藏的表取消收藏。

    • 您可以通过已收藏的表详情页面中的取消收藏入口，快速取消收藏该表。

表权限管控

• 表操作权限申请

  标准模式工作空间下，RAM用户默认无法通过SQL命令直接操作生产表，如果您需要操作生产表或跨账号查询生产表，需要进行权限申请，您可以在表详情页中的申请权限入口申请表的相关权限。当您在表详情页单击申请权限时，将跳转到安全中心进行具体的权限申请操作，详情请参见申请表权限。

  说明

  如果RAM用户无某张表的查询权限，默认情况下将无法通过数据地图表详情页中的数据预览功能来查看该表数据。

• MaxCompute表数据预览权限控制

  您可以在配置管理，项目管理配置中对具体工作空间的MaxCompute开发表或生产表开启预览权限，开启后，该项目下的表无需申请访问权限，即可被工作空间中所有成员预览。详情请参见项目管理配置。

  说明

  • 此操作可能存在敏感数据泄露的风险，请谨慎评估后再开启。

  • 所在工作空间的项目owner或者工作空间管理员可进行该操作。

  • 此权限仅控制数据地图中表详情页面的数据预览功能。

  

• 隐藏表

  表隐藏后，搜索表时将无法搜索到该表。支持对所有人隐藏或者仅对表所在工作空间下用户可见。详情请参见我的数据。

  您可以选择表状态为

  • 隐藏：所有人都不可以通过搜索来访问到该表。

  • 仅项目：仅对表所在工作空间下用户可见（可搜索到）。

  • 显示：所有人都可以通过搜索访问到该表。

  说明

  表owner和工作空间管理员默认不受上述权限控制。

  

其他

• 工作空间管理

  您可以通过单击工作空间查看当前阿里云主账号下的所有工作空间详情列表，单击目标工作空间名称可以查看工作空间的详细信息。详情请参见工作空间列表。

• 手动同步工具

  如果表存在但是搜索不到或者表更新了但是数据地图显示还未更新，您需要手工同步表。

  • 在搜索结果页面单击手工同步。

  • 在数据地图的我的数据 > 手工同步表页面，输入格式为odps.项目名称.表名称的表GUID后，单击手工同步。

    说明

    手工同步工具仅对MaxCompute有效。

  完成上述操作后您可以在数据地图的全部数据中再次搜索关键词查询对应的表。