本文为您介绍DataWorks数据开发(DataStudio)界面各按钮的功能,方便您了解数据开发模块的整体布局,快速了解各组件、模块的使用并获取相关文档。
进入数据开发
登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发。
进入数据开发后,您可以创建业务流程及不同类型的节点进行相关开发操作,详情请参见创建业务流程及创建节点。
不同开发操作的界面功能存在差异,您可以根据本文快速了解对应操作的界面功能。
-
DataStudio界面总览,详情请参见DataStudio界面总览。
-
数据开发(业务流程)界面功能,详情请参见数据开发(业务流程)界面功能。
-
数据开发(业务流程)的快捷菜单,详情请参见数据开发(业务流程)快捷菜单。
-
数据开发(节点)界面功能,详情请参见数据开发(节点)界面功能。
-
数据开发(节点)的快捷菜单,详情请参见数据开发(节点)快捷菜单。
DataStudio界面总览
DataStudio界面总体介绍如下图所示。
区域
|
描述
|
1
|
-
切换工作空间。
该区域为您展示了当前登录数据开发模块的工作空间。单击 图标即可切换至当前地域的其他工作空间。
-
进入DataWorks其他模块。
单击 图标即可选择进入数据集成、运维中心等其他模块。
-
数据集成:数据集成。
-
数据建模:数仓规划、数据标准、数据指标、维度建模、DATABLAU。
-
数据开发与运维:DataStudio(数据开发)、运维中心(工作流)、任务发布、代码评审、Holo Studio。
-
数据治理:数据地图、数据质量、安全中心、数据保护伞、数据治理中心。
-
数据分析:数据分析。
-
数据服务:数据服务。
-
机器学习:机器学习PAI。
-
其他:发布中心审批中心、资源优化、DataWorks(首页)、迁移助手、全局成员管理。
-
返回DataWorks控制台。
单击 图标,在当前页面左下角单击 图标,即可返回DataWorks控制台。
|
2
|
在该区域单击 图标,即可展示对应功能按钮的名称。
-
数据开发:用于周期调度任务的开发,支持基于各类引擎创建不同节点进行数据开发,该模块开发的任务可发布生产进行运维。
说明
您需要绑定相应类型的引擎后,才可以基于该引擎进行数据开发。
-
手动业务流程:用于手动触发式任务的开发,该模块开发的任务可发布生产进行运维。
-
运行历史:用于查看在DataStudio界面测试运行的历史记录,当前支持保留3天的历史记录。
-
临时查询:用于进行单次简单的测试查询,无法发布生产运维。
-
公共表:用于查看当前登录的阿里云账号下所有的生产表。
-
表管理:用于使用可视化方式对目标表执行相关操作。支持的表操作与表对应的引擎可执行的操作一致。
-
函数列表:MaxCompute系统自带函数的相关介绍。
-
回收站:用于管理在数据开发与手动业务流程中删除的节点、资源及函数。
-
组件管理:组件是一种带有多个输入参数和输出参数的SQL代码过程模板,SQL代码过程的处理通常会引入一到多个源数据表,通过过滤、连接和聚合等操作,加工出新业务需要的目标表。
-
操作历史:可以通过操作类型、操作人、操作时间进行筛选,查看当前工作空间中的历史操作记录。
-
操作检查:可以通过操作类型、检查状态进行筛选,查看相应操作的详细信息。
-
模型管理:使用DATABLAU模块后,用于对DATABLAU中的数据模型进行管理。
-
MaxCompute:单击MaxCompute即可显示下列子模块。
-
MaxCompute资源管理:用于管理MaxCompute引擎现有的资源。您可以通过该功能查看资源的操作记录。同时,支持将不在DataWorks中上传的资源通过此功能加载至DataWorks的数据开发进行管理。
-
MaxCompute函数管理:用于管理MaxCompute引擎现有的函数。您可以通过该功能查看函数的操作记录。同时,支持将不在DataWorks上注册的函数通过此功能加载至DataWorks的数据开发进行管理。
说明
如果您当前的界面左侧导航栏模块展示不全,则可单击区域4的 图标,在个人设置界面添加相应模块,详情请参见个人设置。
|
3
|
DataStudio中进入其他模块的快捷入口:
-
节点配置:用于管理自定义节点及节点插件,进行个性化数据开发。同时,能够满足多样的数据质量定制化需求。配置完成后,您可以在数据开发界面选择该类型节点来编写SQL语句,SQL语句运行时,DataWorks会通过您后台定义的插件逻辑进行解析并执行。新增自定义节点前您需要先开发自定义插件的处理逻辑。
-
任务发布:用于将数据开发界面开发完成的节点发布至生产环境,您可以在发布流程中执行相关管控操作。
-
跨项目克隆:您可以利用跨项目克隆功能实现计算、同步等类型的任务在工作空间之间的克隆迁移。
-
运维中心:用于快速跳转至运维中心对任务进行运维操作。运维中心分开发运维中心和生产运维中心,生产运维中心承担生产调度任务的整体运维管控。
DataWorks各模块的通用功能:
说明
本文以DataStudio界面为例,为您讲解如下通用功能,其他模块对应界面,该类功能相同。
-
消息中心( ):用于发送产品侧功能变更的消息通知,方便您及时获取产品最新信息。
-
互动学习( ):用于提供相应的产品功能说明,当您有相关需要时,可使用该功能快速查看帮助内容。
-
工作空间管理( ):用于快速进入工作空间配置界面,您可以在该界面查看工作空间配置的基本信息、调度信息、白名单详情及引擎绑定情况。详情请参见创建并管理工作空间。
-
语言切换:单击当前显示的语言,即可进行语言(中英文)的切换。
-
账号信息:单击当前登录账号即可查看该账号的个人信息、工作台任务概况。
|
4
|
系统配置,包括如下内容:
-
个人设置:用于配置管理模块、编辑器功能、界面风格等。
-
配置代码模板:用于管理语句代码的模板,使其呈现所需样式。
-
调度设置:用于配置启用调度设置页面的调度周期功能,启用后周期任务才能自动调度运行。
-
安全设置与其他:
-
数据安全:用于控制在工作空间中查询页面内容时,是否对敏感信息进行脱敏。
-
代码强制评审:用于开启代码强制评审,配置代码审核人员,把控开发任务的代码质量。
-
删除DataBlau DDM数据模型:用于批量删除所有不再使用的DataBlau DDM数据模型。
|
5
|
数据开发编辑器常用的快捷键。更多快捷键,详情请参见编辑器快捷键列表。
|
数据开发(业务流程)界面功能
进入DataStudio后,默认进入数据开发模块,您需要在该模块先创建业务流程,组织后续业务开发。创建业务流程详情请参见创建业务流程。业务流程的功能界面如下图所示。
区域
|
功能描述
|
1
|
单击 图标,即可呈现当前工作空间下的所有解决方案或业务流程。
|
2
|
-
刷新( ):用于手动刷新目录树,当您对业务流程或解决方案进行变更操作,可手动刷新对应目录树。
-
定位( ):用于快速定位当前打开的文件。
-
代码搜索( ):用于通过关键字搜索代码片段,快速定位数据开发、手动业务流程、临时查询、回收站中包含该代码片段的所有节点及相关代码片段的详细内容。当目标表数据产生变更,您需要查找操作源(即导致目标表数据变更的任务)时,可以使用该功能。
-
批量操作( ):用于快速对表、资源、函数进行批量修改(包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作)。
-
导入( ):用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表中。
-
快捷新建( ):用于快速创建业务流程,以及各类型的节点、表、资源、函数等。
-
解决方案及业务流程目录树展示:
-
全部:目录树基于解决方案及业务流程展示当前工作空间下所有已创建的文件(节点、资源、函数等)。
-
我负责的:目录树基于解决方案及业务流程展示当前登录账号为负责人的文件(节点、资源、函数等)。
-
我收藏的:目录树基于解决方案及业务流程展示当前登录账号收藏的文件(节点、资源、函数等)。
-
文件查找:
-
精确查找:您可以输入文件名称或创建人,单击 图标查找指定节点。
-
按节点类型查找:您可以单击 图标,通过筛选节点类型,查找指定类型的所有节点。指定节点类型后,则目录树将仅展示当前工作空间中该类型的节点。
说明
您还可以根据业务需求选择是否需要隐藏引擎实例及隐藏节点类型文件夹,隐藏后,目录树将不会呈现相应内容。
-
隐藏引擎实例及隐藏节点类型文件夹仅适用于新版业务流程。
-
通常,目标引擎下仅包含一个引擎实例时,建议您将其隐藏。
-
如果您不需要使用数据开发、表、资源、函数等节点类型文件夹时,则可以将其隐藏。
说明
如果您当前的工作空间为新建的工作空间,请先创建业务流程,并在业务流程内新建节点进行数据开发。创建业务流程详情请参见创建业务流程。
|
3
|
使用目录树的方式对各业务流程中的节点、表、资源、函数进行管理:
-
业务流程:业务开发的单位,用于进行具体的业务开发工作。
-
节点:代码开发的最小单位,支持对应引擎、算法、数据集成、数据库、通用节点及自定义节点进行代码开发。
-
表:使用可视化方式操作表。
-
资源:使用可视化方式上传资源。
说明
当前仅支持MaxCompute、E-MapReduce、CDH引擎使用可视化方式上传资源。
-
函数:使用可视化方式注册函数。
说明
当前仅支持MaxCompute、E-MapReduce、CDH引擎使用可视化方式注册函数。
您可以通过节点名称前的图标查看该节点的状态:
同时,节点名称后为您展示了最近一次编辑该节点的时间。
双击业务流程名称,即可进入业务流程编辑页面(区域5~8),您可以在该页面进行数据开发。
|
4
|
资源组编排( ):用于在数据开发阶段,批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时,可以根据实际业务需求,使用该功能快速为目标节点重新分配资源组,促进资源的合理使用。修改后您需要通过批量发布将该操作发布至生产运维中心,使生产环境节点使用的调度资源组修改操作生效。
|
5
|
-
常用节点:为您展示当前工作空间中常用的类型节点,方便您快速筛选创建目标类型节点。
-
使用节点组:用于跨业务流程引用一批节点,您可以将业务流程内复用率较高的节点组合为一个节点组,以便在其他业务流程中快速复用该节点组(即快速克隆这批节点)。
-
快速创建节点:您可以将数据集成、MaxCompute、E-MapReduce等目录下的节点直接拖拽至右侧业务流程编辑面板,创建对应类型的节点。
|
6
|
业务流程可视化操作面板详情1:
|
7
|
业务流程可视化操作面板详情2:
-
流程参数:用于批量替换代码中的统一变量,目前仅支持ODPS SQL类型节点使用流程参数。
-
操作历史:用于查看业务流程面板中节点的相关操作记录。
-
查看版本:业务流程每次提交都会生成一个新的版本,您可以在此处查看业务流程的各个版本记录及版本详情。
|
8
|
业务流程可视化操作面板详情3:
|
数据开发(业务流程)快捷菜单
将鼠标悬停至目标业务流程,单击鼠标右键,即可显示业务流程的快捷菜单,相关功能如下图所示。
功能
|
描述
|
新建节点
|
用于快速新建各类型节点。
新建节点时,系统会显示最近一次使用的节点类型,单击该类型,即可自动输入最近一次使用的引擎实例及节点类型。如果您需要创建近期使用过的类型节点,则可使用该方式快速创建。
|
新建表
|
用于快速新建各类型表。
|
新建资源
|
用于快速新建各类引擎资源。
说明
当前仅支持新建MaxCompute、CDH、EMR引擎资源。
|
新建函数
|
用于快速新建各类引擎函数。
说明
当前仅支持新建MaxCompute、CDH、EMR引擎函数。
|
看板
|
用于进入目标业务流程的编辑面板。
|
修改业务流程
|
用于修改业务流程的名称、负责人、描述等信息。
|
删除业务流程
|
删除当前业务流程。
说明
此操作将批量删除该业务流程下所有文件,请您谨慎操作。
删除业务流程时,针对无法删除的文件,您可以选择如下处理策略:

|
批量操作
|
用于批量修改业务流程中节点、资源、函数的责任人、引擎实例、调度属性等,并支持批量提交并发布,将变更操作发布至生产环境生效。
|
数据开发(节点)界面功能
业务流程创建完成后,您可以根据开发需求创建不同类型的数据开发节点,详情请参见创建开发节点。不同类型的节点功能类似,本文以ODPS SQL节点为例,为您介绍数据开发节点编辑界面的功能。
区域
|
功能描述
|
1
|
节点开发相关功能按钮:
|
2
|
调度配置:
-
基础属性:查看调度节点的名称、ID、类型,并配置责任人、描述等基本信息。
-
参数:任务调度时需要使用的参数,可使用调度参数实现参数的动态取值。
-
时间属性:用于定义节点发布生产调度系统后在调度环境下的相关属性。您可以通过调度配置的时间属性,配置节点生成周期实例的方式,实例调度周期与执行时间,是否支持重跑,任务执行超过多长时间自动退出等。
-
资源属性:配置节点调度时需要使用的资源组。
-
调度依赖:用于配置上下游节点的依赖关系,详情请参见配置同周期调度依赖、配置依赖上一周期(跨周期依赖)。
-
节点上下文:用于上下游节点参数传递,多用于使用赋值功能通过节点上下文参数,将上游节点的查询结果传递至下游节点。
血缘关系:展示当前节点和其它节点的依赖关系和内部血缘关系。
查看版本节点每次提交、发布都将生成新的版本。您可以在版本面板查看节点历史版本、提交人、提交时间、变更类型、状态、备注等信息。版本的状态说明如下:
-
已提交:节点已提交至开发环境,在任务发布界面处于待发布状态。
-
已发布:节点已经发布至生产环境,您可以在生产运维中心周期任务查看。详情请参见查看并管理周期任务。
-
中间版本:节点提交一次后未发布,如果再提交一次,则上一次提交的版本将成为中间版本。
-
发布已取消:节点提交后在任务发布界面将该条待发布记录取消发布,该版本的状态则会变为发布已取消。
结构:代码结构通过SQL算子进行可视化展示。
|
3
|
SQL编辑器:您可以根据业务需求在编辑器中编写任务的SQL语句。
|
4
|
发布运维操作:
|
数据开发(节点)快捷菜单
将鼠标悬停至目标开发节点,单击鼠标右键,即可显示节点的快捷菜单,相关功能如下图所示。
功能
|
描述
|
重命名
|
修改目标节点的名称。
|
收藏
|
收藏目标节点后,单击数据开发目录树右上方的我收藏的,即可展示已收藏的节点。对于已收藏的节点,后续无需收藏时,则可在节点的快捷菜单单击取消收藏。
|
移动
|
移动目标节点至其他业务流程目录。
|
克隆
|
用于复制出一个具有相同节点类型、责任人及资源属性的节点。原节点和克隆节点根据不同名称进行区分。
|
查看历史版本
|
用于在版本面板查看节点历史版本、提交人、提交时间、变更类型、状态、备注等信息。
|
在运维中心中定位
|
进入运维中心查看节点的运行信息。如果节点分别提交至开发环境及生产环境,则您可以选择在运维中心(生产)中定位或在运维中心(生产)中定位
|
发起代码评审
|
提交当前节点的代码至评审人进行评审。开发人员提交的节点必须通过评审人对代码的审核才可以发布。
|
删除
|
删除该节点及其上下游依赖节点对该节点的依赖。已发布至生产环境的节点被删除后,您需要进入任务发布界面执行发布操作,发布后该节点才会在生产环境下线,详情请参见下线任务。
|
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
转转请注明出处:https://www.yunxiaoer.com/172161.html