本文为您介绍DataWorks文档更新的最新动态,基于此您可以及时了解DataWorks的新增特性及功能变更。
2023年10月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2023.10.30 |
新增功能 |
数据建模API |
DataWorks支持调用QueryPublicModelEngine接口查询单个指标所依赖模型的相关信息、查询复合指标。 |
QueryPublicModelEngine |
2023.10.20 |
新增功能 |
上传与下载 |
DataWorks的上传与下载模块,提供了便捷的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作,致力于为您提供高效、便捷的数据传输服务,助力您快速实现数据驱动业务。 |
数据上传 |
2023.10.12 |
新增功能 |
数据源 |
DataWorks数据源2.0版本发布通知。 |
DataWorks新版数据源公告 |
2023年9月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2023.9.25 |
更新功能 |
数据开发 |
调度依赖配置、预览依赖关系新版界面发布。 |
|
2023.9.20 |
新增功能 |
开放平台 |
新增表权限前置事件、新增租户删除工作空间事件。 |
附录:发送给EventBridge的消息格式 |
2023.09.13 |
更新功能 |
数据保护伞 |
数据分类分级文档内容优化。 |
配置敏感数据分类分级 |
2023.09.12 |
新增功能 |
数据开发 |
开启安全隔离代码和日志后,非本工作空间中的成员将无权限查看本工作空间的任务代码及运行日志。 |
安全设置与其他 |
2023年8月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2023.8.29 |
新增功能 |
数据服务 |
数据服务的独享资源组,新增3种规格:api.s2.small、api.s2.medium、api.s2.large |
独享数据服务资源组计费说明:包年包月 |
2023.8.29 |
新增功能 |
运维中心 |
用于通过节点所在基线的优先级与YARN队列优先级的映射关系,来调整该节点最终的YARN队列优先级。 |
|
2023.8.28 |
新增功能 |
管理控制 |
DataWorks新增Role_Project_Scheduler空间级预设角色,用于调度执行生产环境的MaxCompute任务。 |
附录:空间级预设角色与MaxCompute引擎权限的映射关系 |
2023.8.25 |
新增功能 |
数据建模 |
用于帮助您快速构建数据仓库模型架构图,直观展示数据仓库中各模型之间的关系。一个关系图承载一个数据仓库模型,一个账号支持创建多个关系图。 |
关系图 |
2023.8.25 |
新增功能 |
数据集成 |
Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道,方便您后续可以通过向导模式和脚本模式配置数据同步任务。 |
Amazon Redshift数据源 |
2023.8.24 |
新增功能 |
运维中心 |
在原有调度配置基础上,新增自定义调度日历功能,可通过该功能实现更灵活的任务调度日期与调度方式定义。 |
配置调度日历 |
2023.08.16 |
更新功能 |
管理控制 |
为给您带来更为统一的产品使用体验,DataWorks将MaxCompute计算引擎相关操作合并至新版MaxCompute数据源。合并后,原MaxCompute计算引擎相关操作(例如,创建、编辑)将通过MaxCompute数据源界面执行,并且MaxCompute数据源相关权限存在一定变更。 |
|
2023.08.15 |
新增功能 |
运维中心 |
当对象类型选择工作空间时,新增出错实例数、出错实例占比、任务日志含关键字等触发条件。 |
规则管理 |
2023.08.07 |
新增功能 |
数据分析 |
数据分析提供卡片和报告功能,您无需下载数据,即可快速完成数据可视化分析与报告创作,轻松打造个性化可视化作品,讲述数据故事、表达数据观点。 |
增强分析(卡片和报告) |
2023.08.04 |
新增功能 |
数据集成 |
以Kafka实时入湖写入至OSS场景为例,为您介绍如何通过数据集成实时入湖 |
Kafka单表实时入湖OSS(HUDI) |
2023年7月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2023.7.31 |
优化体验 |
数据服务 |
数据服务架构及内容优化。 |
数据服务概述 |
2023.7.31 |
更新功能 |
数据治理中心 |
数据治理中心目前支持处理MaxCompute和E-MapReduce的检查项事件、治理项问题。 |
|
2023.7.25 |
更新功能 |
管理控制台 |
新版管能控制台更新上线。 |
管理控制台功能概览 |
2023.7.18 |
新增功能 |
数据集成 |
为您介绍如何LogHub(SLS)实时ETL同步至Hologres任务 |
LogHub(SLS)实时ETL同步至Hologres |
2023.7.16 |
新增功能 |
数据建模 |
为您提供由派生指标通过运算规则进行计算而形成的复合指标,帮助您更加灵活且细粒度地定义业务指标。 |
复合指标 |
2023.7.13 |
新增功能 |
数据集成 |
实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化,然后将Kafka指定Topic的存量数据同步至Hologres,同时也持续将增量数据实时同步至Hologres。 |
Kafka实时ETL同步至Hologres |
2023.07.08 |
新增功能 |
管理控制 |
当您第一次使用DataWorks,或开通新地域的DataWorks服务时,将自动生成默认工作空间。 |
默认工作空间内置逻辑说明 |
2023.07.06 |
新增功能 |
数据建模 |
智能数据建模支持售卖个人版规格。 |
智能数据建模产品计费标准 |
2023年6月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2023.6.30 |
新增功能 |
数据开发 |
配置代码模板支持Pyodps3、EMR Spark SQL等多种模板类型。 |
配置代码模板 |
2023.6.29 |
新增功能 |
数据开发 |
DataWorks为您提供函数计算节点,您可通过该节点周期性调度处理事件函数,并完成与其他类型节点的集成和联合调度。 |
函数计算节点 |
2023.6.29 |
新增功能 |
管理控制 |
绑定E-MapReduce计算引擎:
|
绑定E-MapReduce计算引擎 |
2023.6.27 |
更新功能 |
运维中心 |
运维大屏功能改版,支持展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况,以及数据集成同步任务的运行详情,助力您从宏观角度快速了解空间任务的整体概况,及时发现并处理异常任务,提升运维效率。 |
查看运维大屏 |
2023.6.25 |
新增功能 |
数据建模 |
数仓规划 > 系统管理支持自定义使用代码模式建模时,其他引擎DDL语句中Comment字段对应可视化建模界面中的名称还是描述信息。 |
系统管理 |
2023.6.16 |
新增功能 |
数据开发 |
|
使用流程参数 |
2023.6.10 |
更新功能 |
数据开发 |
优化创建ODPS Spark节点文档的结构及内容。 |
开发ODPS Spark任务 |
2023年5月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2023.5.22 |
新增功能 |
管理控制 |
当在DataWorks控制台进行引擎相关操作时(如新增引擎实例、编辑已有引擎),界面会提示您需先完成授权相关操作,您根据界面提示完成授权操作后,系统会自动为您创建好对应服务的关联角色。 |
附录:DataWorks访问其他引擎产品的服务关联角色 |
2023.5.11 |
新增功能 |
数据开发 |
您可通过关联远程仓库云效的方式,将Function Studio上的代码迁移至一站式BizDevOps平台云效统一管理。为您介绍如何将Function Studio中的代码迁移至云效服务平台。 |
迁移Function Studio数据至云效服务平台 |
2023.5.10 |
更新功能 |
开放平台 |
控制台界面更新优化。 |
开放平台概览 |
2023年4月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2023.4.23 |
新增功能 |
数据集成 |
数据集成的MaxCompute同步任务默认使用公共传输资源上传、下载数据至MaxCompute,为满足您业务增长对传输资源的更高要求,MaxCompute推出了独享传输资源能力,可以为您提供更好的数据同步稳定性和同步的并发数。 |
使用MaxCompute独享Tunnel进行数据同步 |
2023.4.19 |
新增功能 |
数据集成 |
以阿里云EMR Hive离线同步写入MaxCompute场景为例,为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。 |
EMR Hive数据整库离线同步至MaxCompute |
2023.4.17 |
优化体验 |
管理控制 |
在创建DataWorks工作空间时,您需要选择工作空间所在地域,默认情况下DataWorks工作空间所在地域对应的时区即为调度时区(即任务定时调度时间所使用的时区)。同时,还支持您切换工作空间的调度时区。 |
场景:切换调度时区 |
2023.4.14 |
新增功能 |
数据集成 |
以MySQL离线同步写入Hive场景为例,为您介绍如何一次性把MySQL整个数据库的数据离线同步至Hive。 |
MySQL整库数据离线同步至Hive |
2023.4.12 |
更新功能 |
数据集成 |
补充行模式、列模式两种数据读取与写入方式,可针对宽表与时序表进行数据读取与写入。 |
|
2023.4.7 |
新增功能 |
数据集成 |
DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表。 |
IoT数据源 |
2023年3月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2023.3.28 |
更新功能 |
数据地图 |
为您介绍如何创建采集器,将各数据源的元数据信息汇集至DataWorks。 |
元数据采集 |
2023.3.23 |
新增功能 |
数据集成 |
离线和实时任务支持使用Logview查看任务运行信息。 |
|
2023.3.21 |
更新功能 |
数据建模 |
数仓分层新增维度相关内容。数仓分层检查器功能优化,所有模型或指标检查器统一使用一种强弱程度的规则,即统一为强规则,或统一为弱规则。 |
|
2023.3.16 |
新增功能 |
数据建模 |
DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师,总结阿里云百万用户最全面的业务场景,结合阿里巴巴技术创新能力,提供零售电子商务、金融、制造等多个领域的行业模型最佳实践。您可使用该模板快速构建属于您的数据仓库。 |
行业模型模版 |
2023.3.02 |
新增功能 |
数据集成 |
以ClickHouse离线同步写入Hologres场景为例,为您介绍如何一次性把ClickHouse整个数据库的数据离线同步至Hologres。 |
ClickHouse整库数据离线同步至Hologres |
2023.3.02 |
新增功能 |
数据开发 |
新增调度属性概述介绍。若任务需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。 |
任务调度属性配置概述 |
2023年2月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2023.2.28 |
新增功能 |
数据治理中心 |
DataWorks支持您根据业务需要,将治理工作台 > 治理项问题页面待解决的治理项问题以通知的形式,通过系统提示、邮件、钉钉群消息等发送给指定人员,方便及时查看并处理。 |
配置消息通知 |
2023.2.26 |
更新功能 |
数据开发 |
优化周期调度任务的下线流程、恢复流程、任务下线后对于已生成实例及正在运行实例平台侧的处理方案。 |
下线任务 |
2023.2.25 |
新增功能 |
数据开发 |
为您介绍度参数配置相关的典型场景及最佳实践汇总。 |
调度参数典型场景配置示例 |
2023.2.21 |
新增功能 |
数据开发 |
DataWorks将不同类型引擎任务封装为不同节点,通过节点来定义数据开发任务。同时,支持使用资源、函数、以及相关逻辑处理节点开发更多复杂的任务。您可参考数据开发任务的通用开发流程进行任务的数据开发。 |
通用开发流程 |
2023.2.17 |
优化体验 |
数据集成 |
调整数据集成模块整体架构。 |
数据集成概述 |
2023.2.16 |
更新功能 |
数据开发 |
优化OSS对象检查节点的配置说明及使用步骤。 |
OSS对象检查节点 |
2023.2.14 |
新增功能 |
迁移助手 |
导出开源引擎任务新增导出DolphinScheduler类型任务。 |
导出DolphinScheduler任务 |
2023.2.09 |
更新功能 |
数据开发 |
调整创建并使用SQL组件节点的架构,并优化组件节点的使用逻辑。 |
SQL组件概述 |
2023年1月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2023.1.17 |
新增功能 |
数据开发 |
为您介绍任务调试的基本流程,您可根据需要,通过运行、带参运行、快捷运行等功能调试完整代码或代码片段的正确性,并在调试完成后查看运行结果。 |
任务调试流程 |
2023.1.17 |
更新功能 |
数据开发 |
补充节点组的删除说明,优化节点组的相关内容。 |
使用节点组 |
2023.1.11 |
新增功能 |
运维中心 |
任务实际执行受多方因素影响,您可通过运行诊断功能快速定位任务未运行成功的原因。 |
任务运行诊断 |
2023.1.10 |
新增功能 |
数据开发 |
您可通过操作类型、操作人、操作时间进行筛选,查看人员在当前工作空间中的操作记录。 |
查看数据开发操作记录 |
2023.1.9 |
新增功能 |
数据智能建模 |
用于管理数据仓库建表管控策略(例如,是否允许用户在没有数据模型的情况下,可在数据开发DataStudio生产环境下直接创建MaxCompute物理表)。策略启用后,凡是未通过智能数据建模生成的MaxCompute物理表,在创建或修改表时均会触发表名检测,保障建表的规范性。 |
系统管理 |
2023.1.6 |
新增功能 |
数据智能建模 |
模型支持发布至EMR、Hologres引擎。 |
发布模型至引擎 |
2022年12月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.12.29 |
功能更新 |
数据开发 |
优化创建及使用MaxCompute表的相关内容,包括可视化创建表、提交发布表、MaxCompute表数据写入与导出、查询MaxCompute表数据等。 |
创建并使用MaxCompute表 |
2022.12,23 |
优化体验 |
数据开发 |
更新表管理相关内容的设置(定义表相关格式、定义表主题、定义表层级)。 |
表管理 |
2022.12.23 |
新增功能 |
开始使用 |
更新引擎绑定入口及相关权限说明。 |
进入引擎绑定页面 |
2022.12.15 |
新增功能 |
数据开发 |
新增DataWorks On MaxCompute、DataWorks On Hologres引擎开发流程。 |
|
2022.12.6 |
新增功能 |
开放平台 |
新增工作流状态变更事件。 |
附录:发送给EventBridge的消息格式 |
2022年11月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.11.25 |
新增功能 |
数据开发 |
您可参考调度参数的最佳实践配置,在代码中定义参数,并在调度配置中对参数进行赋值使用。 |
调度参数配置最佳实践 |
2022.11.24 |
新增功能 |
数据开发 |
新增调度依赖配置指引及复杂场景依赖配置原则,帮助您了解调度依赖的配置流程及重点难点内容。配置调度依赖前请先了解此内容,避免因调度依赖配置有误导致数据异常。 |
|
2022.11.23 |
新增功能 |
数据开发 |
新增使用可视化方式创建Hologres内部表及外部表。 |
|
2022.11.18 |
更新功能 |
开放平台 |
更新进入开放平台的入口。 |
开放平台概览 |
2022.11.17 |
新增功能 |
数据地图 |
加入或查看专辑:您可将当前表加入目标数据专辑中进行管理,或查看当前表已加入的数据专辑。 |
查看表详情 |
2022.11.3 |
新增功能 |
安全中心 |
新增数据查询与分析管控功能,授权用户可查询指定数据源,以及管控查询结果的相关操作。 |
数据查询与分析管控 |
2022年10月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.10.21 |
更新功能 |
管理控制 |
|
管理控制台功能概览、管理中心功能概览 |
2022.10.20 |
新增功能 |
资源组 |
首次使用独享资源组时,系统会自动创建AliyunServiceRoleForDataWorks服务关联角色,用来访问专有网络VPC(Virtual Private Cloud)、弹性网卡ENI(Elastic Network Interface)及安全组中的资源。您也可使用RAM用户创建该服务关联角色。 |
DataWorks服务关联角色 |
2022年09月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.9.23 |
更新功能 |
管理控制台 |
运维助手功能改造,为您提供在独享调度资源组上进行新建、执行和删除命令的工具,以及查看命令执行结果等操作的功能。 |
运维助手 |
2022.9.22 |
新增功能 |
数据开发 |
简单模式支持强制代码评审功能,为您介绍简单模式工作空间的节点发起强制代码评审的流程及相关介绍。 |
代码评审 |
2022.9.20 |
新增功能 |
运维中心 |
查看实例详情界面增加查看关联的自定义规则及智能基线的情况,同时,为您提供快速创建任务运行状态监控则及智能基线的入口。 |
查看周期实例、执行测试并查看测试实例、附录:DAG图功能介绍 |
2022.9.19 |
更新功能 |
数据集成 |
DM插件补充向导模式。 |
DM Reader、DM Writer |
2022.9.06 |
新增功能 |
数据建模 |
DataWorks支持在维度建模中规划并创建维度,后续创建维度表时进行关联,关联后即可通过不同维度分析呈现不同视角的业务数据状况。 |
创建概念模型:维度 |
2022.9.06 |
新增功能 |
数据建模 |
DataWorks智能数据建模新增通用导入工具,您可基于数据模型、数据标准等多种类型的对象模板,批量导入并创建相应对象。 |
导入 |
2022年08月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.8.30 |
更新功能 |
数据集成 |
|
数据集成概述 |
2022.8.22 |
新增功能 |
运维中心 |
周期实例界面新增业务流程运维视角,通过可视化图标为您展示业务流程的运行状态,并支持您直接操作业务流程,业务流程视角下单个实例的操作与周期实例视角操作一致。 |
查看周期实例 |
2022.8.18 |
新增功能 |
数据建模 |
DataWorks智能数据建模新增如下功能:
|
|
2022.8.05 |
新增功能 |
数据开发 |
DataWorks支持一键同步MaxCompute表结构及表数据至Hologres:
|
|
2022.8.02 |
新增功能 |
数据开发 |
|
|
2022年07月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.7.29 |
新增功能 |
数据建模 |
|
发布模型至引擎 |
2022.7.29 |
新增功能 |
数据建模 |
模型开发支持绑定已有DataStudio节点,您可在绑定成功后直接跳转至对应的节点页面进行数据开发。 |
基于模型生成ETL代码 |
2022.7.29 |
新增功能 |
数据建模 |
数仓分层检查器支持创建指标检查器,用于规范目标分层中指标的命名,帮助您减少后期的运维成本。 |
配置及使用数仓分层检查器 |
2022.7.8 |
新增功能 |
数据开发 |
DataWorks支持绑定EMR的DataLake(新版数据湖)集群为执行EMR任务使用的引擎,您可基于DataLake集群运行开发任务。为您介绍DataWorks On EMR开发流程的事项、相关配置、权限说明。 |
|
2022.7.2 |
更新功能 |
数据开发 |
补充虚拟节点如下应用场景:
|
虚拟节点 |
2022年06月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.6.28 |
新增功能 |
数据建模 |
逆向建模的配置逆向策略支持表名匹配规则模糊匹配。 |
逆向建模:物理表反向建模 |
2022.6.27 |
新增功能 |
数据保护伞 |
在敏感数据识别界面新增自定义扫描范围功能,同时,支持您可视化查看数据识别进度、数据识别执行日志。 |
配置数据识别规则 |
2022.6.22 |
更新功能 |
开放平台 |
OpenEvent实现消息订阅与消费的方式由kafka更改为EventBridge。 |
|
2022.6.16 |
更新功能 |
数据开发 |
补充跨业务流程节点依赖的调度配置场景,该场景主要为您介绍跨业务流程、跨工作空间场景下,如何设置节点的调度依赖。 |
场景3:如何配置跨业务流程、跨工作空间的调度依赖 |
2022.6.13 |
新增功能 |
数据开发 |
DataStudio会根据您的角色权限展示预设的功能模块,并支持按照您的需要定制化展示所需模块,降低DataStudio使用门槛。 |
场景:数据开发定制化展示 |
2022.6.2 |
新增功能 |
数据集成 |
当同步任务执行完成,新同步到MaxCompute的数据能被查询到。 |
MaxCompute Writer |
2022.6.2 |
新增功能 |
数据集成 |
StarRocks数据源为您提供读取和写入StarRocks双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 |
配置StarRocks数据源 |
2022年05月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.5.23 |
新增功能 |
审批中心 |
数据集成审批策略支持管理员从DataWorks空间级别为数据集成任务的保存操作定义审批策略。 |
|
2022.5.22 |
更新功能 |
数据保护伞 |
|
创建数据脱敏规则 |
2022.5.18 |
新增功能 |
数据保护伞 |
新增数据血缘功能,支持可视化展示敏感数据的血缘关系,自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段,帮助您梳理敏感数据的扩散情况及影响面,提高数据识别效率。 |
查看敏感数据血缘(公测) |
2022.5.18 |
新增功能 |
数据建模 |
新增首页功能,为您展示了当前租户内创建的模型及派生指标数量,以及近三十天内当前工作空间成功发布至生产环境的模型列表,帮助您了解模型动态概况。 |
首页 |
2022.5.13 |
新增功能 |
API |
获取导入导出迁移任务列表。 |
ListMigrations |
2022.5.11 |
新增功能 |
数据集成 |
HBase20xsql Reader插件实现了从Phoenix(Hbase中的SQL表)中读取数据。 |
HBase20xsql Reader |
2022.5.12 |
更新功能 |
商业化 |
计费逻辑文档重构。 |
计费逻辑说明 |
2022.5.10 |
新增功能 |
智能监控 |
|
智能监控概述 |
2022年04月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.04.29 |
更新功能 |
产品计费及资源组 |
|
|
2022.04.20 |
新增功能 |
数据地图 |
数据建模对接数据地图,通过建模创建的模型表会集成至数据地图中,您可以在数据地图中查看表的基础信息、产出信息和血缘信息等详情。 |
|
2022.04.17 |
更新功能 |
产品版本规格与资源组 |
资源组规格变更体验优化。新增变更前准备、操作影响确认、支持设置是否重跑任务等功能。 |
变更规格操作 |
2022.04.15 |
更新功能 |
智能基线 |
|
|
2022.04.15 |
新增功能 |
数据分析师 |
数据分析师角色的用户默认只有数据分析模块的操作权限。 |
|
2022.04.14 |
新增功能 |
管控台基础操作 |
选择地域后,默认情况下将DataWorks工作空间所在地域对应的时区设置为调度时区(即任务定时调度时间所使用的时区),美国(硅谷)、德国(法兰克福)地域首次创建工作空间时,会出现弹框提示,可提交工单联系技术支持人员修改调度时区为东八区。 |
工作空间管理概述 |
2022.04.13 |
新增功能 |
数据保护伞 |
|
|
2022.04.08 |
新增功能 |
数据质量 |
新增规则列表,您可以在此界面查看指定引擎或数据库下的数据质量规则详情。 |
数据质量规则生效逻辑说明 |
2022年03月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.03.31 |
新增功能 |
发布中心 |
DataWorks的发布中心为当前任务发布功能的升级版,主要解决多环境间节点、函数、资源、组件等对象的发布问题。通常,当目标端需要创建与原端相同的对象时,可以借助该功能快速实现对象的发布。您可以参考发布中心的应用场景、逻辑说明、发布流程等内容,基于不同发布场景进行环境配置,发布所需内容。 |
发布中心概述 |
2022.03.28 |
新增功能 |
数据开发 |
DataWorks的快捷运行功能,帮助您在节点编辑页面,快速运行选中的代码片段。您可以通过该功能测试代码片段编写是否正确。本文为您介绍如何快捷运行目标代码。 |
调试代码片段:快捷运行 |
2022.03.25 |
更新功能 |
数据开发 |
DataWorks数据开发(DataStudio)界面功能更新,方便您总览数据开发模块的整体布局,快速了解各组件、模块的使用并获取相关文档。同时,新增如下功能:
|
数据开发功能索引 |
2022.03.21 |
更新功能 |
数据治理 |
查看治理排行榜的个人视角支持您按照用户角色过滤治理项及检查项事件的排行榜列表。 |
查看治理结果 |
2022.03.20 |
更新功能 |
产品更新 |
|
|
2022.03.17 |
更新功能 |
数据地图 |
|
|
2022.03.17 |
更新功能 |
调度参数 |
调度参数是DataWorks任务调度时使用的参数,调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。本次主要调整调度参数章节整体架构,并梳理内容逻辑。方便您快速学习相关内容并着手使用。 |
调度参数支持的格式 |
2022.03.16 |
更新功能 |
数据服务 |
过滤器配置入口变化,当您需要对API的请求参数进行预处理或对查询结果进行二次加工时,您可以在API编辑页面的右侧导航栏中,单击过滤器,根据需要勾选使用前置过滤器或使用后置过滤器 |
|
2022.03.09 |
新增功能 |
数据集成 |
神策数据(Sensors Data)是神策大数据厂商针对企业提供的一款进行用户行为分析的应用类产品。通过在DataWorks中新增Sensors Data数据源,您可以访问神策数据的存储资源。 |
|
2022.03.07 |
更新功能 |
数据保护伞 |
|
|
2022年02月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.02.08 |
更新功能 |
数据集成 |
离线同步插件补充向导模式。 |
|
2022.02.15 |
更新功能 |
数据开发 |
界面风格设置功能更新:
|
|
2022.02.20 |
新增功能 |
调度依赖 |
为您介绍开启自动解析后,提交节点时,出现调度依赖配置不一致情况的相关说明。 |
配置同周期调度依赖 |
2022.02.25 |
更新功能 |
数据开发 |
为您介绍新建归并节点后 ,如何进入节点编辑页面定义归并逻辑。 |
归并节点 |
2022年01月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2022.01.20 |
新增功能 |
数据建模 |
为您介绍如何创建应用表。应用表是面向具体业务场景时,用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据,为后续的业务查询,OLAP分析,数据分发等提供基础。 |
创建逻辑模型:应用表 |
2022.01.18 |
新增功能 |
数据建模 |
为您介绍如何创建并管理维度。维度管理用于标准化定义维度,帮助您对数据建模过程中产生的维度进行统一创建和管理,保证维度唯一,避免重复创建。 |
维度管理 |
2022.01.18 |
新增功能 |
数据建模 |
DataWorks智能数据建模新增应用层建模,包括数据集市、主题域:
|
|
2022.01.16 |
新增功能 |
数据开发 |
当节点配置完调度依赖后,您可以单击预览依赖,通过任务依赖和实例依赖维度,查看节点的上下游依赖关系,以便当节点的上下游依赖不符合预期时及时调整。 |
配置同周期调度依赖 |
2022.01.15 |
更新功能 |
数据开发 |
为您介绍如何配置调度资源组。周期任务的运行依赖于调度资源组,您可以在目标任务调度配置的资源属性区域,选择任务调度运行时需要使用的资源组。 |
配置资源属性 |
2022.01.14 |
新增功能 |
数据开发 |
为您介绍如何开启调度功能并设置相应调度参数的默认配置。您需要进入DataStudio的调度设置页面启用调度周期后,周期任务才能自动调度运行。 |
调度设置 |
2022.01.14 |
新增功能 |
数据开发 |
DataWorks调度设置 > 时间属性页面,新增重跑相关参数的默认值设置入口。 |
时间属性配置说明 |
2022.01.14 |
新增功能 |
数据开发 |
配置调度参数新增系统参数赋值。 |
调度参数支持的格式 |
2022.01.12 |
新增功能 |
数据分析 |
DataWorks的SQLNotes功能用于编写Markdown文本、SQL代码并可直接查询和保存查询结果。 |
SQLNotes |
2022.01.06 |
更新功能 |
数据开发 |
为您介绍DataWorks数据开发(DataStudio)界面各按钮的功能,方便您了解数据开发模块的整体布局,快速了解各组件、模块的使用并获取相关文档。 |
数据开发功能索引 |
2021年12月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.12.27 |
新增功能 |
数据地图 |
新增DataWorks的数据抽样采集器功能,从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则,那么在数据地图表详情页面进行数据预览时,命中的敏感字段将会被脱敏。 |
CDH Hive数据抽样采集器 |
2021.12.24 |
新增功能 |
API |
|
GetDISyncTask、DeployDISyncTask、GetDISyncInstanceInfo、TerminateDISyncInstance |
2021.12.20 |
新增功能 |
数据服务 |
新增支持Aviator函数类型及最佳实践。为您介绍如何创建Aviator函数,并使用Aviator函数作为API的前置或后置过滤器。 |
创建Aviator函数、使用Aviator函数作为过滤器的最佳实践 |
2021.12.14 |
新增功能 |
数据质量 |
新增按模板配置监控规则方式。数据质量为您提供数十种预设表级别、字段级别的监控模板。本文为您介绍如何按模板配置监控规则。 |
配置规则:按模板(批量) |
2021.12.09 |
更新功能 |
使用分析 |
DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角,高效的进行数据治理工作。 使用透视功能便于数据开发者及管理者查看和分析工作空间内的表、任务的运行状态、资源占用情况,为合理使用整体资源做辅助判断。 |
全景视角透视分析:按资源类型 |
2021.12.02 |
新增功能 |
API |
|
扩展点事件相关API:
异步同步任务相关API:
|
2021年11月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.11.24 |
主要更新 |
数据集成 |
HDFS Reader和HDFS Writer增加向导开发模式。 |
HDFS Reader、HDFS Writer |
2021.11.20 |
新增功能 |
API |
新增运维中心相关API,您可以根据OpSeq(补数据唯一标识)获取单次补数据的所有Dag详情。 |
ListDags |
2021.11.14 |
新增功能 |
数据开发 |
DataWorks支持对节点、资源、函数进行批量修改责任人等批量编辑操作,并支持批量提交并发布,将变更操作发布至生产环境生效。 |
批量操作 |
2021.11.08 |
新增功能 |
数据开发 |
DataWorks的资源组编排功能,帮助您在数据开发阶段,批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时,可以根据实际业务需求,使用该功能快速为目标节点重新分配资源组,促进资源的合理使用。 |
资源组编排 |
2021年10月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.10.26 |
新增功能 |
数据建模 |
|
|
2021.10.22 |
主要更新 |
数据保护伞 |
|
|
2021.10.15 |
新增功能 |
API |
|
|
2021.10.14 |
新增功能 |
API |
为您介绍如何使用OpenAPI创建数据集成同步任务,同步来源端数据至去向端。 |
最佳实践:创建离线同步任务OpenAPI基础实践 |
2021.10.11 |
新增功能 |
数据开发 |
DataWorks的代码搜索功能,用于通过关键字搜索节点中的代码片段,并展示包含该代码片段的所有节点及片段的详细内容。当目标表数据产生变更,您需要查找操作源(即导致目标表数据变更的任务)时,可以使用该功能。 |
代码搜索 |
2021年9月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.09.30 |
新增功能 |
数据开发调度配置 |
调度参数是DataWorks任务调度时使用的参数,调度参数会根据任务调度的业务时间及调度参数的取值格式自动替换取值,实现在任务调度时间内参数的动态取值。为您介绍调度参数的最新配置详情。 |
调度参数支持的格式 |
2021.09.30 |
新增功能 |
数据开发调度配置 |
DataWorks的调度依赖中,跨周期(即依赖上一周期),是指本次节点的周期实例运行依赖某个节点的上一周期实例运行,即节点当前周期实例是否运行取决于其所依赖的节点上一周期实例是否正常运行。为您介绍跨周期依赖的配置说明及依赖形式。 |
配置依赖上一周期(跨周期依赖) |
2021.09.26 |
新增功能 |
数据地图 |
新增搜索API和查看API详情功能,支持对当前租户下所有工作空间的API进行搜索和定位,实现API的高效查找。同时在API详情页面,支持查看API的基础信息、参数信息、返回示例等详情。 |
数据服务API 查看API详情 |
2021.09.15 |
新增功能 |
数据分析 |
新增SQL查询功能,支持您对已有数据源进行快速的数据查询及分析。 |
SQL查询 |
2021.09.02 |
新增功能 |
运维中心 |
周期任务的补数据功能新增高级模式。用于灵活选择一批节点进行批量补数据操作,节点之间可以不存在依赖关系。您可以在DAG图上使用可视化方式添加节点,也可以在任务列表中添加节点。 |
执行补数据并查看补数据实例 |
2021年8月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.08.29 |
新增功能 |
数据集成 |
为您介绍如何使用数据脱敏功能对实时同步的单表数据进行脱敏,然后存储到指定的数据库位置。 |
配置数据脱敏 |
2021.08.22 |
新增功能 |
数据集成 |
为您介绍如何使用DataWorks的数据集成功能,同步数据至Kafka。 |
资源规划与配置 |
2021.08.11 |
新增功能 |
新增SSL认证 |
DataWorks在配置MySQL、SQLServer、Postgres、数据源时,支持开启第三方认证功能,开启该功能后,只有可信的应用和服务才能访问数据资源。第三方认证机制用于用户和服务的强身份验证,通过该机制,可以有效的避免不受信任的程序或服务来获取数据访问权限,提高数据同步过程中访问数据资源的安全性。 |
|
2021.08.07 |
主要更新 |
权限体系 |
基于产品外部权限体系RAM访问控制的权限及产品内部权限体系DataWorks产品内的权限控制,为您介绍了DataWorks的权限管理体系。 |
DataWorks权限体系功能概述 |
2021.08.06 |
新增功能 |
新增资源组 |
独享数据服务资源组上线杭州、上海地域。在调用数据服务API需要高QPS和SLA保障的情况下,企业需要使用独享的数据服务资源来保障调用成功。同时,独享数据服务资源组能够满足高并发、高频率的接口调用并及时返回结果数据。 |
独享数据服务资源组 |
2021.08.01 |
新增功能 |
迁移助手 |
DataWorks迁移助手8.1日正式商业化。迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。迁移助手支持迁移周期任务、手动任务、资源、函数、数据源、表元数据、临时查询和组件等对象。您可以根据业务需求,选择全量导出、增量导出或自选导出等方式导出DataWorks中的开发成果。 |
迁移助手 |
2021年7月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.07.23 |
新增功能 |
DataWorks智能数据建模 |
DataWorks数据建模支持数仓规划设计、制定并沉淀企业数据标准、维度建模、数据指标定义,通过使用DataWorks数据建模,您可以将建模设计产出的维度表、事实表和汇总表物化到计算引擎中并进一步应用。 |
概述 |
2021.07.22 |
新增功能 |
新增API |
新增数据集成相关API,您可以通过API创建数据集成同步任务的相关内容。 |
CreateDISyncTask |
2021.07.14 |
新增功能 |
管理控制台配置 |
您可以通过报警联系人页面,将目标RAM用户或RAM角色添加为报警联系人,添加后,DataWorks会将任务运行出错时产生的报警发送至对应联系人,方便您及时发现并处理异常任务。 |
查看和设置报警联系人 |
2021.07.09 |
新增功能 |
产品计费 |
华东2(上海)金融云、华南1(深圳)金融云新增产品计费说明。 |
DataWorks版本服务计费说明 |
2021.07.03 |
新增功能 |
数据保护伞 |
DataWorks的数据溯源功能,支持通过提取数据泄露文件中数据的水印信息,帮助您定位到可能会泄露目标数据的责任人。 |
敏感数据溯源 |
2021.07.02 |
新增功能 |
数据保护伞 |
DataWorks支持将您提供的样本文件生成样本库,后续可以将样本库配置为数据识别规则用来识别数据。当需要识别的目标数据包含样本库中的数据时,则会命中该识别规则。该功能通常用于识别可以使用枚举值罗列的数据,例如,员工姓名、用户地址等。本文为您介绍如何创建并管理样本库。 |
通过样本库识别 |
2021.07.02 |
新增功能 |
数据保护伞 |
DataWorks支持通过您提供的样本字段,进行模型训练,帮助您寻找目标字段的内容特征,生成相应的规则模型。该功能通常用于发现您的数据资产中与该特征内容相似的数据。 |
通过自定义模型识别 |
2021年6月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.06.11 |
新增功能 |
数据开发 |
EMR Streaming SQL节点支持使用SQL语句来开发流式分析作业。 |
– |
2021.06.11 |
新增功能 |
数据开发 |
EMR Spark Streaming节点用于处理高吞吐量的实时流数据,并具备容错机制,可以帮助您快速恢复出错的数据流。 |
– |
2021.06.09 |
新增功能 |
运维中心 |
DataWorks的实时计算任务页面为您展示了任务实例的基本信息及运行详情,方便您查看目标任务的运行情况。同时,您还可以为目标任务设置监控报警,在任务运行出错时及时发现并处理异常。 |
实时计算任务运行与管理 |
2021年5月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.05.20 |
新增功能 |
运维中心 |
您可以使用DataWorks值班表功能设置实例运维报警的值班机制。当自定义规则的报警接收人设置为值班表后,DataWorks将按照排班将报警信息发送给对应的值班人,以便值班人员及时发现并处理问题。 |
值班表 |
2021.05.17 |
新增功能 |
数据开发 |
您可以创建ClickHouse SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。 |
创建ClickHouse SQL节点 |
2021.05.15 |
新增功能 |
数据集成 |
为您介绍如何使用DataWorks的数据集成功能,同步数据至AnalyticDB MySQL 3.0。 |
|
2021年4月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.04.29 |
新增教程 |
快速入门 |
DataWorks为您提供了常用的AI体验教程,帮助您快速了解相关任务的开发流程。 |
大数据体验教程 |
2021.04.28 |
新增功能 |
数据集成 |
同步数据至Hologres解决方案为您提供了一键增加及删除同步表功能,方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。 |
增加或删除已运行任务的同步表 |
2021.04.22 |
新增功能 |
数据开发 |
FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务,不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。 |
FTP Check节点 |
2021.04.06 |
新增API |
新增API |
新增安全中心模块API文档。 |
GetPermissionApplyOrderDetail |
2021.4.05 |
新增功能 |
数据集成 |
为您介绍如何使用DataWorks的数据集成功能,实时同步数据至Kafka。 |
资源规划与配置 |
2021年3月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.3.19 |
新增功能 |
自定义角色 |
为您介绍如何在DataWorks的工作空间自定义角色。 |
空间级模块权限管控 |
2021.3.11 |
新增引擎 |
导入导出开源任务新增引擎。 |
为您介绍如何导入Airflow引擎任务至DataWorks,及向DataWorks中导入Airflow引擎任务。 |
|
2021.3.11 |
新增功能 |
引擎运维 |
为您介绍如何使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务的正常运行。 |
引擎运维 |
2021.3.9 |
新增功能 |
周期任务DAG的聚合分析。 |
周期任务运维中,新增DAG的聚合视图及分析功能,您可以通过DAG图,快速查看目标类别任务的详细信息并执行相关操作。 |
|
2021.3.3 |
新增功能 |
新增API |
新增运维中心、数据保护伞、迁移助手模块相关功能API。 |
|
2021年2月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.2.24 |
新增功能 |
新增查看数据集成任务运行状态功能 |
为您介绍如何快速查看已运行的同步解决方案任务的分布及运行情况,及时发现并处理异常任务,提升任务的运维效率。 |
全增量同步任务运维 |
2021.2.9 |
新增功能 |
新增实时数据同步任务 |
为您介绍如何创建实时同步任务,同步指定表中的数据,并在创建完成后查看任务运行情况。 |
同步单表数据 |
2021.2.6 |
新增功能 |
新增实时数据同步任务 |
为您介绍如何创建实时同步任务,将指定数据库中的部分或全部表的数据同步至MaxCompute、Hologres、DataHub中,并在创建完成后查看任务运行情况。 |
|
2021.2.5 |
新增功能 |
新增功能 |
为您介绍如何创建ApsaraDB for OceanBase数据源,用于后续配置同步任务同步数据。 |
配置ApsaraDB for OceanBase数据源 |
2021年1月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2021.1.28 |
新增功能 |
新增数据开发节点类型 |
为您介绍如何创建并使用MySQL及AnalyticDB for MySQL节点,直接使用SQL语句对目标数据源进行数据开发。 |
|
2021.1.20 |
新增功能 |
新增同步解决方案 |
为您介绍如何创建整库离线及实时同步任务,将指定数据库中的部分或全部表的数据同步至ElasticSearch中,并在创建完成后查看任务运行情况。 |
|
2021.1.19 |
新增功能 |
新增数据地图白名单及类目管理权限功能 |
为您介绍如何配置白名单及类目管理权限,保证您能正常使用数据地图的元数据采集和类目管理功能。 |
元数据采集的数据源有白名单访问控制时需要配置的白名单 |
2021.1.13 |
新增功能 |
新增操作审计功能 |
为您介绍如何在操作审计(ActionTrail)中查询DataWorks的行为事件日志。您可以通过查询到的事件日志进行行为分析、安全分析、资源变更行为追踪和行为合规性审计等操作。 |
通过操作审计查询行为事件日志 |
2021.1.13 |
新增功能 |
新增数据建模功能模块计费标准 |
为您介绍数据建模功能模块的计费详情。 |
DATABLAU数据建模计费标准数据建模功能模块计费标准 |
2021.1.7 |
新增功能 |
新增功能 |
为您介绍同步MySQL数据源至ElasticSearch的端到端流程。包括前期的资源规划配置、数据源准备,以及后期的同步任务配置、查看等内容。 |
同步数据至ElasticSearch |
2020年12月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.12.24 |
新增功能 |
新增同步解决方案 |
为您介绍同步PolarDB、Oracle、MySQL数据源至Hologres、MaxCompute的端到端流程。包括前期的资源规划配置、数据源准备,以及后期的同步任务配置、查看和相关常见问题介绍等内容。 |
|
2020.12.14 |
新增功能 |
新增功能 |
为您介绍如何新建采集器,并采集OTS元数据至DataWorks。采集完成后,您可以在数据地图查看数据。 |
采集OTS元数据 |
2020年11月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.11.18 |
新增 |
新增OpenAPI |
调用CreateManualDag触发手动业务流程执行。 |
CreateManualDag |
2020.11.18 |
新增功能 |
新增OpenAPI |
调用GetManualDagInstances获取手动业务流程执行实例的信息。 |
GetManualDagInstances |
2020.11.18 |
新增功能 |
新增OpenAPI |
调用GetDag,根据DagId获取Dag详情。 |
GetDag |
2020.11.18 |
新增功能 |
新增OpenAPI |
调用SearchNodesByOutput,根据输出精确查询节点。 |
SearchNodesByOutput |
2020.11.16 |
新增功能 |
新增功能 |
本文为您介绍如何使用角色SSO的方式登录DataWorks。 |
(进阶)RAM角色登录并使用DataWorks |
2020年10月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.10.26 |
新增常见问题 |
体验优化 |
为您汇总运维中心的相关问题。 |
问题汇总 |
2020.10.23 |
新增功能 |
新增功能 |
阿里云DataWorks联合建模工具DDM(Datablau Data Modeler)为您提供一体化的数据建模解决方案(DATABLAU),将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程,助力用户实现数据资产价值化输出,在数据全生命周期上夯实数据基础,为客户的数据价值化提供有力支撑。 |
数据建模(Datablau) |
2020.10.14 |
新增功能 |
新增功能 |
DataWorks提供代码评审功能,开启强制代码评审开关后,开发人员提交的节点必须通过评审人对代码的审核才可以发布。 |
代码评审 |
2020年9月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.09.21 |
新增功能 |
新增功能 |
Hologres与MaxCompute在底层无缝连接,您无须移动数据,即可使用标准的PostgreSQL语句查询分析MaxCompute中的海量数据,快速获取查询结果。 |
Hologres SQL节点 |
2020.09.18 |
主要更新 |
体验优化 |
DataWorks数据分析用于在线洞察分析、编辑和分享数据。 |
数据分析 |
2020.09.08 |
主要更新 |
新增功能 |
数据地图的表详情界面更新,表的血缘关系支持多层展开,一条血缘连线上支持展示多个任务。并且支持基于同步任务的异构数据源之间的血缘关系。 |
查看表详情 |
2020.09.01 |
新增功能 |
新增功能 |
为您介绍如何导入从开源引擎导出的任务至DataWorks。 |
导入开源引擎任务 |
2020.09.01 |
新增功能 |
新增功能 |
DataWorks提供任务搬站功能,支持将开源调度引擎Oozie、Azkaban的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。 |
导出开源引擎任务 |
2020.09.01 |
功能介绍 |
体验优化 |
为您介绍实时同步的收费策略、支持的地域、功能亮点、支持的数据源、功能入口和架构。 |
实时同步能力说明 |
2020年8月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.08.31 |
支持的数据源 |
体验优化 |
数据集成包括离线同步和实时同步,本文为您介绍离线和实时同步支持的数据源类型。 |
支持的数据源与读写能力 |
2020.08.28 |
新增功能 |
新增功能 |
DataWorks支持基于EMR(E-MapReduce)计算引擎创建Hive、MR、Presto和Spark SQL等节点,实现EMR任务工作流的配置、定时调度和元数据管理等功能,帮助EMR用户更好地生产数据。 |
准备工作:绑定EMR引擎 |
2020.08.17 |
新增插件 |
新增插件 |
本文为您介绍GDB(Graph Database) Reader支持的数据类型、字段映射和数据源等参数及配置示例。 |
GDB Reader |
2020.08.14 |
新增最佳实践 |
体验优化 |
本文以阿里云RDS数据库为例,为您介绍专有网络VPC的数据源如何连通独享数据集成资源组。 |
专有网络VPC的数据源连通独享数据集成资源组 |
2020.08.10 |
新增API |
新增API |
调用CreateProjectMember,添加一个用户至DataWorks工作空间。 |
CreateProjectMember |
2020.08.10 |
新增API |
新增API |
调用RemoveProjectMemberFromRole,将DataWorks工作空间内的用户从DataWorks角色中移除。 |
RemoveProjectMemberFromRole |
2020.08.10 |
新增API |
新增API |
调用ListProjectRoles获取工作空间所有角色的列表。 |
ListProjectRoles |
2020.08.10 |
新增API |
新增API |
调用DeleteProjectMember,从DataWorks工作空间移除用户。 |
DeleteProjectMember |
2020.08.10 |
新增API |
新增API |
调用AddProjectMemberToRole,添加DataWorks工作空间用户至角色。用户需要先添加至DataWorks工作空间内。 |
AddProjectMemberToRole |
2020.08.07 |
新增功能 |
新增功能 |
您可以创建EMR(E-MapReduce) Impala节点,对PB级大数据进行快速、实时的交互式SQL查询。 |
创建EMR Impala节点 |
2020.08.07 |
新增功能 |
新增功能 |
本文为您介绍如何注册EMR(E-MapReduce)函数。 |
创建EMR函数 |
2020.08.07 |
新增功能 |
新增功能 |
本文为您介绍如何创建EMR(E-MapReduce)表。 |
创建EMR表 |
2020.08.07 |
新增功能 |
新增功能 |
DataWorks支持创建EMR(E-MapReduce) JAR资源。 |
创建和使用EMR资源 |
2020.08.05 |
版本升级 |
主要更新 |
数据服务升级版本,更新生成API的操作,并新增业务流程、服务编排、前置过滤器等功能。 |
数据服务 |
2020年7月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.07.31 |
功能更新 |
主要更新 |
DataStudio(数据开发)不仅支持原生的ODPS SQL、Shell等系统节点,也支持自定义节点。 |
节点配置 |
2020.07.30 |
新增功能 |
新增功能 |
数据集成支持分库分表。您可以在一个任务中配置多个数据源多张表后,同步至一个目标表中。 |
场景:配置分库分表离线同步任务 |
2020.07.30 |
新增功能 |
新增功能 |
您可以在数据源管理页面,分享数据源权限给相应的工作空间,并进入被分享的工作空间查看该数据源。本文为您介绍如何管理数据源权限及查看分享的数据源。 |
管理数据源权限 |
2020.07.30 |
新增常见问题 |
体验优化 |
本文为您汇总数据源权限管理相关的常见问题。 |
数据源权限管理 |
2020.07.23 |
新增API公测说明 |
体验优化 |
DataWorks OpenAPI于2020年7月16日正式开启公测,本文为您介绍公测的相关说明。 |
DataWorks OpenAPI公测说明 |
2020.07.22 |
新增功能 |
新增功能 |
您可以通过配置同步解决方案,一次性实时同步指定数据源中的数据至MaxCompute。 |
一键实时同步至MaxCompute |
2020.07.22 |
新增功能 |
新增功能 |
您可以在资源组列表页面实时查看独享资源组的使用率,自主监控具体任务占用资源的情况并及时调整。 |
查看独享资源组的使用率 |
2020.07.10 |
新增API |
新增API |
新增租户、元数据、数据开发、运维中心、数据质量和数据服务等商业化API。 |
API参考 |
2020.07.09 |
新增说明 |
体验优化 |
本文为您介绍生成API的两种模式及其区别。 |
生成API概述 |
2020.07.08 |
新增功能 |
新增功能 |
迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。 |
迁移助手 |
2020.07.02 |
新增功能 |
新增功能 |
本文为您介绍发布API后,如何对API进行授权,并查看已获得授权或授权给他人的API。 |
授权API |
2020年6月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.06.29 |
新增功能 |
新增功能 |
本文为您介绍如何新建采集器,采集Hologres元数据至DataWorks。采集完成后,您可以在数据地图查看数据。 |
采集Hologres元数据 |
2020.06.24 |
新增功能 |
新增功能 |
数据集成支持同步解决方案功能,您可以通过配置同步规则同步整库的离线全量和实时增量数据。 |
选择同步解决方案 |
2020.06.08 |
新增功能 |
新增功能 |
您可以通过报警资源页面,查看当前账号指定地域下的报警资源,并设置每日报警短信和电话数量的上限。 |
查看和设置报警资源 |
2020.06.08 |
新增功能 |
新增功能 |
针对资源优化扫描出的治理成本高、响应速度慢的治理项,您可以根据业务需求添加白名单。本文为您介绍如何添加、查看、撤销和关闭白名单。 |
管理白名单 |
2020.06.04 |
新增操作说明 |
体验优化 |
为您介绍如何新增自定义调度资源组,并修改任务运行的资源组。 |
新增和使用自定义调度资源组 |
2020.06.01 |
新增节点 |
新增功能 |
您可以通过创建EMR(E-MapReduce)Presto节点,进行大规模结构化和非结构化数据的交互式分析查询。 |
创建EMR Presto节点 |
2020年5月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.05.25 |
新增功能 |
新增功能 |
为您介绍如何添加阿里云VPC和IDC网络环境下的路由。 |
通用参考:添加路由 |
2020.05.21 |
新增节点 |
新增节点 |
为您介绍如何创建PyODPS 3节点,以及在DataWorks使用PyODPS 3的限制。 |
开发PyODPS 3任务 |
2020.05.20 |
新增重要功能发布记录 |
体验优化 |
为您介绍DataWorks产品功能和对应的文档动态。 |
功能发布记录 2022年之前 |
2020.05.18 |
新增数据源 |
新增数据源 |
Vertica数据源为您提供读取和写入Vertica双向通道的功能,您可以通过脚本模式配置同步任务。 |
配置Vertica数据源 |
2020.05.18 |
新增数据源 |
新增数据源 |
ApsaraDB for OceanBase数据源为您提供读取和写入ApsaraDB for OceanBase双向通道的功能,您可以通过脚本模式配置同步任务。 |
配置ApsaraDB for OceanBase数据源 |
2020.05.13 |
新增使用说明 |
体验优化 |
您可以通过DataWorks独享调度资源组绑定专有网络,以访问专有网络下的数据源。 |
Gbase8a Reader |
2020年4月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.04.29 |
新增使用说明 |
体验优化 |
为您介绍如何在表详情页面,使用数据服务生成API。 |
使用数据服务生成API |
2020.04.29 |
新增使用说明 |
体验优化 |
为您介绍如何收藏和取消收藏表,以及查看收藏记录。 |
收藏表 |
2020.04.29 |
新增使用说明 |
体验优化 |
为您介绍如何在安全中心和数据地图申请表权限。 |
申请表权限 |
2020.04.28 |
新增功能 |
新增功能 |
您可以在数据发现模块新建采集器,采集E-MapReduce、MySQL、SQL Server、PostgreSQL、Oracle、AnalyticDB for PostgreSQL、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0和OSS等类型的元数据至DataWorks。采集完成后,您可以在数据地图查看数据。 |
数据发现 |
2020.04.26 |
新增数据源 |
新增数据源 |
Elasticsearch数据源为您提供读取和写入Elasticsearch双向通道的功能,您可以通过脚本模式配置同步任务。 |
配置Elasticsearch数据源 |
2020.04.24 |
新增数据源 |
新增数据源 |
HBase数据源为您提供读取和写入HBase双向通道的功能,您可以通过脚本模式配置同步任务。 |
配置HBase数据源 |
2020.04.24 |
新增功能 |
新增功能 |
PolarDB输入插件仅支持PolarDB MySQL数据库。 |
配置PolarDB输入 |
2020.04.21 |
新增功能 |
新增功能 |
您可以通过交互式分析Hologres的实时写入能力,构建实时数仓。 |
配置Hologres输出 |
2020.04.21 |
新增功能 |
新增功能 |
大数据计算服务MaxCompute(原名ODPS)为您提供完善的数据导入方案,能够快速解决海量数据的计算问题。 |
配置MaxCompute输出 |
2020.04.20 |
新增功能 |
新增功能 |
您可以在资源属性区域选择任务调度运行时,需要使用的调度资源组。 |
配置资源属性 |
2020.04.17 |
新增功能 |
新增功能 |
数据同步时,一个任务只能使用一种资源组。您需要在每种资源组上单独测试连通性,以保证同步任务使用的数据集成资源组能够与数据源连通,否则将无法正常执行数据同步任务。 |
配置资源组与网络连通 |
2020.04.15 |
新增常见问题 |
体验优化 |
本文为您介绍DataWorks独享资源组的相关问题。 |
独享资源组 |
2020.04.14 |
新增功能 |
新增功能 |
DataWorks支持实时同步数据,本文为您介绍如何新建、发布和运维实时同步节点。 |
实时同步任务运维 |
2020.04.03 |
新增功能 |
新增功能 |
为您介绍如何新建AnalyticDB for PostgreSQL表。 |
创建AnalyticDB for PostgreSQL表 |
2020年3月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.03.26 |
新增计算器 |
体验优化 |
如果您购买的是DataWorks独享资源组,可以使用DataWorks独享资源组计算器预估费用。 |
DataWorks独享资源组计算器 |
2020.03.25 |
新增功能 |
新增功能 |
DataWorks数据质量支持通过统一管理自定义规则,形成自建的规则模板库,帮助您提升规则配置的效率。 |
创建并管理自定义规则模板 |
2020.03.24 |
新增功能 |
新增功能 |
为您介绍数据质量的校检逻辑及离线数据的内置模板规则。 |
查看内置规则模板 |
2020.03.24 |
新增功能 |
新增功能 |
DataWorks运维中心为您提供运行诊断功能,帮助您掌握任务运行的全链路信息,以迅速定位问题。 |
智能诊断 |
2020.03.23 |
新增功能 |
新增数据源 |
Hologres数据源为您提供读取和写入Hologres双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 |
配置Hologres数据源 |
2020.03.20 |
新增视频 |
体验优化 |
为您演示Workshop的开发流程。 |
DataWorks Workshop操作 |
2020.03.20 |
新增视频 |
体验优化 |
为您介绍DataWorks数据集成与开源Sqoop的对比及注意事项,并为您提供DataWorks数据集成的操作演示。 |
DataWorks数据集成与开源Sqoop的对比 |
2020.03.20 |
新增视频 |
体验优化 |
为您提供DataWorks移动版和智能监控的功能说明和操作演示。 |
DataWorks移动版及智能监控 |
2020.03.20 |
新增视频 |
体验优化 |
为您提供DataWorks商业化资源组的说明和操作演示。 |
DataWorks商业化资源组 |
2020.03.20 |
新增视频 |
体验优化 |
为您提供DataWorks调度任务迁移的操作演示。 |
DataWorks调度任务迁移 |
2020.03.20 |
新增视频 |
体验优化 |
为您提供DataWorks数据集成实时同步的功能介绍和操作演示。 |
DataWorks数据集成实时同步 |
2020.03.20 |
新增视频 |
体验优化 |
为您提供基于DataWorks数据服务快速搭建疫情大屏的操作演示。 |
基于DataWorks数据服务快速搭建疫情大屏 |
2020.03.19 |
新增功能 |
新增插件 |
Holo Writer实现了导入数据至交互式分析(Hologres)的功能,您可以把多种数据源的数据导入Hologres进行实时分析。 |
Hologres Writer |
2020.03.19 |
新增功能 |
新增插件 |
Holo Reader实现了从交互式分析(Hologres) 数仓导出数据的功能,您可以根据数据集成标准协议从Hologres Table中导出数据至其他数据源。 |
Hologres Reader |
2020.03.17 |
新增使用说明 |
体验优化 |
DataWorks支持公共资源组、独享资源组和自定义资源组,本文为您介绍三种资源组的使用场景和使用方式。 |
DataWorks资源组概述 |
2020.03.12 |
新增功能 |
新增功能 |
您可以在报告模板管理页面动态配置数据质量核查报告模板,DataWorks数据质量支持自动根据报告模板定时生成并发送报告。 |
配置监控报告模板 |
2020.03.12 |
新增功能 |
新增数据源 |
GBase8a数据源为您提供读取和写入GBase8a双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 |
配置GBase8a数据源 |
2020.03.11 |
新增功能 |
新增插件 |
ApsaraDB For OceanBase是阿里云和蚂蚁金服自主研发的金融级分布式关系数据库。 |
ApsaraDB For OceanBase Writer |
2020.03.11 |
新增功能 |
新增插件 |
ApsaraDB For OceanBase是阿里云和蚂蚁金服自主研发的金融级分布式关系数据库。 |
ApsaraDB For OceanBase Reader |
2020.03.10 |
新增功能 |
新增插件 |
ClickHouse是面向联机分析处理(OLAP)和列式存储的开源的数据库管理系统(DBMS)。 |
ClickHouse Writer |
2020年2月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.02.29 |
新增最佳实践 |
体验优化 |
本文为您介绍如何使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute。 |
迁移ECS自建MySQL数据库至MaxCompute |
2020.02.26 |
新增功能 |
新增功能 |
本文将为您介绍如何打通DataWorks元数据服务、用户独享资源组至AnalyticDB for PostgreSQL的专有网络(VPC)。 |
采集AnalyticDB for PostgreSQL元数据 |
2020.02.25 |
新增使用教程 |
体验优化 |
本教程为您介绍MaxCompute数据仓库构建的原理和流程。 |
构建与优化数据仓库 |
2020.02.25 |
新增插件 |
新增功能 |
DataHub是流式数据的处理平台,为您提供发布、订阅和分发流式数据的功能,让您可以轻松构建基于流式数据的分析和应用。 |
DataHub Reader |
2020.02.18 |
新增数据源 |
新增功能 |
Hive数据源为您提供读取和写入Hive双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 |
配置Hive数据源 |
2020.02.14 |
新增最佳实践 |
体验优化 |
您可以通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品进行数据分析,且可以通过Quick BI进行可视化展示。 |
基于MaxCompute进行大数据BI分析 |
2020.02.14 |
新增最佳实践 |
体验优化 |
电商网站的销售数据通过大数据进行分析后,可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。 |
互联网、电商行业离线大数据分析 |
2020.02.13 |
新增最佳实践 |
体验优化 |
电商网站智能推荐基于阿里巴巴的大数据和人工智能技术,结合在电商行业的多年积累,为开发者提供个性化推荐服务,提升商品的购买率和转化率。 |
电商网站智能推荐 |
2020.02.11 |
新增功能说明 |
体验优化 |
您可以通过在业务流程面板连线、自动解析配置和自定义依赖三种方式设置节点的依赖关系。 |
调度依赖配置指引 |
2020年1月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2020.01.13 |
新增插件 |
新增功能 |
为您介绍Gbase8a Reader支持的数据类型、字段映射和数据源等参数及配置示例。 |
Gbase8a Reader |
2020.01.13 |
新增插件 |
新增功能 |
为您介绍Gbase8a Writer支持的数据类型、字段映射和数据源等参数及配置示例。 |
Gbase8a Writer |
2020.01.06 |
新增最佳实践 |
体验优化 |
为您介绍如何配置相同区域下不同的MaxCompute项目,以及如何实现数据迁移。 |
MaxCompute跨项目迁移 |
2019年12月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2019.12.31 |
新增最佳实践 |
体验优化 |
为您介绍如何通过DataWorks数据同步功能,迁移Oracle上的数据至MaxCompute。 |
迁移Oracle数据至MaxCompute最佳实践 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
运维中心包括运维大屏、周期任务运维、手动任务运维和智能监控。 |
运维中心 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
您可以通过MaxCompute函数面板,查看在MaxCompute计算引擎中存在的函数、函数的变更历史,并可以一键添加函数至数据开发面板的业务流程中。 |
MaxCompute函数管理 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
SQL组件是一种带有多个输入参数和输出参数的SQL代码过程模板,SQL代码的处理过程通常是引入一到多个源数据表,通过过滤、连接和聚合等操作,加工出新的业务需要的目标表。 |
引用SQL组件 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
您可以创建EMR(E-MapReduce) HIVE节点,用类SQL语句来协助读写及管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作。 |
创建EMR Hive节点 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
DataWorks提供PyODPS节点类型,集成了MaxCompute的Python SDK。 |
PyODPS 2节点 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
ODPS SQL采用类似SQL的语法,适用于海量数据(TB级)但实时性要求不高的分布式处理场景。 |
开发ODPS SQL任务 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
调度依赖关系是您构建有序业务流程的根本,只有正确构建任务依赖关系,才能保障业务数据有效、适时地产出,形成规范化的数据研发场景。 |
配置同周期调度依赖 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
目前调度参数支持系统参数和自定义参数两种形式。 |
调度参数支持的格式 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
数据开发模式全面升级,包括工作空间>解决方案>业务流程3级结构,抛弃陈旧的目录组织方式。 |
数据开发 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
为您介绍如何通过数据集成的脚本模式配置任务。 |
通过脚本模式配置离线同步任务 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
为您介绍如何通过数据集成向导模式进行任务配置。 |
通过向导模式配置离线同步任务 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
MySQL数据源为您提供读取和写入MySQL双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 |
配置MySQL数据源 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
为您介绍数据同步支持的数据源。 |
支持的数据源与读写插件 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
在数据集成任务高并发执行且无法错峰运行的情况下,企业需要独享的计算资源来保障数据快速、稳定地传输,此时您可以选择独享数据集成资源。 |
新增和使用独享数据集成资源组 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
您可以新增自定义资源组运行数据同步任务,解决DataWorks公共资源组与您的数据源不通的问题,或实现更高速度的传输能力。 |
新增和使用自定义数据集成资源组 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
为您介绍当选择不同区域的DataWorks时,如何添加对应的不同白名单的内容。 |
添加白名单 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间数据高速稳定的数据移动及同步能力。 |
数据集成 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
您可以通过资源组列表页面,查看当前账号下所有的独享资源组和公共资源组,并对其进行管理。 |
查看资源组列表 |
2019.12.27 |
产品升级 |
DataWorks V3.0 |
您可以在DataWorks V3.0的工作空间管理模块,进行工作空间配置、成员管理、MaxCompute高级配置和数据源管理等操作。 |
工作空间管理 |
2019.12.09 |
新增插件 |
新增功能 |
SAP HANA是一款支持企业预置型部署和云部署模式的内存计算平台,为您提供高性能的数据查询功能。 |
SAP HANA Reader |
2019.12.02 |
新增插件 |
新增功能 |
Kafka Writer通过Kafka服务的安装Java SDK向Kafka写入数据。 |
Kafka Writer |
2019年11月更新记录
时间 |
特性 |
类别 |
描述 |
产品文档 |
2019.11.25 |
新增功能说明 |
新增功能 |
运维助手为您提供在独享资源组上进行新建、执行和删除命令,以及查看命令执行结果、环境命令基线编排等操作的功能。 |
运维助手 |
2019.11.21 |
新增配置说明 |
体验优化 |
当整个业务流程需要对同一个变量进行统一的赋值或替换参数值时,请选择使用流程参数功能。 |
使用流程参数 |
2019.11.20 |
新增数据综合治理 |
新增功能 |
数据综合治理为您提供统一的数据视图,以掌握数据资产的现状、助力数据质量的提升、提高获取数据的效率、保障数据安全的合规和提升数据查询的分析效率。 |
数据综合治理 |
2019.11.12 |
新增插件 |
新增功能 |
Vertica是一款基于列存储的MPP架构的数据库,Vertica Reader插件实现了从Vertica读取数据的功能。 |
Vertica Reader |
2019.11.12 |
新增插件 |
新增功能 |
Vertica是一款基于列存储的MPP架构的数据库,Vertica Writer插件实现了向Vertica写入数据的功能。 |
Vertica Writer |
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
转转请注明出处:https://www.yunxiaoer.com/172145.html