详情页标题前

阿里云大数据开发治理平台 DataWorks实时同步任务运维-云淘科技

详情页1

当您在DataStudio中完成任务开发,并发布至生产环境后,您可以进入运维中心运行实时同步任务,同时,您还可以在运维中心监控任务运行状态、查看任务运行指标等。本文列举实时同步任务的常见运维操作。

前提条件

已完成实时同步任务的创建、发布。详情请参见:配置单表增量数据实时同步任务、配置整库增量数据实时同步任务。

运行与管理实时同步任务

任务配置完成后,您可以在运维中心 > 实时任务运维 > 实时同步任务面板启动、暂停、下线对应同步任务,详情请参见实时同步任务运行与管理。说明 启动任务运行时,支持您设置同步位点和FailOver次数。

  • 位点设置:支持断点续传或从指定同步起始位置开始同步。
  • FailOver:为避免FailOver导致频繁启动任务占用系统资源,您可配置指定时间段内FailOver出现次数超过指定次数时,任务自动结束运行。如果您不配置Failover次数,将根据5分钟内,Failover次数超过100来自动结束任务。

任务运行状态监控

为避免任务出错导致业务数据产出延迟,您可以进入运维中心 > 实时任务运维 > 实时同步任务页面,找到对应同步任务,单击操作列的报警设置。详情请参见:实时同步任务运行与管理。

  • 报警条件:支持对任务状态、业务延迟、Failover和DDL不支持设置监控报警。说明 DDL不支持:数据写入不同目的端时,对源端DDL操作的支持情况不同,当源端存在不支持的DDL操作时,会报此类错误。DDL支持情况详情请参见:支持的DML及DDL操作。
  • 报警通知方式:支持通过邮件、短信、电话和钉钉等方式将报警信息发送给报警接收人。
  • 疲劳度控制:为了避免短时间内产生大量报警,数据集成实时同步还支持疲劳度控制,即为DataWorks支持您设置当前规则在指定时间间隔内只发送一次报警信息。

使用Logview查看任务运行信息

说明

该功能目前在灰度邀测中,如需使用,请进入DataWorks交流钉钉群联系值班人员处理。

数据集成LogView是在数据集成同步任务中进行埋点采集,分析处理,可视化展现,更加细粒度展示分析同步任务过程的同步速率,日志等信息。

在运维中心 > 实时同步任务页面,找到目标任务,单击实时任务的任务名称,即可进入实时任务Logview页面。阿里云大数据开发治理平台 DataWorks实时同步任务运维-云淘科技您可以在该页面查看如下信息:

参数 描述
日志 您可以在该页面查看实时任务的日志详情,并可以根据时间筛选日志。
进度 您可以在该页面查看实时任务的详情进展,包括业务延迟、同步条数、同步字节数、同步条数速率、同步字节速率、窗口等待时间等变化曲线。您还可以在该页面执行如下操作:

  • 您可以通过时间筛选框,筛选某段时间内任务的同步信息。说明 时间筛选最多支持查看15天内的详细信息。
  • 在任务列表右侧,单击阿里云大数据开发治理平台 DataWorks实时同步任务运维-云淘科技图标,可以选择展现更多的列信息。
  • 在任务列表中,可以通过切换查看Worker列表和Task列表信息。
    • Worker列表是指实时任务启动的实例,非分布式任务只有一个Worker,分布式任务根据并发数会有多个Worker。
    • Task列表是指一个Worker内部的线程任务,分为Reader类型和Writer类型,根据配置的并发数会有1个到多个的Reader任务和1个到多个的Writer任务。

    您还可以单击任务列表中的内容,查看某个指标的曲线变化。

  • 在进程列表中,可以单击具体的内容,查看某个指标的曲线变化。阿里云大数据开发治理平台 DataWorks实时同步任务运维-云淘科技
数据库DDL事件您可以在此页面查看源端发现的DDL记录。
数据库DML事件您可以在此页面对来源表、目标表进行统计分析。
Failover您可以在此页面查看实时任务的Failover状态和变化曲线,也可以在日志详情中查看该次Failover的日志信息。

修改实时同步任务

您可进入DataStudio界面重新编辑实时同步任务,但若要此次变更操作生效,您需要先停止线上实时同步任务,变更操作完成后重新提交、发布任务,然后进入运维中心启动任务运行。

修改DDL规则

您可以在启动同步任务前,进入DataStudio界面,重新定义该任务对源端DDL消息的处理策略。详情请参见:配置整库增量数据实时同步任务。说明 DataStudio界面的变更操作,若要生效,都需要先停止线上实时同步任务,在操作完成后重新提交、发布任务,然后进入运维中心启动任务运行。

常见问题

为什么实时同步任务延迟较大?

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/166504.html

(0)
上一篇 2023年12月10日 上午8:56
下一篇 2023年12月10日 上午8:58
详情页2

相关推荐

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。