本文为您介绍如何实现节点的运行、运维,并通过查看日志进行排错。
背景信息
在设置周期和依赖的操作中,您配置了每周二凌晨2点执行离线同步节点。提交节点后,需要到第2天才能看到调度系统自动执行的结果。DataWorks为您提供测试运行、补数据和周期运行三种触发方式,帮助您确认实例运行的定时时间、相互依赖关系、数据结果产出是否符合预期。
-
测试运行:手动触发方式。如果您仅需要确认单个节点的定时情况和运行,建议您使用测试运行。详情请参见测试实例。
-
补数据运行:手动触发方式。如果您需要确认多个节点的定时情况和相互依赖关系,或者需要从某个根节点开始重新执行数据分析计算,建议您使用补数据运行。详情请参见执行补数据并查看补数据实例。
-
周期运行:系统自动触发方式。提交成功的节点,调度系统在第二天0点起会自动触发当天不同时间点的运行实例,并在定时时间达到时检查各实例的上游实例是否运行成功。如果定时时间已到并且上游实例全部运行成功,则当前实例会自动触发运行,无需人工干预。详情请参见查看周期实例。
说明
手动触发和自动调度的调度系统与周期生成实例的规则一致:
-
无论周期选择小时、分钟、日、月或周,节点在每一个日期都会生成对应的实例。
-
仅在指定日期的对应实例,会定时运行并生成运行日志。
-
非指定日期的对应实例不会实际运行,而是在满足运行条件时,将状态直接转换为成功,因此不会有运行日志生成。
关于任务运维的更多操作和功能说明,请参见运维中心模块。
测试运行
-
单击当前页面左上角的
图标,选择全部产品 > 数据开发与运维 > 运维中心(工作流),进入运维中心页面。
-
在左侧导航栏,单击周期任务运维 > 周期任务。
-
在弹出的页面中,找到目标节点,在操作列中单击测试。
-
在冒烟测试对话框中,输入冒烟测试名称,并选择业务日期,单击确定。
-
自动跳转至测试实例页面,单击相应的实例,即可在右侧查看实例DAG图。
右键单击实例,您可以查看该实例的依赖关系和详细信息,并进行终止运行、重跑等具体操作。
说明
-
测试运行是手动触发节点,只要到定时的时间,立即运行,自动忽略实例的上游依赖关系。
-
根据前文所述的实例生成规则,配置为每周二凌晨2点运行的节点write_result,测试运行时选择的业务日期是周一(业务日期=运行日期-1),实例会在2点真正运行。如果不是周一,则实例在2点转换为成功状态,且没有日志生成。
-
补数据运行
如果需要确认多个节点的定时情况和相互依赖关系,或者需要从某个根节点开始重新执行数据分析计算,您可以进行补数据操作。
-
在运维中心页面,单击左侧导航栏中的周期任务运维 > 周期任务。
-
单击目标节点右侧操作列的补数据 > 当前节点。
-
配置补数据对话框中的参数,单击确定。
参数
描述
补数据名称
输入补数据名称。
选择业务日期
选择补数据的业务日期,业务日期为
运行日期-1
。当前任务
默认为当前节点,不可以更改。
是否并行
可以选择不并行或指定允许几组任务同时运行。
-
自动跳转至补数据实例页面,单击相应的实例,即可看到实例DAG图。
右键单击实例,可以查看该实例的依赖关系和详细信息,并进行终止运行、重跑等具体操作。
说明
-
补数据任务的实例依赖前一天,例如补2017-09-15到2017-09-18时间段内的任务,如果15号的实例运行失败了,则16号的实例也不会运行。
-
根据前文所述的实例生成规则,配置为每周二凌晨2点运行的节点write_result,补数据运行时选择的业务日期是周一(业务日期=运行日期-1),实例会在2点真正运行。如果不是周一,则实例在2点转换为成功状态,且没有日志生成。
-
周期自动运行
周期自动运行,由系统根据所有节点的调度配置自动触发,所以页面没有操作入口。您可以通过以下两种方式查看实例信息和运行日志:
-
在运维中心页面,单击左侧导航栏中的周期任务运维 > 周期实例,选择业务日期或运行日期等参数,搜索write_result节点对应的实例后,右键查看实例信息和运行日志。
-
选择周期实例页面中相应的节点实例并单击,即可看到实例DAG图。
右键单击实例,可以查看该实例的依赖关系和详细信息并进行终止运行、重跑等具体操作。
说明
-
如果上游节点未运行,下游节点也不会运行。
-
如果节点的实例初始状态为未运行,当定时时间到达时,调度系统会检查该实例的全部上游实例是否运行成功。
-
只有上游实例全部运行成功,且定时时间到达的实例,才会被触发运行。
-
处于未运行状态的实例,请确认上游实例已经全部成功且已到定时时间。
-
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
转转请注明出处:https://www.yunxiaoer.com/172483.html