创建完成工作流后,您可以进入工作流,根据创建工作流方式的不同,灵活的进行构建模型,然后调试模型、周期性调度模型,最终完成模型训练。本文为您介绍模型训练的具体操作步骤。
前提条件
-
已创建工作流。您可以根据业务需要创建空白工作流或模板工作流,详情请参见工作流概述。
-
已准备好训练模型需要的数据集,详情请参见概述。
背景信息
模型训练的操作步骤如下:
-
步骤一:构建模型
Designer为您提供可视化建模操作界面,如下图所示。
-
Designer为您提供了百余种建模所需组件,您只需根据建模需求查找选择合适的组件,将其拖入建模画布中作为一个节点。
-
Designer支持通过连线的方式,将各个节点组织构建成为一个有上下游关系的模型工作流。
-
Designer支持界面化的节点参数配置,为您降低建模技术门槛。
-
步骤二:调试模型
Designer画布上方有运行、全部任务查看等按钮,便于您在建模过程中或构建模型后进行模型调试。各界面按钮的详细介绍请参见基础功能。
-
后续步骤
模型调试并运行成功后,您可以使用模型对新数据进行预测,也可以单击画布上方的周期性调度,来配置模型工作流定时自动运行,实现模型定时自动更新。
步骤一:构建模型
空白工作流构建模型
使用空白工作流进行建模时,建议您参考以下流程规划构建模型,您也可以前往快速入门,快速体验建模的流程、熟悉操作界面。
-
规划模型节点。
通常一个模型可以拆分为多个细分的节点任务,通过节点任务的前后编排来最终实现模型预期效果。因此建模前,建议您先拆分模型规划好细分的节点任务,通常建议一个节点完成一个最简的任务。
-
根据规划,拖入并配置对应的组件。
在左侧的组件库中,您可以根据规划找到合适的组件,将其拖入画布中作为一个节点,通过单击节点,在右侧的配置框中配置节点所需的参数,即可完成一个节点的配置。
-
Designer为您提供百余种组件,满足读取数据、统计分析、文本分析等多种场景的使用,组件详情请参见组件参考:所有组件汇总。
-
在节点配置过程中,如果有多个节点均需使用的一些全局参数,您可以使用全局变量来提供节点配置效率,详情请参见高级功能:全局变量。
-
-
通过连线将节点组织构建为模型工作流。
拖入多个组件后,画布中即有多个节点。您可以根据规划通过连线将各个节点组织成有上下游关系的工作流。后续模型实际运行时,上游节点会先运行,所有上游节点均运行完成后,下游节点会被触发运行。
模板工作流构建模型
使用模板工作流进行建模时,支持使用以下几类模板:
-
Designer预置模板
Designer里已经内置了数十个基于不同框架、满足不同行业场景需求的模板,具体分类如下,您可以根据业务需求,自行选择工作流模板。
-
按照行业类型分为:互联网、工业、金融、教育、医疗和科研类型。
-
按照算法类别和框架分为:分类、回归、聚类、TF框架和PyTorch框架。
-
按照业务领域分为:推荐、风控、用户增长、CV、NLP、模型优化、ASR和视频领域。
-
-
Designer自定义模板
-
导出的JSON格式的模板文件
根据业务场景,新增或修改工作流节点、修改组件参数。
-
从左侧组件库中拖入新的组件到右侧画布中,您可以替换工作流中的节点,也可以将组件连接到已有组件的下游。
-
使用组件默认参数或单击组件,在右侧的配置框中配置组件所需的参数。
步骤二:调试模型
建模完成后,您可以对工作流节点进行调试。
-
调试模型整体
所有节点均配置完成、连线完成后,您可以在画布中单击运行按钮,对整个模型进行试运行。
-
调试单个节点
调试过程中,您也可以直接右键单击某个节点,选择是直接从此处开始执行、执行该节点等运行调试范围,提高调试效率。
-
运行失败定位
如果有节点运行失败,您可以右键单击节点查看日志等信息进行排查处理。
-
查看运行结果
运行成功后您可以右键单击节点查看产出数据。
-
查看历史任务
建模过程中,您的每次运行都会被记录为一次历史任务。每次运行涉及的节点范围、节点的配置情况、产出结果均会保留在历史任务中。您可以单击工具栏右侧的全部任务查看,来查看所有历史任务的调试详情。
在历史任务对话框,单击某个历史任务操作列下的详情,页面跳转至任务管理中对应历史任务的详情页面。
-
您可以在顶部单击任务详情和任务结果切换查看对应的详细信息。
-
在任务详情页面中,画布中展示当前历史任务参与运行的节点和运行详细信息。单击某个节点后,您可以在右侧详情中查看本次运行中,此节点的运行信息、任务日志、输出结果。
单击某个历史任务操作列的版本回滚后,您可以根据界面提示,将模型工作流回滚恢复至历史运行时的状态。
说明
建议回滚前,查看历史任务的详情,确认回滚的版本正确。同时,回滚前建议将最新的任务保存并运行一次,如果回滚后出错,您可以再次回滚至最新的任务状态。
-
后续步骤
后续您可以对调试成功的模型做以下操作:
-
模型注册
模型支持一键注册至模型管理中进行版本管理和后续部署,详情请参见注册及管理模型。
-
模型预测
模型调试完成后,您可以使用模型进行新数据的预测。在Designer工作流页面,您可以使用预测组件对模型进行离线批量预测,也可以将模型部署为EAS在线模型服务,进行在线推理,具体操作,请参见模型预测概述。
-
更新在线服务
在Designer画布中,您可以拖入EAS服务组件,连线指定节点的上下游关系,更新已部署的在线服务,具体操作,请参见在线模型服务定时自动更新。
-
定时自动更新
您可以通过调度配置,来指定工作流后续是否需要周期性自动运行,详情请参见使用DataWorks离线调度Designer工作流。
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
转转请注明出处:https://www.yunxiaoer.com/162095.html