阿里云人工智能平台PAI模型训练-云淘科技

该组件实现的EasyRec模型训练功能。

前提条件

已开通OSS并完成授权，详情请参见开通OSS服务和云产品依赖与授权：Designer。

组件配置

您可以使用以下任意一种方式，配置模型训练组件参数。

可视化配置参数

• 输入桩

• 组件参数

PAI命令及说明

PAI -project algo_public -name easy_rec_ext 
    -Darn="acs:ram::xxxx:role/aliyunodpspaidefaultrole" 
    -Dbuckets="oss://rec_sln_demo/" 
    -Dcluster="{\"ps\": {\"count\": 2, \"cpu\": 1000, \"memory\": 40000}, \"worker\": {\"count\": 6, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}" 
    -Dcmd="train" 
    -Dconfig="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/rec_sln_demo_dssm_recall_v1.config" 
    -Deval_tables="odps://pai_hangzhou/tables/pai_temp_flow_26un8zq7v4goadi373_node_39w13qw9osm9rdbu0h_outputTable" 
    -Dlifecycle="28" 
    -Dmodel_dir="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425" 
    -DossHost="oss-cn-hangzhou-internal.aliyuncs.com" 
    -Dscript="oss://rec_sln_demo/easy_rec_ext_0.6.1_res.tar.gz" 
    -Dselected_cols="is_click,features" 
    -Dtables="odps://pai_hangzhou/tables/pai_temp_flow_26un8zq7v4goadi373_node_4ijqwcg7upzteu5036_outputTable,odps://pai_hangzhou/tables/pai_temp_flow_26un8zq7v4goadi373_node_39w13qw9osm9rdbu0h_outputTable,odps://pai_hangzhou/tables/pai_temp_flow_fty24i21e9dzvzj6a0_node_svxd0bqu2x7ep8furu_outputTable" 
    -Dtrain_tables="odps://pai_hangzhou/tables/pai_temp_flow_26un8zq7v4goadi373_node_4ijqwcg7upzteu5036_outputTable"
    -Dedit_config_json="{\"train_config.fine_tune_checkpoint\": \"oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230405/\", \"data_config.negative_sampler.input_path\": \"odps://pai_hangzhou/tables/pai_temp_flow_fty24i21e9dzvzj6a0_node_svxd0bqu2x7ep8furu_outputTable\"}" ;

使用示例

1. 准备以下数据集：

   • train: pai_online_project.easyrec_demo_taobao_train_data

   • test: pai_online_project.easyrec_demo_taobao_test_data

   说明

   原则上这两张表是您自己的ODPS表，为了方便测试，以上提供的两张表在任何地方都可以访问。

2. 创建如下工作流。

   区域	描述
   ①	配置读数据表-1的表名参数为pai_online_project.easyrec_demo_taobao_train_data训练表。
   ②	配置读数据表-2的表名参数为pai_online_project.easyrec_demo_taobao_test_data测试表。
   ③	上传config到OSS上，并在参数EasyRec配置文件上选择该文件。 在参数模型路径上选择模型存储路径。

3. 运行工作流结束后，您可以查看输出的模型文件。

   您可以在模型路径参数配置的OSS路径下查看输出的模型文件。

4. 查看Logview并进行日志分析。

   运行EasyRec命令时，Designer会打印Logview。您可以右键单击模型训练组件，在快捷菜单，单击查看日志，通过Logview快速查看模型训练效果或定位错误。

在Worker运行页面，可以根据需要选择查看的Task实例及Worker对应的实例。

其中：

• worker 0为训练worker（worker 0、worker 2~worker 7均为训练worker），单击StdErr列下的图标，即可查看训练进程。

• worker1为评估worker，单击StdErr列下的图标，即可查看模型在评估集上的指标。

更完整的使用方式参考推荐算法定制-排序节点8_rec_sln_demo_rec_sln_demo_sorting_v2_train和推荐算法定制-向量召回节点12_rec_sln_demo_dssm_recall_v1_train。

内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家

阿里云企业补贴进行中： 马上申请

腾讯云限时活动1折起，即将结束： 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠