详情页标题前

机器学习PAI现在带有all reduce 的算子是trace不出来的?结果会错?有办法绕过去吗? -云小二-阿里云

详情页1

机器学习PAI现在带有all reduce 的算子是trace不出来的?结果会错?有办法绕过去吗? 如果只想融合下算子 ,除了aot autograd,还有其他方式吗?

以下为热心网友提供的参考意见

如果是只是想测下 fusion,直接用就可以了,dynamo 在 trace 的时候会 break 掉 collective ops。 但社区已经在解决这个问题了,比如这个 RFC:https://github.com/pytorch/pytorch/issues/93173 ,以及这个 unit test:https://github.com/pytorch/pytorch/blob/main/test/distributed/test_inductor_collectives.py 。 ,此回答整理自钉群“BladeDISC用户支持群”

转转请注明出处:https://www.yunxiaoer.com/178567.html

(0)
上一篇 2023年12月24日
下一篇 2023年12月24日
详情页2

相关推荐

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。