爱笑的小姐姐 · 2022年10月09日

Pytorch编译机制的总结(来自吴芃老师)

吴芃老师对Pytorch的编译机制做了一个比较全面的总结:

The nuances of PyTorch Graph Capture​dev-discuss.pytorch.org/t/the-nuances-of-pytorch-graph-capture/501

torch.jit.script、torch.jit.trace、torch.fx、LazyTensor、TorchDynamo,几乎把能用的手段都用上了,看上去还是缺少一个完备的方案。

只能感慨Python语言真是个毒药,你享受了它的灵活性,却只能咽下部署和性能的苦果。

个人观点,AI框架的编译器应该先比较明确的区分JIT和AOT两个形态:AOT形态适用于成熟的高性能训练场景以及性能和体积要求比较高的部署态;JIT适用于平常的训练态,JIT的模式应该是开发者不感知的。

作者:金雪锋
文章来源:知乎

推荐阅读

更多嵌入式AI干货请关注 嵌入式AI 专栏。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。
推荐阅读
关注数
16356
内容数
1226
嵌入式端AI,包括AI算法在推理框架Tengine,MNN,NCNN,PaddlePaddle及相关芯片上的实现。欢迎加入微信交流群,微信号:aijishu20(备注:嵌入式)
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息