吴芃老师对Pytorch的编译机制做了一个比较全面的总结:
torch.jit.script、torch.jit.trace、torch.fx、LazyTensor、TorchDynamo,几乎把能用的手段都用上了,看上去还是缺少一个完备的方案。
只能感慨Python语言真是个毒药,你享受了它的灵活性,却只能咽下部署和性能的苦果。
个人观点,AI框架的编译器应该先比较明确的区分JIT和AOT两个形态:AOT形态适用于成熟的高性能训练场景以及性能和体积要求比较高的部署态;JIT适用于平常的训练态,JIT的模式应该是开发者不感知的。
作者:金雪锋
文章来源:知乎
推荐阅读
- 超轻目标检测 | 超越 NanoDet-Plus、YOLOv4-Tiny实时性、高精度都是你想要的!
- MediaPipe模型解读 | MoveNet-SinglePose:自底向上做单人姿态估计
- 基于隐式神经网络表达的数据压缩
更多嵌入式AI干货请关注 嵌入式AI 专栏。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。