背景
2021年7月15日,智能计算产业技术创新联合体(Open NPU Innovation Alliance, 简称ONIA)成立。安谋科技董事长兼CEO、ONIA首任理事长吴雄昂先生代表创新联合体正式发布全球首个开源神经网络处理器指令集架构(NPU ISA)。面对多样化的神经网络计算框架,定义一套标准的神经网络算子成为了不同框架模型移植和快速部署,算法优化和共享工具链以及构建开源NPU智能生态的重要一环。
周易Compass SDK开放IR标准定义
近期,安谋科技开放了周易AIPU SDK下载,期望与更多开发者共建芯片智能生态。为了让大家更方便用周易AIPU来进行开发,特开放神经网络算子的标准定义及SPEC规范(pre-Alpha版本):
- Zhouyi_Compass_IR_Definition_Application_Note_61010013_002_en
- Zhouyi_Compass_Operators_Specification_Application_Note_61010017_002_en
其中,Intermediate Representation (IR)标准定义用于表征不同计算框架的中间件,并通过NN Compiler编译成Simulator或NPU平台上可执行的二进制文件;Specification(SPEC)给出了周易Compass SDK的现阶段算子详细规格支持。文末提供白皮书下载。
IR标准定义功能特性
- 便于移植和部署TensorFlow、ONNX、Caffe和Pytorch等不同计算框架的模型;
- 统一、共享周易NPU开源工具链;
- 实现离线或在线的统一、标准的IR语法检查;
- 周易NPU自带丰富的内建神经网络IR标准算子库;
- 周易Compass NN Compiler自带丰富的Plugin API;
- 便于快速神经网络模型移植和部署;
- 便于快速进行神经网络模型性能评估;
- 便于计算图和量化优化的可视化;
- 便于设计和实现NPU异构融合计算;
- 可用于快速实现网络模型single-layer或multi-layer等算子拆分,debug友好
可使用IR来探索list
- 将NCNN/Tengine/MNN/PaddlePaddle等框架的AI模型移植到周易AIPU平台
- 将公司AI模型部署到周易AIPU平台,优化模型性能
- 手写IR,直接在周易AIPU平台评估模型性能
- 有机会参与周易AIPU产品IR标准定义
- 其他任务
反馈渠道
欢迎大家下载白皮书,如在使用周易AIPU SDK中IR进行开发的过程中出现任何问题,欢迎联系极术小姐姐(微信:aijishu2020)获取周易AIPU产品团队的直接技术支持~
文件名 | 大小 | 下载次数 | 操作 |
---|---|---|---|
Zhouyi_Compass_IR_Definition_Application_Note_61010013_002_en.pdf | 1.27MB | 104 | 下载 |
Zhouyi_Compass_Operators_Specification_Application_Note_61010017_002_en.pdf | 1.34MB | 83 | 下载 |