https://armltd.zoom.us/webinar/register/2416492431822/WN_zNgSJQa4RPa0IBUEMBUgrQ
主题
季度研究专题-UDC:可压缩TinyML模型的统一DNAS
说明
新兴的物联网(IoT)应用正在推动神经网络(NNs)在高度受限的低成本硬件(HW)平台上的部署,其准确性通常受到内存容量的限制。为了应对这种TinyML挑战,像神经处理单元(NPU)这样的新硬件平台支持模型压缩,它利用积极的网络量化和非结构化修剪优化。NPU与硬件压缩和可压缩模型的结合允许在相同的内存占用中使用更具表现力的模型。
然而,在传统的神经网络体系结构选择的基础上增加压缩性优化,扩大了设计空间,我们必须在设计空间中进行平衡权衡。这项工作弥补了NPU硬件能力和神经网络模型设计之间的差距,本研究提出了一种神经结构搜索(NAS)算法,以有效地搜索大的设计空间,包括:网络深度、运算符类型、层宽度、位宽度、稀疏性等。基于可区分NAS(DNA)和几个关键改进,我们在CIFAR100、ImageNet和DIV2K超分辨率任务上演示了可压缩模型(UDC)的统一DNAS。在ImageNet上,我们发现Pareto占主导地位的可压缩模型,可以小1.9倍,或者精确5.76%。
本讲座是每两周一次的AI虚拟技术讲座系列的一部分:https://developer.arm.com/solutions/machine-learning-on-arm/ai-virtual-tech-talks
Arm将根据我们的隐私政策处理您的信息:
https://www.arm.com/company/policies/privacy.
时间
2022年4月19日 下午 04:00 (伦敦时间)
注册地址:
https://armltd.zoom.us/webinar/register/2416492431822/WN_zNgSJQa4RPa0IBUEMBUgrQ