AI学习者 · 2022年01月29日

预测未来不如创造未来-2021年Google AI技术总结报告分析

Google最近发布了Jeff Dean亲自执笔写的2021年AI技术总结:
Themes from 2021 and Beyond​

有几点体会:

1、相比2020年,这次总结和展望相对系统一些

2020年的总结显得不够系统,大多是在罗列和展示工作进展:

  • 多领域交叉应用:COVID-19and Health、医疗诊断、天气、环境和气候预测、脑神经研究、芯片设计
  • 负责任AI:更好的理解语言模型、安全鲁棒、隐私保护
  • NLP:自然语言理解、语言翻译
  • 机器学习算法:从更小的数据中,更快的训练算法
  • 强化学习
  • AutoML
  • 开发者社区:TF 5周年,160M下载量;翻倍投资JAX,打造JAX生态,确保JAX可以和TF生态无缝融合
  • 研究社区交互:500篇各类顶会论文;三千七百万美元合作和各项资助
  • 2021年展望:建立更加通用的ML模型,可以处理不同类型的任务、自动学习完成新的任务

而2021年虽然并没有新增大颗粒研究课题,但是把所有工作梳理规约到五个大的方向,相对清晰的展示了在AI领域的布局思路:

  • 更加通用的AI模型(More Capable, General-Purpose ML Models):未来会趋向于训练一个高度通用的模型,它可以处理多模他数据并且解决成千上万任务。未来几年,谷歌会将当前各种独立的思想和研究方法结合起来,在下一代架构中(Pathways)中达成(pursuing)这个目标。
  • 持续提升ML计算效能(Continued Efficiency Improvements for ML):芯片、ML算法、元学习带来的效率(Efficiency)提升持续增强ML模型的能力,同时也减小了计算开销(i.e., 碳中和)
  • 个人和公共社区同时受益(More Personally and Communally Beneficial):设备在隐私不泄露的前提下,可以从不同的模型中学习并且为这些模型做出自己的贡献(下一代计算和交互范式)
  • 科学计算、医疗健康和可持续发展(Growing Impact of ML in Science, Health and Sustainability):CV在科学计算领域取得大规模应用;医疗健康持续取得关键突破,主要包括基因突变预测、医疗影像分析等;发布更加低碳环保的谷歌地图导航功能;
  • 更深入和更广泛的理解ML(Deeper and Broader Understanding of ML):公平性是谷歌的关键价值主张之一,在这方面的投入,尤其是各种合作、资助、宣传等是一贯的,但是目前并没有看到谷歌自己目拿出颠覆性的创新。
  • 2022年展望:围绕上述五个方向,持续探索。。。

个人比较高兴的是,我在2020年9月写的《AI框架的演进趋势和MindSpore的构想》文章中提到的发展趋势基本上可以与2021年这个总结相符,包括大模型、AI与科学计算结合、能效比更高的DSA芯片、AI可信等:AI框架的演进趋势和MindSpore的构想

2、2020年展望中提到的更加通用的模型,在2021年得到了长足的进展和突破,并且进一步提出了Pathways。该架构可以追溯到2019年Jeff Dean在《 The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design》一文中的设想,尤其是Jeff Dean首次提出,这可能是走向通用(General Purpose)智能的路径之一。

3、更加通用的AI模型结合持续提升ML计算效能,真正体现了Google在系统全栈创新方面的能力,所谓预测未来不如创造未来,大家可以看到大量的AI基础模型和算法,特别是transformer这个领域,都是Google在推动,我们同时也发现transformer这样的模型是非常适合TPU这些DSA芯片架构去发挥算力的,算力和算法真正做到匹配和全栈调优。

4、2021年的展望只是提到会围绕五大方向持续探索,没有明确重点。不过从全文看,预计重点会放在通用模型、高效能计算和科学计算三个方向(这其中,科学计算领域,谷歌相对更加关注健康医疗领域,包括Jeff Dean自己也亲自署名了几篇相关论文),这三个方向,具体的需要重点关注Pathways,稀疏计算和健康医疗。

5、2020年有开发者社区的内容,包括TF和JAX,2021年没有具体提到JAX和TF生态建设问题,只在文末指出谷歌对TPU、TF、JAX的投资取得了丰厚的成果,不知道是不是因为Google在AI框架领域生态发展的不尽如意的原因。

原文:知乎
作者:金雪锋

推荐阅读

更多嵌入式AI技术相关内容请关注嵌入式AI专栏。
推荐阅读
关注数
16328
内容数
1218
嵌入式端AI,包括AI算法在推理框架Tengine,MNN,NCNN,PaddlePaddle及相关芯片上的实现。欢迎加入微信交流群,微信号:aijishu20(备注:嵌入式)
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息