Google最近发布了Jeff Dean亲自执笔写的2021年AI技术总结：
Themes from 2021 and Beyond
有几点体会：
1、相比2020年，这次总结和展望相对系统一些
2020年的总结显得不够系统，大多是在罗列和展示工作进展：
- 多领域交叉应用：COVID-19and Health、医疗诊断、天气、环境和气候预测、脑神经研究、芯片设计
- 负责任AI：更好的理解语言模型、安全鲁棒、隐私保护
- NLP：自然语言理解、语言翻译
- 机器学习算法：从更小的数据中，更快的训练算法
- 强化学习
- AutoML
- 开发者社区：TF 5周年，160M下载量；翻倍投资JAX，打造JAX生态，确保JAX可以和TF生态无缝融合
- 研究社区交互：500篇各类顶会论文；三千七百万美元合作和各项资助
- 2021年展望：建立更加通用的ML模型，可以处理不同类型的任务、自动学习完成新的任务
而2021年虽然并没有新增大颗粒研究课题，但是把所有工作梳理规约到五个大的方向，相对清晰的展示了在AI领域的布局思路：
- 更加通用的AI模型（More Capable, General-Purpose ML Models）：未来会趋向于训练一个高度通用的模型，它可以处理多模他数据并且解决成千上万任务。未来几年，谷歌会将当前各种独立的思想和研究方法结合起来，在下一代架构中（Pathways）中达成（pursuing）这个目标。
- 持续提升ML计算效能（Continued Efficiency Improvements for ML）：芯片、ML算法、元学习带来的效率（Efficiency）提升持续增强ML模型的能力，同时也减小了计算开销（i.e., 碳中和）
- 个人和公共社区同时受益（More Personally and Communally Beneficial）：设备在隐私不泄露的前提下，可以从不同的模型中学习并且为这些模型做出自己的贡献（下一代计算和交互范式）
- 科学计算、医疗健康和可持续发展（Growing Impact of ML in Science, Health and Sustainability）：CV在科学计算领域取得大规模应用；医疗健康持续取得关键突破，主要包括基因突变预测、医疗影像分析等；发布更加低碳环保的谷歌地图导航功能；
- 更深入和更广泛的理解ML（Deeper and Broader Understanding of ML）：公平性是谷歌的关键价值主张之一，在这方面的投入，尤其是各种合作、资助、宣传等是一贯的，但是目前并没有看到谷歌自己目拿出颠覆性的创新。
- 2022年展望：围绕上述五个方向，持续探索。。。
个人比较高兴的是，我在2020年9月写的《AI框架的演进趋势和MindSpore的构想》文章中提到的发展趋势基本上可以与2021年这个总结相符，包括大模型、AI与科学计算结合、能效比更高的DSA芯片、AI可信等：AI框架的演进趋势和MindSpore的构想
2、2020年展望中提到的更加通用的模型，在2021年得到了长足的进展和突破，并且进一步提出了Pathways。该架构可以追溯到2019年Jeff Dean在《 The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design》一文中的设想，尤其是Jeff Dean首次提出，这可能是走向通用（General Purpose）智能的路径之一。
3、更加通用的AI模型结合持续提升ML计算效能，真正体现了Google在系统全栈创新方面的能力，所谓预测未来不如创造未来，大家可以看到大量的AI基础模型和算法，特别是transformer这个领域，都是Google在推动，我们同时也发现transformer这样的模型是非常适合TPU这些DSA芯片架构去发挥算力的，算力和算法真正做到匹配和全栈调优。
4、2021年的展望只是提到会围绕五大方向持续探索，没有明确重点。不过从全文看，预计重点会放在通用模型、高效能计算和科学计算三个方向（这其中，科学计算领域，谷歌相对更加关注健康医疗领域，包括Jeff Dean自己也亲自署名了几篇相关论文），这三个方向，具体的需要重点关注Pathways，稀疏计算和健康医疗。
5、2020年有开发者社区的内容，包括TF和JAX，2021年没有具体提到JAX和TF生态建设问题，只在文末指出谷歌对TPU、TF、JAX的投资取得了丰厚的成果，不知道是不是因为Google在AI框架领域生态发展的不尽如意的原因。
原文：知乎
作者：金雪锋
推荐阅读
更多嵌入式AI技术相关内容请关注嵌入式AI专栏。
