《模型并行 —— 构建和部署大型神经网络》
实时授课答疑 | GPU 实验环境 | NVIDIA 培训证书 | 3折 GTC 特惠
超大型的深度神经网络(DNN),无论是用于自然语言处理(如 GPT-3)、计算机视觉(如规模巨大的视觉 Transformer),还是语音 AI(如 Wave2Vec 2),都具有区别于其较小规模同类模型的特殊属性。
基于海量数据集训练出来的 DNN 的规模越来越大,使得它们只需再经过少量示例训练就能够适应新任务要求,从而加快了向通用人工智能的迈进。
使用庞大的数据集,训练包含数百亿到千亿参数的模型并非易事,这需要独特的方法来综合运用人工智能、高性能计算(HPC)和系统知识。本课程的目标就是学习如何训练超大型的神经网络并将其部署到生产中。
学习目标
完成本课程后,您将能够:
- 跨多个服务器训练神经网络
- 使用激活检查点、梯度累积和各种形式的模型并行等技术,来克服与大型模型内存占用相关的挑战
- 捕获并了解训练性能特征以优化模型架构
- 使用 NVIDIA Triton™ 推理服务器将超大型多 GPU 模型部署到生产环境
课程安排
上课时间:中国时间 9 月 23 日 全天
上课模式:讲师实时授课,每位学员可使用云端完全配置的 GPU 加速工作站实验练习
上课地点:在线
课程名称:模型并行 —— 构建和部署大型神经网络
课程简介:综合运用人工智能、高性能计算 (HPC) 和系统知识,训练和部署超大型神经网络模型
课程大纲:扫描二维码
课程语言:中文
限时售价:999 元人民币(包含增值税普通发票;此课程日常价格为 3,500 元)
如何报名
扫描文末海报上的二维码,即可直接报名。
探索更多 DLI 培训
NVIDIA 深度学习培训中心 (DLI) 提供适用于各种学习需求的资源,从在线自学课程到有讲师指导的培训班,以及免费教学资源,应有尽有。因此,个人、团队、组织、教育工作者和学生可以获得在 AI、加速计算、加速数据科学、图形和模拟等领域提升知识所需的内容。