NVIDIA英伟达嵌入式系统 头像

NVIDIA英伟达嵌入式系统

6285 声望
他还没有填写个人简介
关注了
0
粉丝数
7129
IP 属地北京市
最新动态
  • 关注了专栏 ·
    图标
    NVIDIA Triton推理服务器

    NVIDIA Triton推理服务器系列技术文章学习

  • 发布了文章 ·
    NVIDIA Triton 系列文章(13):模型与调度器-3

    前面两篇文章,已经将 Triton 的“无状态模型”、“有状态模型”与标准调度器的动态批量处理器与序列批量处理器的使用方式,做了较完整的说明。

    摘要图
  • 发布了文章 ·
    NVIDIA Triton 系列文章(11):模型类别与调度器-2

    在上篇文章中,已经说明了有状态(stateful)模型的“控制输入”与“隐式状态管理”的使用方式,本文内容接着就继续说明“调度策略”的使用。

    摘要图
  • 发布了文章 ·
    NVIDIA Triton 系列文章(11):模型类别与调度器-1

    在 Triton 推理服务器的使用中,模型(model)类别与调度器(scheduler)、批量处理器(batcher)类型的搭配,是整个管理机制中最重要的环节,三者之间根据实际计算资源与使用场景的要求去进行调配,这是整个 Triton 服务器中比较复杂的部分。

    摘要图
  • 发布了文章 ·
    NVIDIA Triton 系列文章(10):模型并发执行

    前面已经做好了每个推理模型的基础配置,基本上就能正常让 Triton 服务器使用这些独立模型进行推理。接下来的重点,就是要让设备的计算资源尽可能地充分使用,首先第一件事情就是模型并发执行(concurrent model execution)的调试,这是提升 Triton 服务器性能的最基本任务。

    摘要图
  • 发布了文章 ·
    NVIDIA Triton 系列文章(9):为服务器添加模型

    前面已经用 [链接] 开源仓的范例资源,创建一个最基础的模型仓以便执行一些基础的用户端范例,现在就要带着读者为模型仓添加新的模型。

    摘要图
  • 发布了文章 ·
    NVIDIA Triton 系列文章(8):用户端其他特性

    前面文章用 Triton 开源项目提供的 image_client.py 用户端作示范,在这个范例代码里调用大部分 Triton 用户端函数,并使用多种参数来配置执行的功能,本文内容就是简单剖析 image_client.py 的代码,为读者提供撰写 Triton 用户端的流程。

    摘要图
  • 发布了文章 ·
    NVIDIA Triton 系列文章(7):image_client 用户端参数

    作为服务器的最重要任务,就是要接受来自不同终端所提出的各种请求,然后根据要求执行对应的计算,再将计算结果返回给终端。

    摘要图
  • 发布了文章 ·
    NVIDIA Triton 系列文章(6):安装用户端软件

    在前面的文章中,已经带着读者创建好 Triton 的模型仓、安装并执行 Triton 推理服务器软件,接下来就是要安装 Triton 用户端软件,对服务器提出推理请求(requests),才能触发服务器执行推理计算的任务。

    摘要图
  • 发布了文章 ·
    NVIDIA Triton 系列文章(5):安装服务器软件

    在前一篇文章已经带着读者创建一个 Triton 的推理模型仓,现在只要安装好服务器端与用户端软件,就能进行基本的测试与体验。

    摘要图
  • 发布了文章 ·
    NVIDIA Triton 系列文章(4):创建模型仓

    推理模型仓(inference model repository)是 Triton 推理服务器的最基础元件,如同数据库(database)服务器必须先创建一个数据库是类似的道理。要使用 Triton 推理服务器的第一件任务,就是先创建一个模型存储仓来作为服务器的组织中心,将所需的模型、配置文件和其他资源都位于这个存储仓中,才能让 Triton 进行推理...

    摘要图
  • 发布了文章 ·
    NVIDIA Triton 系列文章(3):开发资源说明

    大部分要学习 Triton 推理服务器的入门者,都会被搜索引擎或网上文章引导至官方的 [链接] 处(如下截图),然后从 “Get Started” 直接安装服务器与用户端软件、创建基础的模型仓、执行一些最基本的范例。

    摘要图
  • 发布了文章 ·
    NVIDIA Triton系列文章(2):功能与架构简介

    前面文章介绍微软 Teams 会议系统、微信软件与腾讯 PCG 服务三个 Triton 推理服务器的成功案例,让大家对 Triton 有初步的认知,但别误以为这个软件只适合在大型的服务类应用中使用,事实上 Triton 能适用于更广泛的推理环节中,并且在越复杂的应用环境中就越能展现其执行成效。

    摘要图
  • 发布了文章 ·
    报名开启!快来参加 NVIDIA Jetson Edge AI 开发者大赛

    AI 正在实现曾被认为科幻的崭新应用—并在影响几乎各行各业。自主机器利用 AI 解决当今最为棘手的一些问题。NVIDIA Jetson 平台为用户提供了一套工具,用于开发和部署 AI 助力机器人、无人机、IVA 应用程序以及其他独立思考的自主机器。

    摘要图
  • 发布了文章 ·
    在 NVIDIA Omniverse 上构建元宇宙工具的新课程

    元宇宙正在为每个人提供新的机会——艺术家可以跨越多种 3D 工具创造内容,开发人员可以在虚拟世界中进行 AI 训练,企业可以构建工业流程的数字孪生模拟。

  • 发布了文章 ·
    NVIDIA Triton系列文章(1):应用概论

    推理识别是人工智能最重要的落地应用,其他与深度学习相关的数据收集、标注、模型训练等工作,都是为了得到更好的最终推理性能与效果。

  • 发布了文章 ·
    NVIDIA Isaac ROS最新版本可为自主移动机器人提供开源机队管理工具

    NVIDIA 在 ROSCon 2022 大会上宣布了 Isaac ROS 软件的最新版本——Developer Preview (DP) 2 版本。该版本包含用于 AMR 机器人机队的全新云/边缘机器人任务管理和监测软件,以及为 ROS 2 开发者提供的额外功能。

    摘要图
  • 发布了文章 ·
    NVIDIA Jetson AGX Orin开发用户,您有一份礼品待领取

    自NVIDIA六个月前宣布推出Jetson AGX Orin开发套件以来,深受边缘计算开发者们的喜爱。Jetson Orin帮助数百万边缘AI和ROS开发者大幅提高性能,是适用于各类机器人部署工作的理想平台。GPUS开发者社区联合NVIDIA公司,发起NVIDIA Jetson AGX Orin开发套件用户回馈活动。

    摘要图
  • 发布了文章 ·
    DevZone | NVIDIA JetPack SDK

    NVIDIA JetPack SDK 是构建 AI 应用的全面解决方案,支持所有 Jetson 模块和开发者套件。

  • 发布了文章 ·
    DevZone | NVIDIA Texture Tools Exporter

    借助 NVIDIA Texture Tools Exporter,用户可以使用 NVIDIA 的 CUDA 加速 Texture Tools 3.0 压缩器技术,直接从图像源创建高度压缩的纹理文件(在磁盘和内存中占用空间较小)。

    摘要图
认证与成就
获得 1257 次点赞
2021年01月18日 加入
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息