机器视觉,为行业数字化打开了新的“视”界,是实现行业自动化和智能化的必要手段,这也使得越来越多的学生、研究者及开发者们学习并研究机器视觉技术。
贾志刚便是其中一员,他的另外一个身份是 “OpenCV 学堂” 的创办人。同时,作为 CSDN 博客专家以及 51CTO 视频学院认证讲师,贾志刚在图像特征提取匹配、识别等方面有较深入的研究,拥有 10 年以上图像处理项目实践经验和教学经验。
贾志刚近照
“机器视觉技术是一门涉及人工智能、计算机科学、图像处理等领域的交叉学科,不断在寻找更创新、更有效率的方式实现生产落地,”贾老师说。
很重要,但是也有痛点
在哔哩哔哩平台上,“OpenCV 学堂”的铁粉已经达到近 3 W 人,贾老师专门针对这些对视觉感兴趣、想自学 CV 开发或者想转行到视觉领域的各位开发者,录制了各类关于 CV 开发技术与案例实战的课程。
但是在长期的开发与培训中,贾老师还是遇到了一些困扰。学员经常发各种图像文件要求老师给出思路与方法,但是苦于没有合适的工具软件,对学员此类问题答疑效率极差,需要反复进行长时间的沟通。不仅如此,在机器视觉项目开发中经常需要向客户快速演示,以证明公司的技术能力,获取客户信任,但是由于没有好的算法演示工具套件,项目的预研跟评估流程很长,效率很低,与客户期望时间相去甚远。
“我们需要一个工具套件帮助老师更好地设计教学案例与算法演示,通过嵌入机器视觉领域必备知识点案例教学与算子支持,更具说服力地向学生展示机器视觉的强大力量,保证学生的学习更加有的放矢,更好地培养合格的机器视觉领域的技术人才。”贾老师表示。
同样,这也适用于那些需要向客户演示机器视觉项目,证明自己技术能力的企业用户。
于是,贾老师决定亲自率领团队开发一套名为 OpenMV (Open Machine Vision Toolkit) 的针对机器视觉技术方向的开源教学工具软件。
为实践价值而生
既然是工具套件,首先要选择一个硬件载体,这需要考虑到教学场景使用的便捷性与成本,同时兼顾运行速度与深度学习模型加速等因素。贾老师和他的团队将目光看向了 NVIDIA Jetson Nano 4GB 开发套件。
“这个平台具备 1 个网口和4 个 USB 插口,支持 HDMI 输出,是一款性价比超高,同时可以演示传统图像处理与深度学习推理的实验平台。”贾老师说,“外接了显示器与鼠标键盘之后就完成了硬件平台搭建。”
Jetson NANO 开发套件
基于硬件选型与配置,软件系统选择开源计算机视觉库 OpenCV 作为传统视觉算法支撑,同时 OpenCV4.x 版本 DNN (Deep Neural Network) 模块有非常好的深度学习推理部署支持,通过 NVIDIA CUDA 实现推理加速。软件选择的开发语言是 Python,主要考虑到 Python 语言是人工智能与深度学习场景下开发者使用最广泛的语言,同时学习成本跟时间消耗相对来说比较低,对开发团队完成项目开发比较有利。界面开发框架选择 PyQT5,深度学习推理支持 OpenCV DNN 与 TensorRT 两种框架,传统图像处理与分析算法支持选择 OpenCV 库作为支持。针对 OpenCV 中模板算法进行优化,实现了支持多角度、多目标、多尺度的模板匹配,针对 OpenCV 测量模块缺失的问题,团队开发了一套基于梯度差分、快速边缘测量的算法模块,两个模块均已集成到 OpenMV 工具套件中,方便老师在教学场合演示。
对象检测数据标注演示
YOLOv5 自定义对象检测模型推理演示
借助 Jetson Nano 强大的硬件性能以及 NVIDIA 全栈式高性能嵌入式开发环境,贾老师团队夜以继日完成了 OpenMV 工具套件实验平台代码的初步开发与搭建。它支持机器视觉常用的算法与算子的演示操作,支持从图像开始的算法流程设计,可以快速调整参数与测试,零代码实现常见图像处理、图像分析和图像测量等视觉任务,还有深度学习图像分类、对象检测以及语义分割网络主流模型推理演示。
与 Jetson 开发社区一起成长
谈到自研的这套 OpenMV 工具套件的开发目标,贾老师表示,希望能帮助高职院校培养更多既懂传统 OpenCV 算法,又懂深度学习,从训练到部署都合格的视觉开发工程师们,也希望能成为企业展示自己机器视觉技术实力的利器。未来,团队还会脚踏实地、全力以赴,用匠心做好后续开发工作,持续改进与提升产品质量,在 NVIDIA 高性能硬件加持下,为教育市场与高职院校视觉相关课程建设打磨更多的有用产品。
“很高兴能成为 NVIDIA Jetson 百万开发者的一员。NVIDIA 的 Jetson 平台对开发者非常友好,不仅安装简单而且贴合开发者实际需求,无论是用 C++ 还是 Python 在嵌入式端部署深度学习模型开发应用,Jetson Nano 都挺合适,值得入门人工智能的开发者们拥有。”贾老师说,“开发过程中,NVIDIA 官方提供了丰富 Jetson NANO 和 TensorRT 教程和项目作为参考,让团队获得很多一手的开发文档与资料,这也让我们有信心和 Jetson 开发社区一起成长!”
像贾老师及团队一样的开发者朋友们可以免费报名参加 GTC 的 Jetson 边缘 AI 开发者日活动。NVIDIA 专家将在活动上介绍最新的 Jetson 硬件、软件和合作伙伴。此外还有 CUDA 编程等精彩议题。内容包括:
另外,GTC 期间更有一场以 Jetson 平台为主题的专家交流分会,届时参加者可以与 NVIDIA 嵌入式平台工程师开展深度问答。这场互动交流会提供了一个独家机会,让您可以以团队或个人形式与 NVIDIA 产品幕后人员见面,答疑解惑。活动席位有限,先到先得。
复制链接粘贴至浏览器进行注册:
https://www.nvidia.cn/gtc-glo...
Jetson “百万开发者”有奖征集活动正在火热进行中。作为 Jetson “百万开发者”的一员,感谢您陪伴 Jetson 走过的开发之路。无论是企业、工程师、发烧友还是学生,我们相信每一位开发者都和 Jetson 有着不一样的故事。快来参与有奖征集活动,说出您与 Jetson 的故事,无论是开发创造的经典案例,还是学习构建的心得体验,都欢迎您畅所欲言,更有惊喜好礼等您拿!