作者：Matevž Zorec
来自：MIT
今天为大家带来的是来自MIT的创作者Matevž Zorec的作品:洗衣机监测装置.这个装置主要是为了检测和监控宿舍自助洗衣店的洗衣机可用性。
项目背景
住在学生宿舍意味着你必须面对许多挑战。其中一个大麻烦就是洗衣服：你得打包你那些有味道的衣服，拎着它们下楼到洗衣房——结果发现洗衣机乱糟糟的，而且在接下来一个小时都没有空的洗衣机。
作为 Seeed Vision Challenge 的一部分，我们希望创造一些东西来帮助解决这些问题。我们设计了一个框架，用来固定带有插座的 Xiao ESP32S3 的 Vision AI Module v2，并部署了一个定制模型来监测洗衣机的状态。
硬件框架
期待创建一个系统，使用Seeed Vision AI Module v2来检测和监控宿舍自助洗衣店的洗衣机可用性。
为了实现这一目标，我们设计了一个框架来安全地容纳Vision AI模块，使用嵌入式Xiao ESP32S3部署一个定制模型来检测洗衣机。这种设置旨在使监视过程无缝且高效。
为了实现这一点，我们设计了一个框架来牢固地固定视觉AI模块以及使用插座的Xiao ESP32S3，用来部署一个用于洗衣机检测的自定义模型。此设置旨在使监视过程无缝且高效。
Vision AI Module v2 证明了其用户友好性和易于设置的特点。将它与 Xiao ESP32S3 集成非常顺利，初始设置和在 Xiao ESP32S3 上部署 camera\_web\_server 也没有遇到重大问题。此外，Sensecraft 无代码平台非常直观，为 AI 模型的部署提供了一个容易上手的起点。
为了更好地了解 ESP32S3 的功能，我们探索了各种演示，包括 Xiao ESP32S3 Sense Web Camera Demo。我们还设计了一个 3D 打印框架，以牢固地固定 Vision AI Module 和 Xiao ESP32S3。这个框架具有可调节的摄像头角度、可选的镜头安装座和整洁的设置，方便数据收集，并确保组件在操作过程中保持牢固。
数据收集
为了收集数据集，我们使用了运行在连接了 Xiao ESP32S3 的 Vision Module v2 上的 camera\_web\_server。通过移动热点连接，并使用智能手机浏览器，我们能够保存洗衣机的静态图像。我们通过从不同角度和在不同光照条件下拍摄图像来创建一个多样化的数据集，总共捕获了 55 张不同角度和在不同光照条件下的洗衣机图像。这种多样性对于训练一个稳健的 AI 模型至关重要。
我们使用了 Label Studio 和 Roboflow 进行数据集的标注和增强。通过实现 MobileNet v2 和 YOLO 192 迁移学习模型，我们旨在提升系统的检测能力。尽管我们面临了一些初期困难，例如为了提高准确性而多次重新标注数据集，但我们最终实现了一个能够检测洗衣机的功能性模型。
我们在 Google Colab 上基于 Seeed 提供的 Gesture Detection Swift Yolo 192 示例创建了模型训练文件：另一个副本是 Gesture\_Detection\_Swift-YOLO\_192.ipynb。
在对数据进行标注和训练后，我们将模型上传到 SenseCraft，输入标签，并使用高级的内置 Web Serial Flasher（使用支持的浏览器）将其部署到 Seeed Grove Vision v2 板上，最终得到了结果。
项目结果
目前识别结果显示只能检测到洗衣机，因此进一步的优化至关重要。
我们在为 ESP32C3 刷写 Arduino\_SSCMA 时遇到了问题，但最终通过 PlatformIO 成功在 ESP32S3 摄像头网络服务器上实现了刷写。
尽管该模型实现了大约 30fps 的快速推理速度，但我们显然需要更大的数据集，可能还需要更简单的标注才能获得更好的结果。我们决定先尝试使用所有的标签。
项目展望
我们对 Label Studio 和 Roboflow 进行了数据集管理和增强方面的比较：
- Label Studio：尽管功能稳健且速度快，但缺少一些高级功能，比如马赛克增强。
- Roboflow：提供了强大的功能和更好的用户界面，但涉及额外费用。
我们还探索了修改 YOLO 192 人物检测器 Colab 用于模型训练和导出，但并未完全投入。
在部署过程中，我们测试了图像延迟，发现有线延迟约为 300 毫秒，而无线延迟在 400-600 毫秒之间，尽管天线放置和方向仍然会导致图像抖动的问题。
项目总结
本项目使用的3D打印的框架极大地促进了数据收集，保持了设置的安全和整洁。我们的项目提供了一种实际的解决方案，用于监控宿舍洗衣房中洗衣机的可用性。通过提升数据集规模和模型配置的潜力改进，这一系统可能会变得更加有效，帮助学生节省等待洗衣机的时间。
通过开发 Seeed Vision V2，我们在使宿舍生活更加便利方面迈出了一小步，并展示了学生可以以实惠的方式在边缘设备上实时监控洗衣机的可用性，从而节省时间和烦恼。
