https://developer.nvidia.com/blog/nvidia-jetson-project-of-the-month-recognizing-birds-by-sound/
作者：Jason Black 2023年4月3日
根据野生鸟类的外表来识别它是一回事。仅仅根据声音来识别同一只鸟是另一回事。除非你是一个有“多年”经验的观鸟者，否则通过声音识别鸟类可能很有挑战性。
德国Marburg大学的一组数学、计算机科学和生物学研究人员设计了一种快速识别鸟类和监测当地生物多样性的方法。他们使用连接到NVIDIA Jetson Nano开发套件（https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-nano-developer-kit/）的便携式设备的录音。
根据研究人员的说法Bird@Edge该项目（https://developer.nvidia.com/embedded/community/jetson-projects/bird_at_edge）是一个边缘人工智能系统，“基于分布式系统中运行的嵌入式边缘设备，能够对森林中记录的声景进行高效、连续的评估。”要了解更多信息，请参阅Bird@Edge：边缘的鸟类识别。（https://jonashoechst.de/assets/papers/hoechst2022birdedge.pdf）
Bird@Edge项目
使用多个基于ESP32的麦克风(Bird@Edge麦克风），研究人员将鸟的声音传输到当地Bird@Edge物种识别站。每个麦克风的Wi-Fi半径为50米。
这种设置部署在当地的森林中，因此研究人员仔细考虑了音频流的Wi-Fi传输以及GPU性能。该团队确定，他们可以将多达10个麦克风连接到一个基地台。从这些站点获得的结果随后被传输到后端云，供团队中的生物多样性研究人员进行进一步分析。
研究人员Jonas Höchst说：“我们在运行我们模型的Jetson Nano GPU上仍然有一些处理能力。”。“我们还能够为Jetson Nano使用定制的低功耗配置文件，这表明GPU本身仍有一定的处理能力。”
使用Bird@Edge该项目中，仅凭声音就可以快速识别鸟类。研究人员表示：“与传统方法的几天延迟相比，麦克风记录的鸟鸣与其可视化之间的延迟约为几秒。”。
图1。这个Bird@Edge系统捕捉森林中的鸟叫声，并将信息传输到边缘服务器进行分析
Bird@Edge系统软件和人工智能
为了根据录音识别和识别鸟类，该团队开发了一个基于EfficientNet-B3架构（https://www.tensorflow.org/api_docs/python/tf/keras/applications/efficientnet/EfficientNetB3）的深度神经网络（DNN），并使用TensorFlow（https://www.tensorflow.org/）进行训练。该模型使用NVIDIA TensorRT（https://developer.nvidia.com/tensorrt）进行优化，并与NVIDIA DeepStream SDK（https://developer.nvidia.com/deepstream-sdk）一起部署。
这种方法使团队能够以支持Jetson Nano GPU上多个直播流的方式构建人工智能应用程序。该算法经过训练，可以识别在Marburg大学的森林中发现的82种鸟类中的任何一种，但如果需要，可以扩展到更多的物种。
Jetson Nano运行Bird@Edge守护进程，负责发现麦克风，以及实例化和运行人工智能处理管道。结果通过蜂窝网络传送到Bird@Edge服务器，并存储在InfluxDB数据库中。这与Grafana（https://grafana.com/grafana/dashboards/）相连，因此研究人员可以使用网络界面将数据可视化。
该团队证明，他们的DNN“在几个数据集上优于最先进的BirdNET神经网络（https://www.biographic.com/what-conservation-sounds-like/），并在声景记录上实现了高达95.2%的平均精度的识别质量。”参见Bird@Edge：更多详细信息，请参阅边缘的鸟类识别。（https://jonashoechst.de/assets/papers/hoechst2022birdedge.pdf）
该系统还可以识别不太常见的鸟类。Höchst说：“我们目前正在与一位自愿的鸟类学家合作，他正在收集罕见的、因此覆盖较少的鸟类的鸟鸣，这进一步改进了我们的方法。”。
Bird@Edge系统硬件
这个Bird@Edge该工具基于在分布式系统中运行的嵌入式边缘设备，包括：
.Bird@Edge麦克风：Knowles麦克风（https://www.digikey.com/en/products/detail/knowles/SPH0645LM4H-B/5332440）与ESP32 SOC兼容(https://en.wikipedia.org/wiki/ESP32)，可通过蓝牙或Wi-Fi进行通信，并配有价格合理的电池。
.Bird@Edgestation：从传入流中捕获音频记录，并对部署的每个麦克风进行推断。该电站是一个小型便携式机箱，包括Jetson Nano、Wi-Fi、调制解调器、电压转换器和一个小型太阳能充电器。
.Bird@Edge服务器：使用Grafana传输录音，以视觉方式动态呈现生成的见解。
鉴于Bird@Edge在森林中建立了基地站，该团队需要确保每个基地站都能高效运行，而无需频繁给电池充电。为了提高能源效率，麦克风和边缘站的硬件进行了协调。
该团队能够为该电站创建一个高效的能源配置文件，只需要3.16瓦，并且可以在没有电池充电的情况下持续近2周。使用连接在电站上的太阳能电池板，它可以连续运行。研究小组发现，即使连接到电台的麦克风数量增加，电台的功耗也不会有太大变化。
视频1。研究人员讨论Bird@Edge项目
视频链接：
B站：https://www.bilibili.com/video/BV1do4y1n7Ft/
Youtube: https://www.youtube.com/watch?v=reAm4HSyQl8
追踪区域生物多样性
研究小组将该项目视为一种更容易追踪区域生物多样性的手段。以前，如果研究人员想了解栖息地的健康状况，他们需要数月乏味的手工转录录音，而他们的结果需要数月的时间来收集、分析和呈现。
根据Höchst和他的队友们的工作，世界各地的环境科学家现在可以在几秒钟内看到哪些当地鸟类的存在，并立即了解生态系统的状态。
研究人员说：“鸟类对许多生态系统都很重要，因为它们将栖息地、资源和生物过程联系在一起，因此是生态系统健康的重要预警生物指标。”。
总结
我们能期待吗Bird@Edge以便更广泛地提供？根据Höchst的说法，该团队正在考虑如何将他们的系统商业化。他说：“从一个在受控环境中表现良好的手工组装原型，到一个可以在没有定期维护的情况下大量运行的产品，这是一个挑战。”。
“然而，我们已经在VHF遥测信号自动检测硬件的设计和构建方面积累了经验，并正在为即将进行的大规模研究进行易于构建和稳健的硬件设计。”
此外，自他们的论文首次发布以来，该团队一直在开发一项网络服务，以使广大用户更容易使用录音。
Höchst解释道：“一方面，这使用户能够使用现有的库存录音机，并将文件上传到我们的云网络服务。”。“另一方面，用户可以收到直接反馈，例如，可以查看上传文件的光谱，手动验证结果，或报告错误分类，以改进底层的机器学习模型。”
额外资源
有关更多详细信息，请访问NVIDIA开发者论坛Bird@Edge：边缘的鸟类识别（https://forums.developer.nvidia.com/t/bird-edge-bird-species-recognition-at-the-edge/220252）。使用的所有软件和硬件组件Bird@Edge该项目是开源的，可以通过GitHub上的BirdEdge获得（https://github.com/umr-ds/BirdEdge）。
其他使用人工智能通过声音识别鸟类的项目包括Merlin Bird ID应用程序（https://merlin.allaboutbirds.org/），该应用程序可用于iOS和Android设备。要了解更多以环境为中心的人工智能模型，请参阅DIY城市人工智能：研究人员推动超局部气候建模运动（https://blogs.nvidia.com/blog/2023/02/23/ai-researchers-climate-modeling-jetson/）。
