您好,欢迎来到维库电子市场网 登录 | 免费注册
8年
企业信息

深圳市星宇佳科技有限公司

卖家积分:16001分-17000分

营业执照:已审核

经营模式:原厂制造商

所在地区:广东 深圳

企业网站:
www.1b006.com

人气:581147
企业档案

相关证件:营业执照已审核 

会员类型:

会员年限:8年

柯小姐 QQ:2851989182,2851989182

电话:0755-82522195

手机:13332931905【企业微信】

柯小姐 QQ:2851989182

电话:0755-82522195

手机:13332931905

阿库IM:

地址:福田区华强北街道华航社区华富路1004号南光大厦510

E-mail:2851989182@qq.com

NVIDIA Jetson 月度项目:通过声音识别鸟类

发布时间: 2023/4/15 14:21:47 | 104 次阅读

深圳市星宇佳科技有限公司
联系方式:13682456195 QQ:2851989185 陈R

厂家直销MOS管;华冠、洪利发授权yi级代理;原装IC元器件优势现货,一家专注12年的电子元器件配套供应商。

在野外,能够根据外形来辨别鸟的种类已经算得上十分厉害,如果仅凭声音就能识别,则更胜一筹了。除非您是一位阅历丰富的资深鸟类爱好者,否则只通过声音来辨别鸟类的难度还是非常大的。


??
 


??来自德国马尔堡大学的一群数学、计算机科学和生物学研究人员,设计了一种快速辨别鸟的种类和监测当地生物多样性的方法。他们使用了配备 NVIDIA Jetson Nano 开发者套件的便携式设备捕捉的音频。


??
 


??据研究人员介绍,Bird@Edge 项目是一个边缘 AI 系统,基于在分布式系统中运行的嵌入式边缘设备,对在森林中记录的音景实现高效、持续评估。


??
 


??关于 Bird@Edge 项目


??
 


??研究人员使用多个基于 ESP32 的麦克风(Bird@Edge麦克风),将鸟声传输至当地的 Bird@Edge 站点进行物种识别。使用的每个麦克风的 Wi-Fi 传输范围半径为 50 米。


??
 


??这个装置被部署在当地的森林里,研究人员仔细考虑了音频流的 Wi-Fi 传输范围以及 GPU 的性能,并确保每个站点可以连接多达 10 个麦克风。站点获得的音频结果被传输至后台云端,供团队中的生物多样性研究人员进行进一步分析。


??
 


??研究人员 Jonas H?chst 表示:“在运行着模型的 Jetson Nano GPU 上,仍有一些额外的处理能力。我们还能使用 Jetson Nano 的一个自定义低功耗配置文件,这表明 GPU 本身尚存处理能力。”


??
 


??Bird@Edge 项目只需要通过声音就可以快速辨别鸟的种类。研究人员表示:“从麦克风记录下鸟鸣声,到将鸟鸣声可视化只需要几秒钟,而使用以前的方法需要几天时间。”


??
 


??图1. Bird@Edge 系统捕捉森林中的鸟声,并将信息传输到一个边缘服务器进行分析。


??
 


??Bird@Edge 系统软件和 AI


??
 


??为了根据录音识别和辨别鸟的种类,该团队开发了一个基于 EfficientNet-B3 架构的深度神经网络(DNN),并使用 TensorFlow 进行训练,然后分别使用 NVIDIA TensorRT 和 NVIDIA DeepStream SDK 优化和部署该模型。


??
 


??这个办法使团队能够支持在 Jetson Nano GPU 上构建多个实时串流的 AI 应用。该算法经过训练后能够识别马尔堡大学森林中发现的 82 种鸟类中的任何一种,而且还可以根据需要扩展到更多物种。


??
 


??Jetson Nano 运行的 Bird@Edge 虚拟光驱程序,用于负责监测麦克风并实例化和运行 AI 处理流程。监测结果通过蜂窝网络传输到 Bird@Edge 服务器,并存储在 InfluxDB 数据库中。由于和 Grafana 相连,研究人员可以在网页上将数据可视化。


??
 


??团队证明了他们的 DNN “在几个数据集上的表现优于zui先进的 BirdNET 神经网络,并实现了高达 95.2% 的声景记录平均识别精度。”


??
 


??该系统还可以辨别不太常见的鸟类。H?chst 表示:“我们目前正在与一位鸟类学家志愿者合作。他正在收集因为不常见而探测发现率较低的鸟类的叫声,这将进一步改进我们的工作。”


??
 


??Bird@Edge 系统硬件


??
 


??Bird@Edge 工具基于在分布式系统中运行的嵌入式边缘设备,包括:


??
 


??Bird@Edge 麦克风:兼容 ESP32 SOC 的 Knowles 麦克风,可通过蓝牙或 Wi-Fi 进行通信,以及一个便宜的蓄电池。


??Bird@Edge 站点:从传入的数据流中捕捉录音,并对所部署的每个麦克风执行推理。该站点是一个小型便携机箱,包含 Jetson Nano、Wi-Fi、调制解调器、电压转换器和一个小型太阳能充电器。


??Bird@Edge 服务器:录音通过 Grafana 传输,然后以可视化的方式动态呈现生成的洞察。


??鉴于 Bird@Edge 站点设置在森林中,团队需要确保每个站点都能够高效率地运行,且无需经常给电池充电,并通过协调麦克风和边缘站点的硬件来提高能效。


??
 


??团队为站点创建了一个功率只有 3.16 瓦、可持续运行近两周而无需给电池充电的高效率能源配置文件。站点依靠所连接的太阳能电池板可以连续运行。研究小组发现,即使连接的麦克风数量增加,站点的耗电量也不会有太大变化。


??
 


??视频1. 研究人员讨论 Bird@Edge 项目


??
 


??追踪区域生物多样性


??
 


??研究团队认为,这个项目是一种能够更加轻松追踪区域生物多样性的好方法。之前,如果研究人员想要掌握一个栖息地的健康状况,完成手工录音转录这项繁琐的工作就要花费几个月时间,同时还需要额外几个月时间来收集、分析和展示他们的结果。


??
 


??借助 H?chst 及其团队的工作成果,全世界的环境科学家如今可以在几秒钟内看到当地有哪些鸟类,并实时获得有关生态系统状态的洞察。


??
 


??研究人员表示:“鸟类对许多生态系统都很重要,它们可以将栖息地、资源和生物流程相互联系起来,因此是显示生态系统健康状况的重要早期预警生物指标。”


??
 


??总结


??
 


??Bird@Edge 能被用于更广泛的用途吗?H?chst 表示,团队正在考虑如何将他们的系统商业化:“我们所面临的挑战是要将一个在可控环境中表现良好的手工组装an例,转换成可以大量使用而且无需定期维护的产品。”


??
 


??“我们已经在设计和制作自动检测 VHF 遥测信号的硬件方面积累了经验,并且正在开发便于建造、稳定可靠的硬件设计,为即将进行的大规模研究做准备。”


??
 


??另外,自从首次发布他们的论文以来,团队一直在开发一种方便广大用户使用录音系统的网络服务。


??
 


??H?chst 解释道:“一方面,这使用户能够使用他们手头上的音频录制设备,并将文件上传到我们位于云端的网络服务。同时,用户可以收到直接反馈并查看所上传的文件的谱图、手动验证结果或者bao告分类错误等,进而改进底层的机器学习模型。”


??
 


??*Bird@Edge 项目中使用的所有软件和硬件组件均已开源,可在 BirdEdge on GitHub(github.com/umr-ds/BirdEdge)获取。




本文资讯来源互联网,版权归原作者所有