通过 RealSense™、Geti 和 OpenVINO 实现鸟类 3D 追踪这一挑战
项目挑战
当您将边缘AI技术栈与后院喂鸟器结合，会发生什么？对Oliver Hamilton博士而言，这成为了一项关于感知、推理与飞行路径重建的个人实验。
解决方案
该系统与第13代英特尔® NUC (i5-1340P) 配对，可在本地运行全栈AI，完全脱离云端依赖。这为机器人技术和野生动物追踪等领域的嵌入式推理提供了完美的测试平台。
应用成果
借助最新硬件，其捕获帧率能从70-80帧/秒提升至超过130帧/秒的，并开始瞄准500帧/秒的目标迈进。突破这些极限说明了瓶颈的转移：一旦相机I/O问题得到解决，模型优化便成为了新的前沿方向。
一天早上，他凝视着厨房窗外，看着鸟儿在喂鸟器旁飞来飞去，一杯咖啡下肚后，脑海中突然闪过一个疑问…… “不同鸟类靠近喂鸟器的方式会不会有所不同？”据观察，有些鸟类会分多次停靠、小心翼翼地靠近，而另一些则会毫不犹豫地从远处快速飞来。他提出的假设是：不同种类的鸟类具有不同的飞行路径。
要验证这一点，他需要在图像中检测并追踪鸟类，同时获取它们的3D空间位置。幸运的是，他对RealSense™的AI视觉技术产品线颇为熟悉，这正是解决问题的关键！
风雨无阻的深度感知
Oliver的实验以 RealSense™深度相机 D456 为开端，该相机达到 IP65 防护等级，专为抵御户外环境因素而设计。将其安装在喂鸟器附近，即便面对英格兰北部常见的雨天等天气，也能精准捕获深度数据。“测试 IP65 防护等级” 不仅是产品演示，更是确保其在不受控自然环境中可靠性的验证方式。
数据采集：
首先，系统仅记录RGB或彩色视频数据。借助RealSense™ SDK，用户可以轻松捕获来自相机的不同数据流，例如RGB、深度和红外数据流。
模型训练：
他使用 Geti™ 计算机视觉训练平台，对从 RealSense™ D456 相机获取的 RGB 或彩色流进行标注、训练并优化定制视觉模型，以实现鸟类检测。为提升推理性能，他采用了经 Geti™ 自动优化的 OpenVINO 模型，从而能够在英特尔硬件上高效地进行推理。
至此，系统已能在二维图像中”看见”并定位鸟类，接下来需要将三维数据整合至最终阶段。
部署落地：
在边缘设备上实时运行 OpenVINO 检测模型的同时，从 RealSense™ D456 捕获深度信息；他利用视觉模型输出的边界框位置，提取鸟儿往返喂食器时的3D空间坐标。
绘制 3D 飞行路径
当检测到多只鸟类时，可能会导致飞行路径识别混乱。为避免错误路径，Oliver采用了基于速度的滤波算法。若新检测结果显示位移跳变超过小型鸟类的预期空速（例如蓝山雀约 8 米 / 秒），则该数据点会被排除。最终得到的轨迹清晰连贯，呈现出真实的飞行路径，而非在不一致点间跳跃的随机噪声。
Monty Python：无负重燕子的空速
Oliver承认自己中途还真查过”无负重鸟类的飞行速度”。#Monty Python #懂的都懂
如果您不熟悉Monty Python，在 1975 年电影《巨蟒与圣杯》中，亚瑟王遭遇一位守桥人的刁难，对方质问：“无负重的燕子飞行速度是多少？
骑士们为此争论，纠结是非洲燕子还是欧洲燕子——这段刻意设计的荒诞冷知识，如今已成为极客圈的经典圈内梗。
BirdBoxBot、Trackertron 与帧率竞赛
Oliver的创造力不止于单一的鸟类追踪设备。他此前还打造过如 BirdBoxBot 这类装置 —— 这是一个由人工智能驱动的鸟舍，可通过推特或 “X” 平台发布更新；以及其同类产品Trackerton，专为高速运动追踪而设计。借助最新硬件，他将捕获帧率从 70-80 帧 / 秒提升至推理性能超 130 帧 / 秒，并开始向 500 帧 / 秒的处理管线目标迈进。突破这些极限说明了瓶颈的转移：一旦相机I/O问题得到解决，模型优化便成为了新的前沿方向。
完整RealSense™技术栈实战
Oliver的工作流程堪称RealSense™ AI视觉生态系统的缩影：
- 数据采集：RealSense™ D456 深度数据流
- 模型训练：使用 Geti™ 平台进行数据集创建、标注与模型训练
- 模型优化：通过 OpenVINO™ 在英特尔CPU/GPU/NPU硬件上进行模型推理
- 硬件支持：采用第13代英特尔® NUC实现边缘实时运算
- 可视化：运用英特尔实验室的3D绘图工具
通过将实验划分为阶段1（捕获）、阶段2（训练）和阶段3（部署），他完美复现了生产级流水线。这个始于个人兴趣的项目，最终成为了端到端计算机视觉部署的典范案例。
核心
价值
Oliver的后院项目看似有趣，却为机器人技术、安防和边缘AI领域提供了重要启示：
- 环境适应性：若技术能在雨中精准追踪鸟类，则同样适用于更严苛的工业环境。RealSense™ D456的IP65级防尘防水特性，使其能够胜任从智慧城市到户外机器人的各类场景。
- 深度精度与范围：与2D相机不同，RealSense™ D456可提供精确的3D数据，实现运动追踪、障碍物检测与环境建图——即使在复杂动态场景中也能稳定发挥。
- 数据清洁度：速度感知过滤等技术可有效避免虚假关联，这一经验既适用于鸟类飞行路径分析，也适用于工业设备监测。
- 可扩展性：将处理管线推至100帧/秒以上，证明了边缘推理在无需专用硬件前提下的性能潜力，证明RealSense™ D456既能胜任原型实验也能满足生产部署需求。
- 参与感：他的项目生动展示了应用AI既能保持技术严谨又充满趣味，这激励着开发者以探索之心而不仅是工作态度来看待边缘AI。