发布时间 : 星期四 文章开源和开放硬件嵌入式设计更新完毕开始阅读403ab91628ea81c759f57884
开源和开放硬件嵌入式设计，用于室内和室外应用度量光流
CMOS 摄像头
多米尼克交响曲、洛伦兹梅尔、 Petri Tanskanen和 Marc Pollefeys
苏黎世联邦理工学院 Switzerland¨
抽象— — 在高更新率的鲁棒速度和位置估计是移动机器人导航的关键。近年来基于计算机鼠标硬件芯片
的光流传感器已履行好对微型飞行器。因为他们需要更多的光线，比目前在典型室内和室外低光照条件下，其实际的使用是有限。我们目前的开源和开放硬件设计
[1] 的光流传感器基于室内和室外应用机器视觉
CMOS 图像传感器具有很高的感光度。光流场估计在手臂皮质 M4 单片机实时 250 赫兹更新率。角速率陀螺仪和距离缩放使用超声波传感器补偿是机载计算机完成。系统是为进一步扩展和适应设计和播出微型飞行器飞行。
一.导言
成功移动机器人导航中的取决于强劲的位置和速度信息。特别是对于无阻尼系统，如垂直起飞和降落的微型飞行器 (Mav)，足够的更新率和低延迟传感器均须在操作过程中保持跟踪。 近年来基于计算机鼠标传感器的光流传感器成功地用于这一目的 [6]。面对这些传感器可以用于准确的速度，和与集成，位置测量在地上。然而，鼠标传感器需要强照明提供准确的测量结果。这个问题可以减轻与板载主动照明在红外范围内，如高亮度红色发光二极管。这不过冲突与电力消费和地面的距离限制。汽车的 CMOS 图像传感器是极大地更多的光敏感，并允许运行在室内环境中和在没有人工照明不良室外条件。然而，我们所知是没有 CMOS 基础、轻量级传感器可用，可以方便地集成到一个机器人的研究体系。鹦鹉ARDrone有板载的摄像头并计算光流在嵌入式 Linux 环境中 [2] 但硬件设计以及软件实现关闭源，只能在一定范围内修改。在这项工作，我们提出了 PX4FLOW，手臂皮质 M4 基于传感器执行光学系统流量 250 帧每秒 64 × 64 像素，且采用 CMOS 机器视觉传感器亚取样分辨率处理。超声波测距传感器用来测量对现场的距离，缩放光流值为度量的速度值。角速度补偿使用板载的陀螺仪正确地估计平移速度。自动曝光控制可在室外和室内环境中的用法。图 1 显示装入的透镜和超音波测距传感器的传感器系统。CMOS 传感器单片机系统是低功耗、低延迟，成本低，因此适合微型飞行器的应用程序。
图 1。提出的 PX4FLOW 光学流量传感器的安装镜头上右边的左和超音波距离传感器。
首先我们提供摘要运动场与速度包括所有相关参数之间的关系。我们目前有效的系统安装程序来执行计算机视觉任务与微控制器在高帧率。该系统是用比较标准的鼠标传感器和 GPS 和测量提出了的流量传感器与地面真相使用 VICON 运动跟踪系统的几个实验进行验证。
二.相关工作
专用计算机鼠标硬件传感器成功地用于导航和避障的微型飞行器 [6]。因为小跟踪的图像区域几个鼠标传感器被使用在多个方向流动检测 [1] 中的一辆车内。这种限制可以在我们设计一个更广泛的角度透镜与像素位置而光流计算根据分布加以解决。更复杂的机动，[9] 中提出了自主起飞和着陆基于光流传感器。四旋翼控制鼠标传感器基于光流模块 [3] 所示。因为标准的鼠标传感器需要更强的灯光比目前在正常室内条件下，所有这些系统并不适合室内应用。系统采用 CMOS 传感器的光流计算方法是使用无线链接为相机图像发送到地面，这处理图像的计算机，并将计算的流量值发送回 MAV [5] [8] 而建成的。
在fieldprogrammable门阵列 (FPGA) 实现，专用的硬件设计用于实时执行船上的所有计算。[7] 的作者表明光流计算方法在实时微型飞行器。[4] 中立体相机对计算光流和密集立体 3D 公制流。FPGA 系统相比，我们的做法，昂贵，大，需要进一步在硬件描述语言的知识。我们结合低成本机器视觉 CMOS 传感器和低成本、低功耗的标准微控制器，计算在室内和室外环境中的光流。软件，完全用 C 编写的用 GNU GCC 编译器编译，并在下的 BSD 开源许可证。硬件设计是可用的因为 CC 的 SA 知识共享许可开放硬件。
三.背景情况
本节概述了pixelbased运动场和度量速度之间的关系。 A.基本方程的运动领域
运动领域创建图像平面上投影的三维速度场。让P = [,,Y Z]>是三个三维相机参考框架中的一个点。让这一框架，让 f z 轴表示焦距长度，让中心的投影会在起源的光轴。P 在图像平面上的投影的像素坐标给出了由
P
pf =. () 1
Z
自焦距长度f是等于图像平面到原点的距离，p 的三坐标是常数p= [,,y f]>。相机和 P 之间的相对运动给出了由
V= ?T? ω ×P, () 2
在哪里Ω是角速度和 T 议案的平移组件。关于双方 (1) 时间的导数，就到 P 在相机参考帧和速度的速度或 p 在图像平面流动的关系
流量ZV? VzP = v = f ?时间bZ2
. () 3
表示在 x 和 y 组件而代以 (2) 运动场可以写成
Tzx ? Txfωxxy ? ωyx2
vx=
? ωyf + ωzy +
() 4
Z f
Tzy ? Tyfωxy2 ? ωyxyvy=ωzx +
.
+ Ωxf ?
() 5
Z f
景深度信息。
运动领域组件是等于纯平移部分加纯回转类零件。回转类零件依赖从 Z 并不因此角速度不带场(4) 中的平移组件和 (5) 进行缩放焦距与当前距离 Z 到现场。如果平移速度，例如，如果需要旋转veclocity是零或已知（用陀螺仪测量）和补偿从运动领域，它是可以计算的度量尺度的平移速度
Z
vm,跨v =. (6) f
现场运动领域和距离测量的平移部分的结合导致米制尺度的平移速度如果可以假设到现场距离约不断。这是尤其如此，如果相机是面临的垂直于地面。
四.系统设置
在下文中，我们描述了高效的系统设置，在单片机上执行计算机视觉任务。概述设置如图 2 所示。
图 2。PX4FLOW 系统设置，CMOS 图像传感器直接连接到微控制器。从帧采集模块以及角速率和距离测量的图像数据存储在系统内存使用 DMA。缩放与相应的距离的流值发送。
传感器系统在从 CMOS 机器视觉传感器获得的图像上执行光流场计算。它是直接连接到手臂皮质 M4 单片机外围的特殊成像仪总线。微控制器过程中实时的图像。帧采集模块 捕获帧从传感器并将它们存储在内存中。两个后继帧之间的光流值被计算流模块中。
对由此产生的流量值进行细化，以达到亚像素精度和角速率补偿使用陀螺仪测量。最后做了公制缩放 (6) 所示的流值使用超声波传感器的距离测量。 A.图像采集卡
像素数据被分流在单片机使用并行接口。帧采集模块样品在相应的像素时钟的cmos图像传感器的像素值。使用双缓冲的直接内存访问 (DMA) 用于将图像数据传输到内存。只有当前和在先帧存储。
B.流动计算
光流计算两个连续帧之间。使用绝对差异 (SAD) 的块匹配算法的总和。SAD 值的参考试块的像素的当前和在先框架相比伤心搜索区域内的值。在搜索区域中的最佳匹配位置被选定为由此产生的流量值。搜索范围，以及块大小是完全参数以支持各种应用程序。 C.亚像素求精、旋转补偿和公制缩放
最佳匹配计算后是迈出了细化一步。流是对亚像素精度与最佳匹配像素内使用双线性插值计算的。板载的陀螺仪值通过 DMA 存储到主存储器中的微控制器。它提供角自转速率的相机。因为可以使用角速率和透镜焦距的计算回转类零件的运动领域，这些可以用于旋转补偿。介绍了由轮换的流动是计算光流值减去。
悲伤的块匹配的搜索窗口可以根据旋转的方向转移。这增加的最大允许的摄像机旋转频率，即使旋转的摄像头，可以用一个小小的搜索范围估计平移流。
如果可选声纳传感器相连，精致的光流值缩放到其度量值假设相机看起来在一个平面如 (6) 超声波传感器测量的距离。 D.组件
帧捕获通过 16 毫米 M12 镜头 (21?FOV) 包括红外块涂层与美光公司 MT9V034 成像仪与 6μm 像素大小。此设备可以提供 752Hx480V 的全分辨率达 60 FPS。当启用像素 binning 可输出时，帧率进一步增加。在 4 倍像素混合，由此产生的 188Hx120V 分辨率允许达 250 Hz 帧速率。像素 binning 可输出上数字像素数据的成像仪内执行。4 倍像素混合模式中一个像素送出成像仪在正常模式下是 4 x 4 像素的平均值。图像捕捉带皮质 M4F 核心 168 mhz STM32F407 32 位微控制器。它提供 192 KB RAM 和硬件浮点单元为 IEEE 754 单精度浮点运算。系统完成了 L3GD20 低噪声 MEMS 陀螺仪 (分辨率为 16 位，到 2000 年?/s) 和板载参数存储 EEPROM。Maxbotics超声波传感器的安装规定允许一个紧凑的形式因素，建议使用了毫米波高分辨率模型 HRLV EZ4 在此设置中。
五、执行
在本节中，我们描述了有效执行的光流估计模块和所涉及的框架维护任务。 A.图像采集卡
手臂皮质 M4F 微控制器提供一个完全parametrizable相机接口，允许配置水平，以及垂直框架尺寸和像素颜色深度。我们使用每像素 8 位分辨率必须能够与特殊的 32 位指令一次处理 4 个像素。相机接口在使用 DMA 的嵌入式主系统内存中存储传入的像素数据。 B.光流
光流估计基于伤心的块匹配。使用专用的整数向量指令的皮质 M4。它们允许在单 CPU 时钟内并行的四个像素 SAD 值的计算。8 x 8 像素块 SAD 值计算搜索区域内±4 像素在两个方向。81 名候选人当中最小的悲伤块值的位置被认为是在相应的采样点的流值。共有 64 个采样点的每帧处理。随后直方图筛选器会考虑每个样本点和直方图滨河最具价值的动产。这个结果在光流值与一个像素的分辨率。搜索范围的±4 像素 16 毫米焦距镜头结合对应于±1.5 米每秒 250 帧每秒一米距离对象。