干货分享I仿生眼视觉技术解析与应用
白癜风治疗时间和过程 https://m-mip.39.net/disease/mipso_5696797.html自然界中存在各种各样的眼睛，科学家研究了出土的化石，发现在寒武纪之前的生命都是没有眼睛的，寒武纪中期的生物才有，由于眼睛作为独立器官的诞生引发了生物爆炸式进化，从而眼睛也有了各种各样的发展。寒武纪的生命没有脖子无法转头及时发现后方威胁的蜘蛛们进化出了可以全方位观察周围情况的八只眼睛，可以覆盖°的范围，这样大大提高了它们的生存几率和捕猎成功率。蜘蛛的眼睛（8只）许多昆虫有两只复眼，例如苍蝇和蜻蜓，复眼由许许多多小眼组成，每个小眼都是一个细小的独立感光结构，能够分辨光暗及颜色，但是无法有效成像，它的优点是可以有效的计算自身与所观答察物体的方位，距离，从而有利于复眼类昆虫作出更快速的判断和反应。昆虫的眼睛（复眼）变色龙的两只眼睛可以独立活动，从而能以度的全方位视角同时查看两个不同的方向。此外，变色龙的眼睛还能像变焦镜头一样，聚焦并放大它们正在看的东西，所以他们在捕捉昆虫方面他们占据了巨大的优势。变色龙的眼睛当鸟类注视前方时，双眼的视野可以重合合成双视影像，能够判断物体的距离方位，如果注视两侧，则有点像变色龙，这样独特的视野可以使鸟类很容易地看清楚身体后面和头顶的物体。许多鸟类配合灵活的脖子还能够实现六自由度的稳像功能，保证在快速奔跑或者飞行中可以看到清晰稳定的图像。其中有些猛禽的眼睛有比较特殊，它们中央凹的视觉神经细胞密度比人类高0倍以上，能够在m的高空清晰地捕捉到地面上的老鼠或兔子。鸟类的眼睛鸟类增稳而人类的眼睛可以说是人身体中最重要的感觉器官，非常复杂、完善、精巧和不可思议，在人感觉的外部信息中，有83%以上来自于眼睛，眼睛就像是大脑延伸在人类外表的一部分。如果将人类眼睛的各种功能都模拟出来，使机器人也能够拥有类似人类眼睛的各种功能，无疑将会成为人工智能的强劲助力。人类的眼睛我们每天使用眼睛，却很难注意到它的强劲之处。人类每个眼睛能够单独成像，却又能完好的将整个图像呈现在人的眼前，不论是跑步还是跳跃，都能看清周围的事物。而且人眼自带3D立体成像功能，能够估算大致物体的距离和尺寸等信息，又能同时感知自身在空间中的位置。人眼结构组成不过想要模拟人眼却不是一件容易的事情。人眼能够进行扫视（Saccade）、平滑跟踪（SmoothPursuit）、前庭动眼反射（VOR）、微细闪动（MicroSaccade）、辐辏运动(vergencemovement)、视动反射（OKN）等运动适应不同的工作场合，并能够根据左右眼图像近乎实时的感知环境中各类物体的类别、运动、距离、尺寸等信息，综合性能是现在包括激光、TOF、视觉等各类传感器远远不能相比的。中国科学院上海微系统所张晓林研究员带领团队经过几十年的努力，设计研发了若干代仿生眼系统（国内研发了五代），解决了人眼工程化方面的很多关键性问题。人眼球控制神经系统（水平）人眼球控制系统数学结构框图首先要解决的难题便是众多眼球运动的有机融合，人眼可以根据环境和目标需要融合多种运动或实现特定运动。张晓林研究员通过对人眼控制神经系统的研究，将其抽象数学化得到人眼眼球控制系统结构框图，并利用工程学的方法实现了这一控制系统，从而实现了仿生眼的各类运动功能。基于该控制系统既实现人眼各类眼球运动，又可以像人眼一样实现双眼的协调运动问题，例如当人眼看向很相似的乒乓球时，人类可以很好的只盯着一个乒乓球看，但仿生机器每个眼球都拥有独立的控制系统，如果不利用该控制系统进行处理，右边眼球和左边眼球就可能看向两个不同的乒乓球。仿生眼双眼协调运动想要机器人实现对空间整体而正确的判断，仿生眼如果只能做到二维的平面图像，机器人将无法判断自己在空间的具体位置，遇到障碍物时可能也无法躲避，就需要仿生眼能够实时感知3D环境，由于仿生眼可能随时处于运动情形，相对固定双目传感器可以轻易的通过标定获取双摄像机的相对位置关系不同，仿生眼的标定则要复杂很多。张晓林团队对于此也提出了很好的解决办法，通过高精度的动眼标定算法能够实时、高精度的获取双眼摄像机实时外参信息，并且能够一定程度补偿结构加工组装等带来的误差。可动仿生眼配合实时高精度动眼标定，能够实现所有的固定双目视觉传感器的所有算法。在双眼任意转动的情况下，借助高精度码盘提供的电机转角，能够获得高于固定双目的测距精度，并可实时输出高稠密度深度图与点云数据。仿生眼标定结果计算的深度图与点云前面提到了许多鸟类具备六自由度增稳能力，人眼也具备一定的增稳能力，配合实时动眼标定，即便仿生眼处于复杂颠簸环境，仍可以获取稳定良好的深度结果。仿生眼实时深度与VOR功能同样，借助双目及标定结果，可动仿生眼还可以实现了v-slam算法功能，能够很好的实现定位、导航、避障功能。尤其当设备处于复杂动态运动的情况下，借助仿生眼前庭动眼反射（VOR）功能依旧可以获取稳定高质量的图像并进行精准的自身位姿定位，可获得超越传统固定双目的导航避障效果。仿生眼视觉里程计功能仿生眼还可以在各类复杂环境下稳定准确的获取各类数据，并进行场景三维重建、物体识别与分割、目标的检测与跟踪、智能显著性分析等功能，并可接入语音定位及识别结果实现视听融合等功能。基于仿生眼的实时深度、物体识别分割、显著性分析算法功能无论与机器人、无人机还是无人车结合，仿生眼的到来都必将大大提升它们复杂环境适应能力及智能化程度。新松双臂协作机器人是一款搭载可动仿生眼V的机器人系统，具备灵活双机械臂，能够搭配各类末端执行器。机器人首先通过仿生眼完成物体的检测、识别、定位、测量等工作，机械臂再利用末端执行器完成各种不同类型的任务，该机器人也获得了年中国国际工业博览会创新金奖。搭载可动仿生眼V的新松双臂协作机器人“小白”机器人是一款由中国科学院上海微系统所联合上海爱观视觉科技有限公司自主研发的智能机器人平台，搭载了集多感官信号采集、处理、决策等功能于一体的第一代“机器头脑”，具有六个自由度的可动仿生眼、六麦智能语音阵列系统以及与“眼球”联动的两自由度脖颈系统，此外“小白”还搭载了双七自由度手臂系统和轮式底盘系统，可以实现包括语音识别、智能人机交互、人脸识别、物体识别、眼神交互、移动抓取、手眼协调、自主避障导航、自主充电、多机器人调度规划、外部设备智能控制等在内的诸多类人智能功能，可广泛应用于展馆、展示厅、银行、机场、医院等公共场所。搭载可动仿生眼V3的“小白”机器人可动仿生眼V5是一款张晓林团队基于对人眼的生物结构、运动神经控制系统的深入研究仿生研制而成的产品级机器人眼系统，旨在为动态复杂场景下的机器人、无人机、无人车、安防等领域提供可靠、高性能、通用化、智能化的视觉系统解决方案。可动仿生眼V5共有两个版本，标准版和分体版。具体参数如表所示：可动仿生眼V5（标准版）标准版采用基座一体化紧凑设计，主要特点有：）标配高帧率、全局快门彩色相机，自适应室内外大部分环境2）支持本地、远程网络连接，实时同步数据获取与控制3）支持c++/python二次开发，兼容windows/Linux，提供ROS开发包4）支持各类眼球运动，图像增稳及所有固定双目图像算法功能5）多计算平台分布式处理、多机同步与协同6）支持拓展各类外设模块，提供或者接受同步信号源可动仿生眼V5（分体版）分体版本将基座一分为二，除了具有标准版所有功能之外，左右眼的独立设计更可以满足一些特殊需求，其主要特点有：）支持左右眼独立安装设置，增加支持侧向固定方式2）搭配大靶面、高分辨率、全局快门彩色相机，更高的图像质量3）左右眼远程同步功能，图像电机同步误差5us4）附带导轨，支持基线灵活调节附带一个基础滑轨（0.5m），可搭配分体仿生眼实现77mm~mm基线的连续调节。可动仿生眼V5（分体版+滑轨）扫描上方
