本发明涉及物体识别装置、车辆控制装置、物体识别方法及存储介质。
背景技术：
目前，公开了综合多个设备的输出来识别物体的技术(例如，日本特开-239114号公报)。这样的技术被称作传感器融合。通常，可以说利用传感器融合来识别物体与基于设备单体的输出来识别物体相比在识别的可靠度上高。因此，在专利文献1所记载的技术中，利用设备单体来识别物体与利用传感器融合来识别物体相比，降低了车辆控制的程度。
在利用传感器融合来识别物体的情况下，可靠度高，但另一方面，与基于设备单体的输出来识别物体的情况相比，处理的完成变慢。因此，例如即便要对距车辆的距离远的物体进行预备控制，也会存在因传感器融合的处理未确定而无法进行预备控制的情况。这样，在目前传感器融合技术中，存在物体的识别延迟的情况。
技术实现要素：
本发明考虑到上述情况而作成，其中一个目的在于提供能够更迅速地得到速报的传感器融合结果的物体识别装置、车辆控制装置、物体识别方法及存储介质。
本发明涉及的物体识别装置、车辆控制装置、物体识别方法及存储介质采用了以下的方案。
(1)本发明的一方案的物体识别装置是搭载于车辆的物体识别装置，其具备：第一处理部，其基于用于识别物体的第一设备的输出，至少进行处理a来输出物体信息并进行工时比所述处理a多的处理b来输出物体信息；第二处理部，其基于用于识别物体的第二设备的输出，至少进行处理c来输出物体信息并进行工时比所述处理c多的处理d来输出物体信息，其中，所述第二设备以将与所述第一设备相同的方向设为检测范围的方式安装于所述车辆；第一综合识别部，其基于作为所述处理a的结果而得到的物体信息和作为所述处理c的结果而得到的物体信息来识别物体；以及第二综合识别部，其基于作为所述处理b的结果而得到的物体信息和作为所述处理d的结果而得到的物体信息来识别物体。
(2)在上述(1)的方案中，所述处理a是将由所述第一设备以比所述处理b少的输出循环数输出的数据作为对象来执行的处理，并且/或者，所述处理c是将由所述第二设备以比所述处理d少的输出循环数输出的数据作为对象来执行的处理。
(3)在上述(2)的方案中，所述第一设备是相机，所述处理a包括基于比所述处理b少的帧数的图像来生成物体信息的处理。
(4)在上述(1)的方案中，所述处理a是按照比所述处理b少的处理步骤来执行的处理，并且/或者，所述处理c是按照比所述处理d少的处理步骤来执行的处理。
(5)在上述(4)的方案中，所述第二设备是lidar，所述处理c包括确定基准位置与物体的距离并将确定好的距离包含在所述物体信息中来输出的处理。
(6)在上述(5)的方案中，所述处理d包括确定所述距离及物体的尺寸并将确定好的距离及尺寸包含在所述物体信息中来输出的处理。
(7)本发明的另一方案涉及车辆控制装置，其具备：上述(1)～(6)中任一方案涉及的物体识别装置；以及对车辆的速度和转向角中的一方或双方进行控制的驾驶控制部，所述驾驶控制部在得到所述第二综合识别部的识别结果之前的期间，进行使用所述第一综合识别部的识别结果来调节所述车辆与所述物体之间的位置关系的控制，所述驾驶控制部在得到所述第二综合识别部的识别结果之后，进行使所述第二综合识别部的识别结果的比率比所述第一综合识别部的识别结果的比率高来调节所述车辆与所述物体之间的位置关系的控制。
(8)在上述(7)的方案中，所述驾驶控制部将得到所述第二综合识别部的识别结果之前的期间的控制程度设定为比得到所述第二综合识别部的识别结果之后的控制程度小。
(9)在上述(7)或(8)的方案中，所述驾驶控制部将得到所述第二综合识别部的识别结果之前的期间的、相对于所述车辆与所述物体之间的位置关系的相对的控制程度设定为比得到所述第二综合识别部的识别结果之后的、相对于所述车辆与所述物体之间的位置关系的相对的控制程度小。
(10)本发明的另一方案涉及物体识别方法，其是由搭载于车辆的物体识别装置执行的物体识别方法，包括如下步骤：基于用于识别物体的第一设备的输出，至少进行处理a来输出物体信息并进行工时比所述处理a多的处理b来输出物体信息；基于用于识别物体的第二设备的输出，至少进行处理c来输出物体信息并进行工时比所述处理c多的处理d来输出物体信息，其中，所述第二设备以将与所述第一设备相同的方向设为检测范围的方式安装于所述车辆；基于由所述处理a得到的物体信息和由所述处理c得到的物体信息来识别物体；以及基于由所述处理b得到的物体信息和由所述处理d得到的物体信息来识别物体。
(11)本发明的另一方案涉及存储介质，其存储有程序，所述程序由搭载于车辆的物体识别装置的处理器来执行，通过使所述处理器执行所述程序来进行如下处理：基于用于识别物体的第一设备的输出，至少进行处理a来输出物体信息并进行工时比所述处理a多的处理b来输出物体信息；基于用于识别物体的第二设备的输出，至少进行处理c来输出物体信息并进行工时比所述处理c多的处理d来输出物体信息，其中，所述第二设备以将与所述第一设备相同的方向设为检测范围的方式安装于所述车辆；基于由所述处理a得到的物体信息和由所述处理c得到的物体信息来识别物体；以及基于由所述处理b得到的物体信息和由所述处理d得到的物体信息来识别物体。
根据(1)～(11)，能够更迅速地得到速报的传感器融合结果。
附图说明
图1是利用了物体识别装置300的第一实施方式的车辆系统1的结构图。
图2是物体识别装置300的结构图。
图3是例示出通过车辆系统1所执行的处理而生成的本车辆m的行驶场景的图。
图4是表示由第一处理部310执行的处理的流程的一例的流程图。
图5是表示由第二处理部320执行的处理的流程的一例的流程图。
图6是表示由第一综合识别部330执行的处理的流程的一例的流程图。
图7是表示由第二综合识别部340执行的处理的流程的一例的流程图。
图8是表示距离与检测精度的关系的一例的图。
图9是表示距离与检测精度的关系的一例的图。
图10是表示实施方式中的距离与检测精度的关系的一例的图。
图11是利用了物体识别装置300的第二实施方式的车辆系统2的结构图。
具体实施方式
以下，参照附图对本发明的物体识别装置、车辆控制装置、物体识别方法及存储介质的实施方式进行说明。
<第一实施方式>
[车辆的整体结构]
图1是利用了物体识别装置300的第一实施方式的车辆系统1的结构图。搭载车辆系统1的车辆例如为二轮、三轮、四轮等车辆，这些车辆的驱动源为柴油发动机、汽油发动机等内燃机、电动机或者它们的组合。在具备电动机的情况下，电动机使用与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。
车辆系统1例如具备相机10、雷达装置12、探测器14、物体识别装置300、通信装置20、hmi(humanmachineinterface)30、车辆传感器40、导航装置50、mpu(mappositioningunit)60、驾驶操作件80、自动驾驶控制装置100、行驶驱动力输出装置200、制动装置210和转向装置220。上述的装置、设备通过can(controllerareanetwork)通信线等多路通信线或串行通信线、无线通信网等彼此连接。需要说明的是，图1所示的结构只不过是一例，也可以省略结构的一部分，也可以进一步追加其它的结构。相机10和探测器14分别是第一设备、第二设备的一例。
相机10例如是利用了ccd(chargecoupleddevice)或cmos(complementarymetaloxidesemiconductor)等固体摄像元件的数码相机。相机10在搭载车辆系统1的车辆(以下，称作本车辆m)的任意部位安装有一个或多个。在拍摄前方的情况下，相机10安装在前风窗玻璃上部、车室内后视镜背面等部位。相机10例如周期性地反复拍摄本车辆m的周边。相机10也可以是立体摄影机。
雷达装置12向本车辆m的周边放射毫米波等电波并检测由物体反射后的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置12在本车辆m的任意部位安装有一个或多个。雷达装置12也可以通过fm-cw(frequencymodulatedcontinuouswave)方式来检测物体的位置及速度。
探测器14是lidar(lightdetectionandranging)。探测器14向本车辆m的周边照射光并对散射光进行测定。探测器14基于从发光到受光为止的时间来检测与对象相距的距离。照射的光例如是脉冲状的激光。探测器14在本车辆m的任意部位安装有一个或多个。探测器14例如在水平方向上错开角度地照射光来测定散射光。并且，探测器14将发出了散射光的反射点的信息与该时间点的照射角度对应起来向物体识别装置300输出。
物体识别装置300对由相机10、雷达装置12及探测器14中的一部分或全部的检测结果进行传感器融合处理，来识别物体的位置、种类、速度等。物体识别装置300将识别结果向自动驾驶控制装置100输出。另外，物体识别装置300也可以根据需要将相机10、雷达装置12及探测器14的检测结果直接向自动驾驶控制装置100输出。关于物体识别装置300的详细情况会在后叙述。
通信装置20例如利用蜂窝网或wi-fi网、bluetooth(注册商标)、dsrc(dedicatedshortrangecommunication)等来与本车辆m的周边存在的其他车辆进行通信，或者借助无线基地站来与各种服务器装置进行通信。
hmi30对本车辆m的乘客提示各种信息，并且接受由乘客进行的输入操作。hmi30包括各种显示装置、扬声器、蜂鸣器、触摸面板、开关和按键等。
车辆传感器40包括检测本车辆m的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器以及检测本车辆m的朝向的方位传感器等。
导航装置50例如具备gnss(globalnavigationsatellitesystem)接收机51、导航hmi52和路径决定部53，在hdd(harddiskdrive)、闪存器等存储装置中保持有第一地图信息54。gnss接收机51基于从gnss卫星接收到的信号来确定本车辆m的位置。本车辆m的位置也可以通过利用了车辆传感器40的输出的ins(inertialnavigationsystem)来确定或补充。导航hmi52包括显示装置、扬声器、触摸面板和按键等。导航hmi52也可以一部分或全部与前述的hmi30共用。路径决定部53例如参照第一地图信息54来决定从gnss接收机51所确定的本车辆m的位置(或者输入的任意的位置)到乘客使用导航hmi52输入的目的地为止的路径(以下称作地图上路径)。第一地图信息54例如是通过表示道路的线路和由线路连接的节点来表现出道路形状的信息。由路径决定部53决定的地图上路径被向mpu60输出。另外，导航装置50也可以基于由路径决定部53决定的地图上路径来进行使用了导航hmi52的路径引导。需要说明的是，导航装置50也可以通过例如乘客所持有的智能手机、平板终端等终端装置的功能来实现。另外，导航装置50也可以经由通信装置20向导航服务器发送当前位置和目的地，并取得从导航服务器回复的地图上路径。
mpu60例如作为推荐车道决定部61而发挥功能，在hdd、闪存器等存储装置中保持有第二地图信息62。推荐车道决定部61将从导航装置50提供的路径分割为多个区段(例如，在车辆行进方向上每100m地进行分割)，并参照第二地图信息62按区段来决定推荐车道。推荐车道决定部61在路径中存在分支部位、汇合部位等的情况下，以能够使本车辆m在用于向分支处行进的合理的路径上行驶的方式决定推荐车道。
第二地图信息62是比第一地图信息54精度高的地图信息。第二地图信息62例如包含车道的中央的信息或者车道的边界的信息等。另外，在第二地图信息62中可以包含道路信息、交通管制信息、住所信息(住所、邮政编码)、设施信息及电话号码信息等。第二地图信息62也可以通过使用通信装置20来访问其他装置而被随时更新。
驾驶操作件80例如包括加速踏板、制动踏板、变速杆、转向盘、异形方向盘及操纵杆等其他的操作件。在驾驶操作件80上安装有用于检测操作量或者有无进行操作的传感器，该传感器的检测结果被向自动驾驶控制装置100或者行驶驱动力输出装置200、制动装置210及转向装置220中的一部分或全部输出。
自动驾驶控制装置100例如具备第一控制部120和第二控制部160。第一控制部120和第二控制部160分别通过例如cpu(centralprocessingunit)等硬件处理器执行程序(软件)来实现。另外，这些构成要素中的一部分或全部也可以通过lsi(largescaleintegration)、asic(applicationspecificintegratedcircuit)、fpga(field-programmablegatearray)、gpu(graphicsprocessingunit)等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协同配合来实现。物体识别装置300与自动驾驶控制装置100合起来是车辆控制装置的一例。需要说明的是，物体识别装置300也可以是自动驾驶控制装置100的一个功能。
图2是第一控制部120及第二控制部160的功能结构图。第一控制部120例如具备识别部130、行驶轨迹预测部140和行动计划生成部150。
识别部130基于从相机10、雷达装置12及探测器14经由物体识别装置300而输入的信息来识别本车辆m的周边状况。在由识别部来识别的周边状况中包含各种物体。物体的位置例如首先被识别为以本车辆m的代表点(传感器位置或重心、驱动轴中心等)为原点的绝对坐标上的位置，并根据需要转换为沿着道路的道路坐标上的位置而被用于控制。在本实施方式中，识别部130被设计成专门从物体识别装置300取得与物体相关的信息(物体信息)。
由识别部130来识别的周边状况也可以包含道路构造或其他车辆的其他信息、本车辆m与行驶车道的相对位置或姿态、自行车或行人的状态、暂时停止线、障碍物、红灯、收费站等道路事项及其他的信息。识别部130的识别结果被向行驶轨迹预测部140和行动计划生成部150输出。
行动计划生成部150以使本车辆m原则上在由推荐车道决定部61决定的推荐车道上行驶，此外使本车辆m不与由物体识别装置300或识别部130识别到的物体发生接触的方式，生成本车辆m将来要行驶的目标轨道。目标轨道例如包含多个轨道点和速度要素。例如，目标轨道可以表现为将本车辆m应到达的地点(轨道点)按顺序排列而成的形式。轨道点是在沿途距离中每规定的行驶距离(例如几米这种程度)下的本车辆m应到达的地点，此外，每规定的采样时间(例如零点几秒这种程度)中的目标速度及目标加速度作为目标轨道的一部分来生成。另外，轨道点也可以是每规定的采样时间中的该采样时刻下的本车辆m应到达的位置。这种情况下，目标速度、目标加速度的信息由轨道点的间隔来表现。
第二控制部160以使本车辆m按预定的时刻通过由行动计划生成部150生成的目标轨道的方式控制行驶驱动力输出装置200、制动装置210及转向装置220。第二控制部160例如获得由行动计划生成部150生成的目标轨道(轨道点)的信息并将其存储于存储器(未图示)，基于存储于存储器的目标轨道上附带的速度要素来控制行驶驱动力输出装置200或制动装置210。另外，第二控制部160与存储于存储器的目标轨道的弯曲程度对应来控制转向装置220。这样，行动计划生成部150通过决定附带有速度要素的目标轨道来控制本车辆m的加减速及转向这两方。
行驶驱动力输出装置200将用于车辆行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置200例如具备内燃机、电动机及变速器等的组合以及对这些设备进行控制的ecu。ecu按照从第二控制部160输入的信息或者从驾驶操作件80输入的信息来控制上述的结构。
制动装置210例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达及制动ecu。制动ecu按照从第二控制部160输入的信息或者从驾驶操作件80输入的信息来控制电动马达，将与制动操作对应的制动转矩向各车轮输出。制动装置210也可以具备如下机构来作为备用，该机构将因驾驶操作件80所包括的制动踏板的操作而产生的液压经由主液压缸向液压缸传递。需要说明的是，制动装置210并不局限于上述说明过的结构，也可以是按照从第二控制部160输入的信息来控制致动器并将主液压缸的液压向液压缸传递的电子控制式液压制动装置。
转向装置220例如具备转向ecu和电动马达。电动马达例如对齿条-小齿轮机构作用力来变更转向轮的朝向。转向ecu按照从第二控制部160输入的信息或者从驾驶操作件80输入的信息来驱动电动马达，使转向轮的朝向变更。
[物体识别装置及与其关联的控制]
图2是物体识别装置300的结构图。物体识别装置300例如具备第一处理部310、第二处理部320、第一综合识别部330和第二综合识别部340。这些构成要素例如通过cpu等硬件处理器执行程序(软件)来实现。另外，这些构成要素中的一部分或全部也可以通过lsi、asic、fpga、gpu等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协同配合来实现。另外，这些功能部不需要通过单一处理器来实现，可以通过多个处理器进行分散处理来实现。
第一处理部310对例如由相机10拍摄到的图像进行解析，生成物体信息并输出。即，第一处理部310作为所谓的图像解析部而发挥功能。第一处理部310可以通过在图像内提取出轮廓来进行图案匹配而生成物体信息，也可以使用通过深度学习等进行了学习的分类器来生成物体信息。在第一处理部310进行的处理中至少包括处理a和工时比处理a多的处理b。
处理a例如是如下处理：基于k帧的图像来导出(获得)被拍摄的图像所反映的物体的距离、高度及尺寸，并将导出的内容作为物体信息输出。例如，k为1。
处理b例如包括：基于n帧的图像来导出(获得)被拍摄的图像所反映的物体的距离、高度及尺寸的处理；将物体对象化的处理；以及将对象化后的内容作为物体信息输出的处理。例如，n为2以上的自然数。若k＜n的关系成立，则k和n为任意的自然数。对象化是指如下处理：根据利用基于多个帧的处理所导出的物体的距离、速度，来推定物体的种别(四轮车辆、二轮车、自行车、行人、下落物等)，将推定结果与物体的距离、高度及尺寸等对应起来。就物体的速度而言，需要从相对速度减去本车辆m的速度来求解，但也可以是，物体识别装置300例如从自动驾驶控制装置100获得本车辆m的速度并将获得的信息用于计算。处理b也可以包括基于卡尔曼滤波器等进行的近似处理。
第二处理部320例如对探测器14所输出的检测结果进行加工，基于加工后的信息来生成物体信息并输出。在第二处理部320进行的处理中至少包括处理c和工时比处理c多的处理d。
处理c例如是基于探测器14所输出的检测结果来获得物体的距离(及方位)并将获得的信息作为物体信息输出的处理。
处理d例如包括基于探测器14所输出的检测结果来获得物体的距离(及方位)和尺寸的处理；将物体对象化的处理；以及将对象化后的内容作为物体信息输出的处理。如前所述，探测器14被控制为一边改变光的照射方向一边进行动作，因此，例如在位于同等程度的距离处的反射点排列在照射角度θ1～θ2之间的情况下，通过将其距离乘以角度差的绝对值|θ2-θ1|而能够近似地得到物体的横向的尺寸。处理d包括这样的处理。处理d也可以包括基于卡尔曼滤波器等进行的近似处理。关于对象化而言与处理b同样。
作为处理a的结果的物体信息(以下称作物体信息a)和作为处理c的结果的物体信息(以下称作物体信息c)被向第一综合识别部330输出。“输出”是简化的说法，可以是指与从输出源向输出目的地的物理上的“发送”相伴的动作，也可以是指输出目的地向能够访问的存储器的区域写入的动作。
第一综合识别部330基于物体信息a和物体信息c来识别物体。第一综合识别部330的识别结果(第一综合识别结果)作为速报的信息而向自动驾驶控制装置100输出。第一综合识别部330在物体信息a中包含的物体的距离与物体信息c中包含的物体的距离之差处于规定范围内的情况下，识别为物体存在于上述的距离。即，在由第一处理部310判定为某物体存在于来自相机10的1帧的图像中的规定距离x1的位置，且由第二处理部320基于探测器14的输出而隐含得出物体存在于接近规定距离x1的位置的情况下，第一综合识别部330生成表示物体存在于规定距离x1的位置这一信息的第一综合识别结果并将其向自动驾驶控制装置100输出。
作为处理b的结果的物体信息(以下称作物体信息b)和作为处理d的结果的物体信息(以下称作物体信息d)被向第二综合识别部340输出。
第二综合识别部340基于物体信息b和物体信息d来识别物体。第二综合识别部340的识别结果(第二综合识别结果)作为可靠度比第一综合识别部330的识别结果高的信息而向自动驾驶控制装置100输出。第二综合识别部340在物体b与物体d这两方所包含的对象化后的信息在允许范围内一致且物体的种别一致的情况下，识别为在由物体b和物体d的一致部分表示的位置处存在推定出的种别的物体，并将识别结果向自动驾驶控制部100输出。例如，在由第一处理部310判定为“车辆”存在于来自相机10的多个帧的图像中的规定距离x2的位置，且由第二处理部320基于探测器14的输出隐含得出“车辆”存在于接近规定距离x2的位置的情况(例如，物体信息所包含的物体的尺寸与车辆的横向的尺寸一致，且该物体处于徒步状况而以缓慢的速度移动的情况)下，第二综合识别部340生成表示“车辆”存在于规定距离x2的位置这一信息的第二综合识别结果并将其向自动驾驶控制装置100输出。
在自动驾驶控制装置100中，例如行动计划生成部150分别基于第一综合识别结果和第二综合识别结果而以与各识别结果所表示的物体不接触的方式生成本车辆m将要行驶的目标轨道来进行车辆控制(调节本车辆m与物体之间的位置关系)。
此时，行动计划生成部150在得到第一综合识别结果之后到得到第二综合识别结果之前这个期间，进行使用第一综合识别结果来调节本车辆m与物体之间的位置关系的控制，在得到第二综合识别结果之后，进行以高于第一综合识别结果的比率的方式提高第二综合识别结果的比率来调节本车辆m与物体之间的位置关系的控制。“提高比率”包括将第二综合识别结果的比率设为100％且将第一综合识别结果的比率设为0％这样的意思。
行动计划生成部150在得到第一综合识别结果之后到得到第二综合识别结果之前这个期间的控制程度与得到第二综合识别结果之后的控制程度相比减小。“减小控制程度”是指减小对行驶驱动力输出装置200、制动装置210或转向装置220施加的控制的程度。行动计划生成部150在要减小控制的程度的情况下，可以以使制动转矩、加速转矩、转向盘转向角的变化量等控制量变小的方式生成目标轨道，也可以以使作为控制的结果来呈现的加速度、减速度、回转角等车辆行为量变小的方式生成目标轨道。
就上述的减小控制程度而言，可以是不依赖于本车辆m与物体之间的位置关系的绝对的指针，也可以是依赖于本车辆m与物体之间的位置关系的相对的指针。在前者的情况下，例如通过将得到第一综合识别结果之后到得到第二综合识别结果之前这个期间的制动转矩的上限设定为比得到第二综合识别结果之后的制动转矩的上限小，由此实现控制程度的减小。在后者的情况下，例如可以在按照与物体和本车辆m的ttc(timetocollision)呈反比例的趋势来决定制动转矩时，将用于计算得到第一综合识别结果之后到得到第二综合识别结果之前这个期间的制动转矩的增益设定为比得到第二综合识别结果之后小。另外，行动计划生成部150也可以在得到第一综合识别结果之后到得到第二综合识别结果之前这个期间，进行例如“在本车辆m的速度超过上限速度的情况下减速至上限速度”这样的限定控制(预备减速)。
图3是例示出通过车辆系统1执行的处理而生成的本车辆m的行驶场景的图。在图中，箭头d表示本车辆m的行进方向。在本车辆m的行进方向上的前方存在障碍物ob。由于实际的距离会因设备的性能等而有所变动，因此数值只不过是一例，例如，在与障碍物ob相距200[m]的地点处仅开始得到第一综合识别结果。相应地，行动计划生成部150进行前述的预备制动等控制。另外，例如在与障碍物ob相距150[m]的地点处开始得到第二综合识别结果。相应地，行动计划生成部150进行与本车辆m和障碍物ob的ttc对应的制动控制，并根据需要(例如无法通过转向来进行回避)使本车辆m停止。
[处理流程]
图4是表示由第一处理部310执行的处理的流程的一例的流程图。在本流程图的处理中，例如在每次从相机10输入一帧的图像时执行一例程。
首先，第一处理部310在从相机10输入的图像中进行提取作为处理对象的对象区域的处理(步骤s100)。对象区域是除了图像的左右端部、上部以外的区域，是拍摄到本车辆m的前方的区域。
接着，第一处理部310在对象区域中进行物体提取处理(步骤s102)。本步骤的处理的详细内容如前所述。并且，第一处理部310判定在图像中是否检测到(提取出)物体(步骤s104)。需要说明的是，这里的物体限定为满足例如“在图像中占据几像素以上”这样的条件为好。在未检测到物体的情况下，结束本流程图的一例程的处理。
在检测到物体的情况下，第一处理部310生成前述的物体信息a并将其向第一综合识别部330输出(步骤s106)。另外，第一处理部310通过与过去的最近的帧进行比较来进行步骤s104中判定为检测到的物体与过去检测到的物体的辨别处理(步骤s108)。此时，第一处理部310考虑物体的绝对速度、尺寸来进行辨别处理。
接着，第一处理部310参照步骤s108的处理结果，判定在反复执行本流程图的处理的期间是否m次连续地检测到同一(推定为同一的)物体(步骤s110)。在判定为m次连续地检测到同一物体的情况下，第一处理部310生成物体信息b并将其向第二综合识别部340输出(步骤s112)。
图5是表示由第二处理部320执行的处理的流程的一例的流程图。在本流程图的处理中，例如在每次从探测器14输入反射点的信息时执行一例程。
首先，第二处理部320针对从探测器14输入的信息进行区域限定处理(步骤s200)。区域限定处理是指将在路面上的区域以外测定到的反射点排除的处理。
接着，第二处理部320判定是否在路上存在反射点(步骤s202)。在判定为路上存在反射点的情况下，第二处理部320生成物体信息c并将其向第一综合识别部330输出(步骤s204)。
另外，第二处理部320判定是否从一端到另一端地检测到位于大致同一距离的反射点(步骤s206)。在从一端到另一端地检测到位于大致同一距离的反射点的情况下，第二处理部320生成物体信息d并将其向第二综合识别部340输出(步骤s208)。
图6是表示由第一综合识别部330执行的处理的流程的一例的流程图。首先，第一综合识别部330判定物体信息a与物体信息c是否被同步(或者在规定时间以内)输入(步骤s300)。在物体信息a与物体信息c被同步输入的情况下，第一综合识别部330判定两者是否一致(步骤s302)。一致是指例如两者的项目中的规定数目以上的项目落入允许范围内的差异，在两者一致的情况下，第一综合识别部330生成第一综合识别信息(步骤s304)并将其向自动驾驶控制装置100输出。
图7是表示由第二综合识别部340执行的处理的流程的一例的流程图。首先，第二综合识别部340判定物体信息b与物体信息d是否被同步(或者在规定时间以内)输入(步骤s400)。在物体信息b与物体信息d被同步输入的情况下，第二综合识别部340判定两者是否一致(步骤s402)。在两者一致的情况下，第二综合识别部340生成第二综合识别信息(步骤s404)并将其向自动驾驶控制装置100输出。
[总结]
根据以上所说明的第一实施方式的物体识别装置300，能够更迅速地得到速报的传感器融合结果。图8～10是表示距离与检测精度的关系的一例的图。在这些图中，在道路上放置有10cm3的障碍物和15cm3的障碍物的前提下设想了与本车辆m和障碍物之间的距离对应的检测率。
图8示出设想了第一处理部310基于相机10的输出而检测到各种尺寸的障碍物的概率即检测率的结果。这里的“检测到障碍物”是指“生成物体信息b”。另外，图9示出设想了第二处理部320基于探测器14的输出而检测到各种尺寸的障碍物的概率即检测率的结果。这里的“检测到障碍物”是指“生成物体信息d”。如图8所示，尤其是10cm3的障碍物，若距离没有接近到160m这种程度，则设想检测率不会达到80％以上。另外，如图9所示，尤其是10cm3的障碍物，若距离没有接近到180m这种程度，则设想就不会生成物体信息d。
并且，通过求解物体信息b与物体信息d之和而生成的第二综合识别信息会比图8、图9所示的检测率的获得更晚地获得。其结果是，能设想到尤其是在本车辆m与障碍物之间的距离为150m以上的情况下无法将充分的信息提供给自动驾驶控制装置100。
相对于此，图10示出实施方式中的期待性能。图10示出基于在比图8、图9更早的时机开始生成的物体信息a及物体信息c而由第一综合识别部330生成第一综合识别信息的概率(生成率)的变化。如图所示，可以期待本实施方式中的第一综合识别信息的生成率在距离接近到190m这种程度时充分地接近100％。因此，在接近障碍物的场景下，能够在更早的时机获得速报的融合结果而提供给自动驾驶控制装置100。
需要说明的是，作为第一设备、第二设备的一例，例示了相机10和探测器14，但其中的一方或双方也可以是雷达装置12或者其他的物体识别设备。
<第二实施方式>
以下，对第二实施方式进行说明。图11是利用了物体识别装置300的第二实施方式的车辆系统2的结构图。对与第一实施方式共通的构成要素标注与第一实施方式相同的符号，并省略详细的说明。在第二实施方式中，物体识别装置300将识别结果(第一综合识别结果及第二综合识别结果)向驾驶支援装置400输出来代替向自动驾驶控制装置100输出。
驾驶支援装置400是在驾驶员进行手动驾驶的情况下进行加减速或转向的介入控制、向驾驶操作件80输出反力等各种驾驶支援控制的装置。在以下的说明中，驾驶支援装置400是用于进行针对障碍物进行制动控制的装置。驾驶支援装置400例如具备碰撞可能性判定部402、制动操作量导出部404和制动量决定部406。这些功能部例如通过cpu等硬件处理器执行程序(软件)来实现。另外，这些构成要素中的一部分或全部也可以通过lsi、asic、fpga、gpu等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协同配合来实现。另外，这些功能部不需要通过单一处理器来实现，可以通过多个处理器进行分散处理来实现。
碰撞可能性判定部402参照物体识别装置300的识别结果来判定本车辆与物体发生碰撞的碰撞可能性。例如，碰撞可能性判定部402计算本车辆与物体之间的ttc，在ttc小于碰撞判定阈值tcol的情况下，判定为本车辆与物体存在碰撞的可能性。
制动操作量导出部404参照驾驶操作件80所包括的制动踏量传感器的检测结果来导出由本车辆的乘客执行的制动操作量(或者是作为其结果输出的制动量)。
制动量决定部406首先基于碰撞可能性判定部402的判定结果及其处理的过程，来决定针对物体的存在所要采取的制动量(针对物体制动量)并将其向制动装置210输出。就针对物体制动量而言，例如以本车辆与物体之间的ttc越短该针对物体制动量越大的方式来决定。需要说明的是，在基于由制动操作量导出部404导出的制动操作量而决定的制动量超过针对物体制动量的情况下，制动量决定部406也可以将该基于制动操作量而决定的制动量向制动装置220输出。另外，制动量决定部406将得到第一综合识别结果之后到得到第二综合识别结果之前这个期间的控制程度设定为比得到第二综合识别结果之后的控制程度小。另外，制动量决定部406也可以在得到第一综合识别结果之后到得到第二综合识别结果之前这个期间，进行例如“在本车辆m的速度超过上限速度的情况下减速至上限速度”这样的限定控制(预备减速)。
根据以上说明的第二实施方式，能够起到与第一实施方式同样的效果。
上述实施方式可以如下方式来表现。
一种物体识别装置，其搭载于车辆，其中，
所述物体识别装置具备：
存储有程序的存储装置；以及
能够执行所述程序的硬件处理器，
所述硬件处理器通过执行所述程序来进行如下处理：
基于用于识别物体的第一设备的输出，至少进行处理a来输出物体信息并进行工时比所述处理a多的处理b来输出物体信息；
基于用于识别物体的第二设备的输出，至少进行处理c来输出物体信息并进行工时比所述处理c多的处理d来输出物体信息，其中，所述第二设备以将与所述第一设备相同的方向设为检测范围的方式安装于所述车辆；
基于作为所述处理a的结果而得到的物体信息和作为所述处理c的结果而得到的物体信息来识别物体；以及
基于作为所述处理b的结果而得到的物体信息和作为所述处理d的结果而得到的物体信息来识别物体。
以上，使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。
技术特征：
1.一种物体识别装置，其搭载于车辆，其中，
所述物体识别装置具备：
第一处理部，其基于用于识别物体的第一设备的输出，至少进行处理a来输出物体信息并进行工时比所述处理a多的处理b来输出物体信息；
第二处理部，其基于用于识别物体的第二设备的输出，至少进行处理c来输出物体信息并进行工时比所述处理c多的处理d来输出物体信息，其中，所述第二设备以将与所述第一设备相同的方向设为检测范围的方式安装于所述车辆；
第一综合识别部，其基于作为所述处理a的结果而得到的物体信息和作为所述处理c的结果而得到的物体信息来识别物体；以及
第二综合识别部，其基于作为所述处理b的结果而得到的物体信息和作为所述处理d的结果而得到的物体信息来识别物体。
2.根据权利要求1所述的物体识别装置，其中，
所述处理a是将由所述第一设备以比所述处理b少的输出循环数输出的数据作为对象来执行的处理，并且/或者，
所述处理c是将由所述第二设备以比所述处理d少的输出循环数输出的数据作为对象来执行的处理。
3.根据权利要求2所述的物体识别装置，其中，
所述第一设备是相机，
所述处理a包括基于比所述处理b少的帧数的图像来生成物体信息的处理。
4.根据权利要求1所述的物体识别装置，其中，
所述处理a是按照比所述处理b少的处理步骤来执行的处理，并且/或者，
所述处理c是按照比所述处理d少的处理步骤来执行的处理。
5.根据权利要求4所述的物体识别装置，其中，
所述第二设备是lidar，
所述处理c包括确定基准位置与物体的距离并将确定好的距离包含在所述物体信息中来输出的处理。
6.根据权利要求5所述的物体识别装置，其中，
所述处理d包括确定所述距离及物体的尺寸并将确定好的距离及尺寸包含在所述物体信息中来输出的处理。
7.一种车辆控制装置，其具备：
权利要求1所述的物体识别装置；以及
对车辆的速度和转向角中的一方或双方进行控制的驾驶控制部，其中，
所述驾驶控制部在得到所述第二综合识别部的识别结果之前的期间，进行使用所述第一综合识别部的识别结果来调节所述车辆与所述物体之间的位置关系的控制，所述驾驶控制部在得到所述第二综合识别部的识别结果之后，进行使所述第二综合识别部的识别结果的比率比所述第一综合识别部的识别结果的比率高来调节所述车辆与所述物体之间的位置关系的控制。
8.根据权利要求7所述的车辆控制装置，其中，
所述驾驶控制部将得到所述第二综合识别部的识别结果之前的期间的控制程度设定为比得到所述第二综合识别部的识别结果之后的控制程度小。
9.根据权利要求7或8所述的车辆控制装置，其中，
所述驾驶控制部将得到所述第二综合识别部的识别结果之前的期间的、相对于所述车辆与所述物体之间的位置关系的相对的控制程度设定为比得到所述第二综合识别部的识别结果之后的、相对于所述车辆与所述物体之间的位置关系的相对的控制程度小。
10.一种物体识别方法，其由搭载于车辆的物体识别装置来执行，其中，
所述物体识别方法包括如下步骤：
基于用于识别物体的第一设备的输出，至少进行处理a来输出物体信息并进行工时比所述处理a多的处理b来输出物体信息；
基于用于识别物体的第二设备的输出，至少进行处理c来输出物体信息并进行工时比所述处理c多的处理d来输出物体信息，其中，所述第二设备以将与所述第一设备相同的方向设为检测范围的方式安装于所述车辆；
基于由所述处理a得到的物体信息和由所述处理c得到的物体信息来识别物体；以及
基于由所述处理b得到的物体信息和由所述处理d得到的物体信息来识别物体。
11.一种存储介质，其存储有程序，所述程序由搭载于车辆的物体识别装置的处理器来执行，其中，
通过使所述处理器执行所述程序来进行如下处理：
基于用于识别物体的第一设备的输出，至少进行处理a来输出物体信息并进行工时比所述处理a多的处理b来输出物体信息；
基于用于识别物体的第二设备的输出，至少进行处理c来输出物体信息并进行工时比所述处理c多的处理d来输出物体信息，其中，所述第二设备以将与所述第一设备相同的方向设为检测范围的方式安装于所述车辆；
基于由所述处理a得到的物体信息和由所述处理c得到的物体信息来识别物体；以及
基于由所述处理b得到的物体信息和由所述处理d得到的物体信息来识别物体。
技术总结
提供能更迅速地得到速报的传感器融合结果的物体识别装置、车辆控制装置、物体识别方法及存储介质。物体识别装置搭载于车辆，具备：第一处理部，其基于用于识别物体的第一设备的输出，至少进行处理A来输出物体信息并进行工时比处理A多的处理B来输出物体信息；第二处理部，其基于第二设备的输出，至少进行处理C来输出物体信息并进行工时比处理C多的处理D来输出物体信息，第二设备以将与第一设备相同的方向设为检测范围的方式安装于车辆；第一综合识别部，其基于作为处理A的结果得到的物体信息和作为处理C的结果得到的物体信息识别物体；第二综合识别部，其基于作为处理B的结果得到的物体信息和作为处理D的结果得到的物体信息识别物体。
技术研发人员：齐京真理奈;三浦弘;高冈贤人;三井相和;樫本凉
受保护的技术使用者：本田技研工业株式会社
技术研发日：.08.02
技术公布日：.02.21
