New Products
红外线深度传感器DTK
采用红外线深度传感器的NUI开发套件

系列●2012年1月 模拟

 开始
 近年,作为新的用户界面,NUI(Natural User Interface)的开发取得了很大的发展。NUI是使用声音和身体进行直观的操作的新的界面。

 DTK(Depth Tool Kit)是使用红外线深度传感器的NUI的开发套件。从红外线深度传感器的距离信息中识别到用户,并使身体的动作用三维取得。像普通的动作捕捉一样,在身体上无需附加传感器和标记是它的一大优点。
 关于红外线深度传感器
 在DTK上使用可能的设备是Xtion PRO, Xtion PRO LIVE, Kinect(TM)(图1)。每一种的红外线深度传感器都使用PrimeSense(TM)公司的技术。从一侧的透镜照射红外线激光,在相反侧的透镜上读取反射光(图2)。图1的感应器上,绿色的透镜为激光和相反侧的受光部。

Xtion PRO、Kinect(TM)的中央的透镜是RGB照相机。Xtion PRO只装载了红外线深度感应器。

Xtion PRO LIVE及Kinect(TM)是并用有其它功能的多功能的设备(表1)。

XtionPRO Xtion PRO LIVE Kinect(TM) 传感器
■图1 红外线深度感应器(Xtion PRO, Xtion PRO LIVE, Kinect(TM))
■图2 红外线激光图案

功能 Xtion PRO Xtion PRO LIVE Kinect(TM)
红外线深度感应器 640×480(VGA)/30fps
320×240(QVGA)/60fps
RGB照相机 × 1280×1024
(SXGA)
640×480(VGA)/30fps
320×240(QVGA)/60fps
Audio麦克风 × 2 4
倾斜马达 × ×
连接方式 USB2.0 USB2.0 USB2.0
电源供应 USB总线电源 USB总线电源 AC适配器
■表1 红外线深度感应器功能比较

 DTK支持红外线和RGB照相机的功能。红外线深度感应器的有效范围在Xtion PRO, Xtion PRO LIVE中的标称值为0.8m~3.5m。Kinect(TM)的标称值为1.2m~3.5m。
 DTK的概要
 DTK是简单的利用红外线深度感应器的工具套件。从深度地图、RGB照相机影像的取得到用户识别的三维动作的取得,只需发送命令,便可以简单的运行(图3)。可以同时的识别・操作复数的用户,如果使用举止界面和2D菜单作成功能,便马上可以作为输入设备使用。

■图3 DTK(Depth ToolKit)的功能

使用深度地图信息和三维运行数据,可以作成完全不同的应用程序。
 DTK的利用方法
 DTK部分语言和平台都能使用(图4)。Visual Studio(R)等、C++作为等级程序库使用。作为等级宣称后,必要的成员函数执行呼叫处理。除了深度地图、RGB照相机的数据以外,举止输入等的处理返回项目。记述与项目符合的处理,能够简单的使用红外线深度传感器作成应用程序。其它的语言・平台有使用了UDP通信的服务器功能。用户端作为客户端程序,和DTK一边通信一边利用红外线深度感应器的信息。作为其它的应用功能,无论是语言还是平台都可以使用DTK。

■图4 DTK使用方法

 客户端在UDP上与服务器连接后,将想要实行的处理和必要的信息发送到DTK。DTK根据要求,传递到客户端的数据。作为后台程序使用,也可以将深度地图和RGB图像的表示在DTK上执行。
 AirDriving &Gesture Interface
 AirDriving & Gesture Interface是三维动作输入和举止输入组合成的免提驾驶系统(图5)。使用从红外线深度感应器输入的四肢的信息,来行走UC-win/Road的模型(图6)。操纵驾驶的操作用双手握着方向盘移动。加速器/制动器的操作用脚踩踏板移动右脚,用脚掌左右更换加速器/制动器,可以表示上下踩踏的强度。由于可以识别到很小动作,所以可以进行很流畅的驾驶。
   
■图5 AirDriving(东京游戏展2011) ■图6 AirDriving驾驶操作

 驱动/倒车的交换用手势执行。手势的输入为,左手状态固定,如图7移动右手。AirDriving驱动手势1号,2号作为倒车使用。在脚本等中分配其它的手势,无需使用鼠标和键盘,能够执行从驾驶开始到结束的操作。
■图7 AirDriving 驱动(1)/倒车(2)
 在应用上红外线深度感应器的使用例
FORUM8以AirDriving为开始,正在开发利用机器人遥控操作等的红外线深度感应器的应用(表2、3)。

应用 红外线深度感应器的用途
A)感应器
AirDriving 免提驾驶
B)远程操作
RoboCar(R) 驾驶控制
AR.Drone 插件控制
机械臂 动作控制
SLAM 3D映射
■表2 使用红外线深度感应器的应用

功能 AirDriving RoboCar(R) AR.Drone 机械臂 SLAM
深度地图
RGB视频流 × × × ×
用户空间 ×
3D动作捕捉 ×
Gesture Interface × ×
■表3 各应用的红外线深度感应器的利用形态

 RoboCar(R)是ZMP公司1/10的比例模型车。使用AirDriving和动作界面,执行UC-win/Road和RoboCar(R)同期的行走模型。AR.Drone(P9, Up&Coming 95号)是Parrot公司的四直升机(图8)。可以安定的飞行,也可以活用在空中的摄影等方面。AR.Drone和机械臂(图9)也可以使用动作捕捉和Gesture Interface控制。SLAM(Simultaneous Localization And Mapping)是自己位置和环境地图作成同时实行的系统(图10)。根据红外线深度感应器的距离情报和RGB照相机的颜色信息的合成,实时的作成三维点群模型(环境地图),依次的比较取得的图像,生成一个连续的空间(自己位置推定)。这些都在机器人控制和3D映射上使用。

■图8 AR.Drone(Parrot公司) ■图9 机械臂 AL5D
(Lynxmotion公司)
■图10 使用SLAM的
3D扫描

 DTK支持如上所述应用的开发。
(Up&Coming '12 新年出版发行)
返回
Up&Coming

FORUM8