New Products

红外线深度传感器DTK 采用红外线深度传感器的NUI开发套件 系列●2012年1月 模拟

开始

近年，作为新的用户界面，NUI(Natural User Interface)的开发取得了很大的发展。NUI是使用声音和身体进行直观的操作的新的界面。 　DTK(Depth Tool Kit)是使用红外线深度传感器的NUI的开发套件。从红外线深度传感器的距离信息中识别到用户，并使身体的动作用三维取得。像普通的动作捕捉一样，在身体上无需附加传感器和标记是它的一大优点。

关于红外线深度传感器

在DTK上使用可能的设备是Xtion PRO, Xtion PRO LIVE, Kinect(TM)（图1）。每一种的红外线深度传感器都使用PrimeSense(TM)公司的技术。从一侧的透镜照射红外线激光，在相反侧的透镜上读取反射光（图2）。图1的感应器上，绿色的透镜为激光和相反侧的受光部。 Xtion PRO、Kinect(TM)的中央的透镜是RGB照相机。Xtion PRO只装载了红外线深度感应器。 Xtion PRO LIVE及Kinect(TM)是并用有其它功能的多功能的设备(表1)。 XtionPRO Xtion PRO LIVE Kinect(TM) 传感器 ■图1　红外线深度感应器(Xtion PRO, Xtion PRO LIVE, Kinect(TM)) ■图2　红外线激光图案 功能 Xtion PRO Xtion PRO LIVE Kinect(TM) 红外线深度感应器 640×480(VGA)/30fps 320×240(QVGA)/60fps RGB照相机 × 1280×1024 (SXGA) 640×480(VGA)/30fps 320×240(QVGA)/60fps Audio麦克风 × 2 4 倾斜马达 × × ○ 连接方式 USB2.0 USB2.0 USB2.0 电源供应 USB总线电源 USB总线电源 AC适配器 ■表1　红外线深度感应器功能比较 　DTK支持红外线和RGB照相机的功能。红外线深度感应器的有效范围在Xtion PRO, Xtion PRO LIVE中的标称值为0.8m～3.5m。Kinect(TM)的标称值为1.2m～3.5m。

DTK的概要

DTK是简单的利用红外线深度感应器的工具套件。从深度地图、RGB照相机影像的取得到用户识别的三维动作的取得，只需发送命令，便可以简单的运行（图3）。可以同时的识别・操作复数的用户，如果使用举止界面和2D菜单作成功能，便马上可以作为输入设备使用。 ■图3　DTK(Depth ToolKit)的功能 使用深度地图信息和三维运行数据，可以作成完全不同的应用程序。

DTK的利用方法

DTK部分语言和平台都能使用（图4）。Visual Studio(R)等、C++作为等级程序库使用。作为等级宣称后，必要的成员函数执行呼叫处理。除了深度地图、RGB照相机的数据以外，举止输入等的处理返回项目。记述与项目符合的处理，能够简单的使用红外线深度传感器作成应用程序。其它的语言・平台有使用了UDP通信的服务器功能。用户端作为客户端程序，和DTK一边通信一边利用红外线深度感应器的信息。作为其它的应用功能，无论是语言还是平台都可以使用DTK。 ■图4　DTK使用方法 　客户端在UDP上与服务器连接后，将想要实行的处理和必要的信息发送到DTK。DTK根据要求，传递到客户端的数据。作为后台程序使用，也可以将深度地图和RGB图像的表示在DTK上执行。

AirDriving &Gesture Interface

AirDriving & Gesture Interface是三维动作输入和举止输入组合成的免提驾驶系统（图5）。使用从红外线深度感应器输入的四肢的信息，来行走UC-win/Road的模型（图6）。操纵驾驶的操作用双手握着方向盘移动。加速器/制动器的操作用脚踩踏板移动右脚，用脚掌左右更换加速器/制动器，可以表示上下踩踏的强度。由于可以识别到很小动作，所以可以进行很流畅的驾驶。     ■图5　AirDriving(东京游戏展2011) ■图6　AirDriving驾驶操作 　驱动/倒车的交换用手势执行。手势的输入为，左手状态固定，如图7移动右手。AirDriving驱动手势1号，2号作为倒车使用。在脚本等中分配其它的手势，无需使用鼠标和键盘，能够执行从驾驶开始到结束的操作。 ■图7　AirDriving 驱动(1)／倒车(2)

在应用上红外线深度感应器的使用例

FORUM8以AirDriving为开始，正在开发利用机器人遥控操作等的红外线深度感应器的应用（表2、3)。 应用 红外线深度感应器的用途 A)感应器 AirDriving 免提驾驶 B)远程操作 RoboCar(R) 驾驶控制 AR.Drone 插件控制 机械臂 动作控制 SLAM 3D映射 ■表2　使用红外线深度感应器的应用 功能 AirDriving RoboCar(R) AR.Drone 机械臂 SLAM 深度地图 ○ ○ ○ ○ ○ RGB视频流 × × × × ○ 用户空间 ○ ○ ○ ○ × 3D动作捕捉 ○ ○ ○ ○ × Gesture Interface × ○ ○ ○ × ■表3　各应用的红外线深度感应器的利用形态 　RoboCar(R)是ZMP公司1/10的比例模型车。使用AirDriving和动作界面，执行UC-win/Road和RoboCar(R)同期的行走模型。AR.Drone(P9, Up&Coming 95号)是Parrot公司的四直升机（图8）。可以安定的飞行，也可以活用在空中的摄影等方面。AR.Drone和机械臂（图9）也可以使用动作捕捉和Gesture Interface控制。SLAM(Simultaneous Localization And Mapping)是自己位置和环境地图作成同时实行的系统（图10）。根据红外线深度感应器的距离情报和RGB照相机的颜色信息的合成，实时的作成三维点群模型（环境地图），依次的比较取得的图像，生成一个连续的空间（自己位置推定）。这些都在机器人控制和3D映射上使用。 ■图8　AR.Drone(Parrot公司) ■图9　机械臂 AL5D (Lynxmotion公司) ■图10　使用SLAM的 3D扫描 　DTK支持如上所述应用的开发。

(Up&Coming '12　新年出版发行)

Up&Coming