Thông tin từ cảm biến được gửi từ chương trình máy chủ chuyên dụng được phát triển sử dụng thư viện OpenNI, một nền tảng chung cho cảm biến 3D, thông qua mỗi UDP và mọi cổng đến bản đồ độ sâu và tính năng theo dõi được thực hiện đến plug-in, và đến máy khách trong đó cử chỉ khác nhau được hình dung như 'các hành động' khác nhau như là Lái Xe Trong Không Khí, thay đổi cần số ảo, vv.

Cử chỉ từ các cảm biến được giải thích trong UC-win/Road, cho phép kiểm soát hoàn toàn rảnh tay của một chiếc xe trong môi trường UC-win/Road.

Hệ thống này cho phép các hoạt động của UC-win/Road bằng cách di chuyển cánh tay như là hoạt động tay lái phía trước Kinect. Vị trí của các cánh tay được phát hiện bởi Kinect được chuyển đổi vào trong tay lái, bộ tăng tốc, phanh xe.

Kinect Sensor là gì?
Kinect Sensor (dưới đây, Kinect) được sử dụng như là một thiết bị ngoại vi của "Xbox360®" làm một thiết bị trò chơi trong nhà được bán bởi Microsoft và là thiết bị phần cứng cho phép bạn vận hành hệ thống thông qua hành vị vật lý, cử chỉ và giọng nói mà không cần một bộ điều khiển. Một máy quay và cảm biến được gắn trên nó và người chơi được ghi nhận khi họ đứng phía trước của Kinect. Công nghệ này dựa trên công nghệ máy ảnh chiều sâu được phát triển bởi PrimeSense. Cảm biến bao gồm một máy quay VGA, máy quét 3D, 4 micro, động cơ nghiêng, vv. Máy quét 3D là bao gồm một laser hồng ngoại (có tần số thấp hơn tín hiệu màu đỏ) mà cho ra các dấu chấm trong mô hình liên tục. Mặc dù laser không thể nhìn thấy bằng mắt thường (độ dài sóng khoảng 780mm), nó có thể được phát hiện bởi một camera hồng ngoại (Hình 1a và 1b)

Hình 1a Hình ảnh tầm nhìn ban đêm của Kinect		Hình 1b Mở rộng hiển thị với các điểm được chiếu lên tường

1. Xuất hình ảnh từ xa
Kinect cung cấp hình ảnh từ xa của 640 x 480 pixel (Khoảng cách gần nhất từ cảm biến được lưu trữ trên mỗi pixel)

2. Phát hiện người dùng và theo dõi
Kinect cho phép phát hiện và theo dõi con người trong phạm vi trường hình ảnh của cảm biến

3. Phát hiện bộ khung và theo dõi
Kinect cho phép phát hiện và theo dõi vị trí giao của con người

Giao diện AirDriving

4.Air driving
Kinect cho phép nhận biết hoạt động lái xe bằng cả hai tay và hoạt động tăng tốc/ phanh với chân phải và cho phép bạn vận hành mô phỏng lái xe bằng các cử chỉ (lái xe, tăng tốc, phanh được áp dụng trong UC-win/Road)

Cử chỉ mô phỏng lái xe của UC-win/Road thông qua Kinect Sensor và hệ thống Tín Hiệu Kỹ Thuật Số Đa-Cụm 6K (Tokyo Game Show 2011)

• Vị trí trung lập
  Các hoạt động của việc tăng tốc và phanh được thực hiện dựa trên khoảng cách từ Kinect đến cánh tay. Nó có thể được vận hành bằng cách di chuyển tiến lùi từ vị trí trung lập.   
  
• Vận hành tay lái (Rẽ trái, Rẽ phải)
  Tay lái có thể được vận hành giống như là điều khiển tay lái thật. Nó hỗ trợ cho cả rẽ trái và rẽ phải.
    
  
• Điều khiển tăng tốc
  Nó có thể được tăng tốc bằng việc di chuyển cánh tay từ vị trí trung lập lên phía trước. Tiếp tục di chuyển cánh tay, tăng tốc lớn hơn.
  
  
• Điều khiển phanh
  Điều khiển phanh được thực hiện bằng việc di chuyển cánh tay từ vị trí trung lập ra phía sau. Di chuyển cánh tay xa hơn, lực phanh trở lên lớn hơn.
  
  
• Phát hiện góc lái và hướng lái
   Hướng trái và phải của bánh lái và góc lái của nó được phát hiện như là một giá trị analog từ mối quan hệ vị trí giữa người sử dụng bên trái và bên phải. Mức độ bật của bánh lái được chỉ định bởi một hàng thanh thay đổi màu sắc từ xanh sang đỏ. Góc lái lớn hơn, thanh nhiều màu đỏ hơn.
  

  Di chuyển trong một đường thẳng	Rẽ phải: Khi bạn rẽ phải, các thanh màu đỏ sẽ tăng lên bên hướng phải	Rẽ trái: Khi bạn rẽ trái, các thanh màu đỏ sẽ tăng lên bên hướng trái

  
  
• Phân biệt chân ga và phanh
  Sự tăng tốc và phanh có thể phân biệt bằng cách phát hiện góc giữa ngón chân mở bên trái và bên phải
  

  Vị trí tăng tốc	Vị trí phanh

  
  
• Phân biệt chân ga và phanh
  Chân ga
  Cái này được phát hiện như là một giá trị analog từ số lượng của áp lực người lái xe tác động lên bàn đạp ga. Trong trường hợp tăng tốc, các ngăn xếp của thanh sẽ tăng theo hướng đi lên.
  
  Phanh
  Cái này phát hiện như một giá trị analog từ số lượng áp lực của người lái xe tác động lên bàn đạp. Trong trường hợp phanh, ngăn xếp của thanh sẽ tăng theo hướng đi xuống.
  
  

5. Thúc đẩy cơ cấu ảo hóa
Nắm bắt hành vi của các đối tượng và cơ cấu vận hành có thể được nhận ra( Di chuyển  phía trước và phía sau có thể được bật trong UC-win/Road)

6. Giao Diện Cử Chỉ
Lên đến 12 loại hoạt động có thể được phân biệt bởi sự kết hợp hoạt động bên di chuyển tai phải từ bên phải đến bên trái hoặc lên và xuống (Di chuyển về phía trước và phía sau có thể được bật trong UC-win/Road)