概述
该技术通过支持远程控制和自动驾驶的重型设备以及协作运行的 3DVR（虚拟现实）系统，以预先仿真模拟来进行验证工作计划、事前培训、安全教育、工作监控和多重型设备的集成管理。不仅可用于发生重大灾害时在危险区域进行无人值守的施工机器的操作，并能够进行平时的培训、安全教育以及提高现场作业的效率。该系统将再现重型机驾驶舱的操纵设备及远程控制设备与3DVR系统配合使用，以实现操控真机的感觉。模拟操作真机的同时也能进行3DVR空间中的手动和远程控制操作。
目录PDF（日语）（PDF、6,043KB）
【相关信息】
▼发布于国土交通省北海道开发局"北海道开发技术研究发表会 新技术展览"
https://www.hkd.mlit.go.jp/ky/jg/gijyutu/ud49g7000000wkbv.html
案例
该技术是以3DVR软件为中心的硬件协作系统的委托开发。根据使用目的和可用资源提出建议。下面介绍与本技术相关的各种开发示例。
1.远程控制训练模拟器（国土交通省九州地区维护局九州技术办公室）
用3DVR技术再现了2016年熊本地震中倒塌的阿苏大桥周边。通过连接实际的远程控制遥控器来构建分解组装型反铲的远程操作训练用模拟器，以用于在发生灾难时进行早期响应。荣获FORUM8第19届3DVR竞赛准优胜。
2.结合3DVR的远程施工系统（前独立土木工程研究所技术促进总部）
前独立行政机构土木工程研究所（现为国家土木工程研究所）、与建筑技术研究所共同开发的系统。对于操作员的无线操作，通过无线LAN接收安装在建筑机械上的GPS和地形激光扫描等信息，并将其运动反映到 3DVR 空间中的3D移动模型中，以便实时检查远程工作状态。CAD数据可以叠加在实时图像上，可以用作工作指南。
3. 用于除雪车辆驾驶教育的车辆操作模拟器（中日本高速公路株式会社）
车辆操作模拟器是为培养除雪车辆操作员而联合开发的。操纵装置由带运动装置的三面显示屏组成。还支持梯队地层除雪驾驶培训。
4.除雪车驾驶模拟器（株式会社NICHIJO）
用于旋转除雪车操作训练的模拟器。结合模仿方向盘、踏板和实际车辆的操作设备的按钮和操作杆，在 HMD（头戴式显示器）上显示出各种仪表，再现逼真的驾驶环境和操作图像。根据除雪时的工作状况进行车辆运动计算和投雪计算，可以体验到系统根据情况采取适当行动。荣获FORUM8第18届3DVR竞赛创意奖。
5.矿山卡车的自主驾驶模拟（日立建机株式会社）
采矿自卸卡车的模拟器。重现矿山场景，并通过体验者驾驶操作和独立驾驶系统（AHS：Autonomous Haulage System）两种模式，体验自卸卡车将货物从装载位置运送到指定位置的任务。荣获FORUM8第17届3DVR竞赛Essence Award。
特点
1.预先模拟・・・无需前往现场，通过桌面检查就能完成检查和确认！
使用3DVR模拟进行桌面验证尤其对于在早期阶段的验证工作计划特别有效。无需前往现场、准备设备及人员，变可进行事先培训和安全教育。发生灾害时，国家地理研究所的地理中心Tile可以生成基本地形，使用UAV等测量的航空照片和3D点云数据可以立即再现受灾地区的情况。不是临阵上场，而是在进入现场之前，制定计划并提前验证。通过4D模拟还能够规划工作计划、跟踪进度并了解工作人员的工作流程。不同据点共同分担，中央部委、地方分支机构和地方政府共享云数据库，并可以与现场合作实施防灾措施。
使用3DVR快速重现受灾地区
▲通过航空照片重现
▲使用点云数据重现
使用3DVR讨论当地恢复计划
使用3DVR进行规划、验证、信息共享和进度管理。
▲每个站点之间的协作
▲临时道路规划
▲重型机械部署工作计划、临时设备安装计划
2.培训・安全教育・・・通过与实物相同的操作进行事先体验！ 用于培训、安全教育
通过操作再现重型机驾驶舱的控制装置和真正的远程控制装置，可以在操作实际设备的同时操作3DVR空间中的重型设备模型。使用运动设备，可以体验倾斜、加速度和振动。通过使用这个系统，可以在现场操作实际设备之前，在再现现场的 3DVR 空间中尝试您的工作。除了对工人进行事先培训外，平时还能用于工人培训和安全教育。此外，使用VR护目镜，您可以立体地查看整个空间，从而获得宛如在现场一般的身临其地的感觉。也支持AR/MR。
▲VR运动座椅和VR护目镜的
驾驶舱示例（NICHIJO）
▲带运动平台的
驾驶舱示例
（NEXCO中日本 除雪模拟器）
▲远程控制反铲的
遥控器
（国土交通省九州地区维护局）
3.工作监控、工作指南、工作说明・・・想看的东西不论多少，从任何地方都可以！也可以进行指示！
通过无线（5G）实时获取重型机械的坐标和状态（姿势、移动部件的动作、速度、加速度等），并在3DVR空间中重现。在虚拟摄像机上显示，可以实时监视工作。在3DVR空间中，可以以任意视点、角度、视角和数量进行安装，因此不会有盲点且可根据用途进行监控。与真实摄像机图像结合使用时，可以进行更可靠的监控。此外，还可以显示说明工作内容的文章及图表、箭头等，将工作区域（例如钻孔区域、深度）的CAD数据叠加为工作指南，也可以直接显示来自管理中心的工作指示。CAD数据也可以叠加在实时图像上。（参考土木工程研究所的案例研究）
▲工作指南
▲工作指示
▲工作监控
4.多机控制・・・协调控制和监控多个重型设备
协调控制多个重型机械的综合管理系统。将单独的远程控制系统连接到网络，从集中管理PC向各个远程控制系统发出指令。在实时监控多台重型设备的状态的同时，根据情况不同，可以边审视项目整体边远程控制多个重型设备（如同时启动/停止/紧急停止、分开启动/停止/紧急停止）。可以通过监控器监控每个重型机器的驾驶舱视角、外部视角、整体视图等任何视点的摄像机图像，从而快速了解整体进度和问题区域。
▲用于整体俯瞰的3DVR监视器
▲各个重型设备的状态、真实摄像机、虚拟摄像机
5.支持自动驾驶・・・自动驾驶系统的管理。也用作开发平台
与遥控重型设备一样，也可以管理多个自动驾驶重型设备。
可用作自动驾驶管理中心，如自动驾驶中的监控和紧急情况下的远程控制。自动驾驶刚刚开始实际应用，正在面向一般工程业务和研究机构的展开进行开发。3DVR对于这些作用也特别有效。在3DVR空间中，可以模拟自动驾驶算法的验证，且能够利用3DVR系统作为自动驾驶开发平台。
支持自动驾驶的系统
基本配置与远程控制时的监控系统相同，所有或部分远程控制部件都是由自动驾驶来进行的。
倾卸的泥沙装载、运输和排土实现自动化的可能性很高。通过远程的手动处理来操控反铲和排土地点，实现道路中的运输（在临时道路等行驶）的自动化。自动驾驶的主要功能是行驶到目的地，避免障碍物，在无法避免时停止。3DVR还可用于验证算法。
▲反铲、振动辊等其他重型机械的自动驾驶研究也正在进行中。
基础技术：3DVR仿真软件 UC-win/Road
3DVR仿真软件UC-win/Road是该技术的基础技术，由FORUM8于2000年自行开发并发布，是经过20多年发展的最新3DVR软件。
支持BIM/CIM数据，也支持J-LandXML和IFC数据格式。它不仅用于仿真模拟，还用于通过与外部设备连接实现3DVR与现实世界实时交互来进行远程控制、监控和自动控制。以下是与本技术相关的基本功能。
●地形生成
快速创建灾区地形～DX时代的3DVR平台
自动生成世界各地的任何地形，通过航空和卫星照片图像逼真地再现3D地形。与国家地理研究所的地理中心Tile的开放数据、开放街道地图（OSM）和J-LandXML兼容，从地图上指定的任何区域地形、航空照片、道路数据和建筑信息（位置、形状、高度）快速轻松地创建目标地区的3DVR空间。可以直接查看通过UAV等获取的点云数据，也可以转换为地形。对于安装在3DVR空间中的材料，可以使用免费的模型数据库，除此之外由于支持IFC格式的兼容，可以导入BIM/CIM模型安装在3DVR空间中。这些功能可快速创建灾害发生地区的3DVR空间，并有助于实施早期对策。
▲使用地理院Tile生成任意目标地区的3DVR
（山区示例）
▲DEM上的航空测量点云示例
●UAV协作
用于灾区的照片测量、获取点云数据和工作时的重型设备监控！
无人机的飞行路线可以在3DVR空间内自由设置，并进行自动飞行控制。可以进行视频拍摄和拍照，因此可以评估受灾地区的最新情况，并将其作为航空照片和点云数据反映在3DVR空间中。在重型设备操作期间，它会根据工作区域和工程自动飞行，从天空传输监控图像。
●方案
体验工作培训场景和安全教育场景！
能够预先将3DVR空间中发生的各种事件登录为预先事件，并根据事件的发生情况控制模拟操作。通过设置与工作相关的各种情况，并准备根据情况进行部署，可以在3DVR空间中体验各种情况，以用于事先培训。可以在平时用于培养操作员的培训，安全教育等。
●4D模拟
使用3DVR动画检查、验证工作以及跟踪进度
在甘特图上与 3D 模型关联时定义项目计划，通过设置、操作和移除3D模型，同时根据进度进行动画操作，可以有助于在早期阶段验证和理解工作内容。在实际工作中，可以检查工作内容并跟踪进度。
●驾驶模拟器
通过实时通信控制重型设备
能够预先将3DVR空间中发生的各种事件登录为预先事件，并根据事件的发生情况控制模拟操作。通过设置与工作相关的各种情况，并准备根据情况进行部署，可以在3DVR空间中体验各种情况，以用于事先培训。可以在平时用于培养操作员的培训，安全教育等。
