3DVRによる重機の遠隔操縦システム

概要

本技術は、遠隔操縦や自動運転に対応する重機と、連携動作する3DVR(バーチャルリアリティ)システムにより、事前シミュレーションによる作業計画の検証、事前訓練・安全教育、作業監視、複数重機の統合管理を行うものです。大規模災害時の危険地帯での無人化施工機械の運用に活用できる他、常時における訓練・安全教育、現場作業での効率化にも役立ちます。本システムでは、重機のコックピットを再現した操縦装置や遠隔操縦装置と3DVRシステムが連携することによって、実機の操作感覚で、実機の制御と同時に3DVR空間内の手動操縦や遠隔操縦ができます。

カタログPDF(PDF、6,043KB)

【関連情報】
▼国土交通省北海道開発局「北海道開発技術研究発表会 新技術展示」に掲載
https://www.hkd.mlit.go.jp/ky/jg/gijyutu/ud49g7000000wkbv.html

事例

本技術は、3DVRソフトウェアを中心とした、ハードウェア連携システムの受託開発となります。利用目的や利用可能なリソースに従った御提案が可能です。本技術に関連する様々な開発事例をご紹介します。

1.遠隔操縦操作訓練用シミュレータ(国土交通省九州地方整備局九州技術事務所)

2016年の熊本地震により崩落した阿蘇大橋付近を3DVRで再現しています。実際の遠隔操作用のコントローラを接続して、災害時における初期初動対応を目的とした分解組立型バックホウの遠隔操作訓練用シミュレータを構築しています。フォーラムエイト第19回3DVRコンテスト準グランプリ受賞。

2.3DVRと連動する遠隔施工システム(旧(独)土木研究所 技術推進本部)

旧独立行政法人 土木研究所(現 国立研究開発法人 土木研究所)、(一社) 施工技術総合研究所と共同開発したシステムです。オペレータの無線操作に対し、建設機械に搭載したGPS、地形レーザスキャン等の情報を無線LANで受信し、3DVR空間内の3D可動モデルにその動きを反映させて、リアルタイムで遠隔作業状況を確認できます。実写映像へCADデータを重ね合わせて表示することによって、作業ガイドとして利用することも可能です。

3. 除雪車両運転教育用 車両操作シミュレータ(中日本高速道路株式会社)

除雪車両オペレータの育成を目的として共同開発した車両操作シミュレータ。操縦装置はモーション装置付きの3面ディスプレイで構成され。3台の梯子段除雪の運転訓練にも対応。

4.除雪車運転シミュレータ(株式会社NICHIJO)

ロータリ除雪車の操作訓練用のシミュレータ。ハンドル・ペダルおよび実車の操作機器を模したボタン・操作レバー類を組み合わせ、HMD(ヘッドマウントディスプレイ)上に各種メータを表示することでリアルな運転環境と操作イメージを再現しています。除雪時の作業状況に即した車両運動計算と投雪の計算を行い、状況に応じた適切な操作が体験できます。フォーラムエイト第18回3DVRコンテストアイデア賞受賞。

5.鉱山用ダンプトラックの自律運転シミュレーション(日立建機株式会社)

鉱山用ダンプトラップのシミュレータ。鉱山現場を再現し、ダンプトラックが積込場所から指定の場所まで積荷を運ぶ作業を、体験者による運転操作と自立走行システム(AHS: Autonomous Haulage System)の2つのモードで体験できます。フォーラムエイト第17回3DVRコンテストエッセンス賞受賞。

特徴

1.事前シミュレーション・・・現場に行かなくても机上で検討・確認!

3DVRシミュレーションによる机上確認は、初期段階における作業計画の検証に特に有効です。現地への移動、機材の準備、要員の準備が不要な他、事前訓練、安全教育に利用できます。災害発生時、国土地理院の地理院タイルによりベース地形を生成、UAV等を用いて計測した航空写真や3D点群データで被災地の状況を直ちに再現できます。いきなり本番、ではなく、現地入りする前から作業計画の立案、事前検証が可能です。また、4Dシミュレーションにより、作業計画の立案、進捗管理、作業者の工程理解が可能です。複数の拠点での分担や、中央省庁、地方支分部局、地方自治体がクラウドデータベースを共有し、現場と連携して防災対策を実施できます。

3DVRで被災地を迅速に再現

▲航空写真による再現

▲点群データによる再現

3DVRによる現地復旧計画検討

作業の立案、検証、情報共有、進捗管理に3DVRを活用。

▲各拠点間の連携


▲仮設道路計画

▲重機配備作業計画、仮設設備設置計画

 

2.訓練・安全教育・・・本物と同じ操作で事前体験! 訓練、安全教育にも活用

重機のコックピットを再現した制御装置や、本物の遠隔制御装置を操作して、実機の操作と同時に3DVR空間内の重機モデルを操作できます。モーション装置があれば、傾きや、加速度感、振動なども体感できます。これを用いれば、現場で実機を操作する前に、現場を再現した3DVR空間の中で作業内容を試してみることができます。作業員の事前訓練だけでなく、通常時も作業員の訓練、安全教育に活用できます。また、VRゴーグルを使うと空間全体を立体視で見渡せるため、現場にいるかのような臨場感が得られます。AR/MRへの対応も可能です。

▲VRモーションシートとVRゴーグルの
コックピットの例(NICHIJO)

▲モーションプラットフォーム付
コックピットの例
(NEXCO中日本 除雪シミュレータ)

▲遠隔操縦型バックホウの
リモートコントローラ
(国土交通省九州地方整備局)

 

3.作業監視、作業ガイド、作業指示・・・見たいものを必要な数、どこからでも。指示もOK!

作業中の重機の座標や状態(姿勢や可動部の動き、速度、加速度など)を無線(5G)でリアルタイム取得し、3DVR空間内に再現できます。これを、仮想カメラで表示すれば、作業をリアルタイムにモニタリングできます。3DVR空間内では、任意の視点、角度、画角、個数で設置できるので、死角の無い、目的に応じた監視が可能です。実カメラ映像との併用によって、より確実な監視が可能です。また作業内容の説明文や図、矢印などを表示したり、作業エリア(例:掘削エリア・深さ)のCADデータを作業ガイドとして重ね合わせ表示したり、管理センターからの作業指示を直接表示することも可能です。実写画像にCADデータを重ね合わせ表示することも可能です。(土木研究所事例参照)

▲作業ガイド

▲作業指示

▲作業監視

 

4.複数機制御・・・複数の重機をまとめて協調制御&モニタリング

複数の重機を連携制御する統括管理システム。個別の遠隔制御システムをネットワーク接続し、集中管理PCから各遠隔制御システムに指令を出します。複数重機の状況をリアルタイムモニタリングしながら、状況に応じて、一斉発進/停止/緊急停止、個別発進/停止/緊急停止といった複数重機の遠隔制御を、プロジェクト全体を俯瞰しながらコントロールできます。モニタリングでは、各重機毎の操縦席視点、外部視点、全体俯瞰など任意の視点のカメラ映像でモニタリングできるので、全体の進捗状況や問題個所の把握が、素早くできます。

▲全体俯瞰用3DVRモニタ

▲各重機毎の状態、実カメラ、仮想カメラ

 

5.自動運転対応・・・自動運転システムの統括管理。開発プラットフォームとしても活用

遠隔操縦の重機と同様に、自動運転する複数の重機を統括管理することも可能です。
自動運転中のモニタリングや、緊急時等の遠隔制御など、自動運転の管理センターとして活用できます。自動運転は実用化がようやく始まった段階で、ゼネコンや研究機関での開発が進められています。このような用途に対しても、3DVRは特に有効です。3DVR空間内で、自動運転アルゴリズムの検証のためのシミュレーションを行い、3DVRシステムを自動運転の開発プラットフォームとして活用することができます。

自動運転対応システム

基本構成は遠隔制御時の統括システムと同じで、遠隔操縦部分の全部または一部が自動運転で行われます。

ダンプによる土砂の積載、運搬、排土は、自動化できる可能性が高い。バックホウへのアプローチ、排土場所へのアプローチは遠隔制御で手動で行い、途中の運搬(仮設道路等の走行)を自動化します。自動運転の主な機能は、目的地までの走行、障害物回避、回避不可時の停止。アルゴリズムの検証にも3DVRを利用可能です。

▲バックホウ、振動ローラ等、他の重機の自動運転研究も進んでいます。

基盤技術:3DVRシミュレーションソフトウェア UC-win/Road

本技術の基盤技術となる3DVRシミュレーションソフトウェアUC-win/Roadは、フォーラムエイトが自社開発して2000年にリリースし、20年以上進化し続けている最新の3DVRソフトウェアです。
BIM/CIMデータに対応し、J-LandXMLやIFCデータ形式にも対応しています。シミュレーションだけでなく、外部機器との連携により、3DVRと現実世界がリアルタイムに連携する、遠隔制御、モニタリング、自動制御にも活用されています。以下に本技術に関連する基本機能を紹介します。

●地形生成

災害地の地形を素早く作成~DX時代の3DVRプラットフォーム

世界中の任意の地形を自動生成し、航空写真・衛星写真画像により3D地形をリアルに再現。オープンデータである国土地理院の地理院タイルやオープンストリートマップ(OSM)やJ-LandXMLに対応、地図上で指定した任意の地域の地形、航空写真、道路データ、建物情報(位置、形状、高さ)から対象地域の3DVR空間を短時間に容易に作成できます。UAV等で取得した点群データを直接表示したり、地形に変換したりできます。3DVR空間内に設置する地物については、フリーで利用できるモデルデータベースを利用できる他、IFC形式対応により、BIM/CIMモデルを取り込んで3DVR空間内に設置できます。これらの機能によって、災害発生地域の3DVR空間を迅速に作成し、対策の初動に貢献することができます。

▲地理院タイルによる任意対象地域の3DVR地形生成
(山間地域の例)

▲DEM上の航空測量点群の例

●UAV連携

被災地の写真測量、点群データ取得、作業時の重機の監視に活用!

UAVの飛行ルートを3DVR空間内で自由に設定し、自動飛行制御することが可能です。ビデオ撮影や写真撮影が可能なので、被災地の最新の状況を計測し、航空写真や点群データとして3DVR空間に反映できます。重機作業時に作業エリア、工程に合わせて自動飛行させ、上空から監視映像を送信することもできます。

●シナリオ

作業内容の訓練シナリオ、安全教育シナリオを体験!

3DVR空間内で発生する様々な事象を予めイベントとして登録し、イベントの発生状況に応じて、シミュレーションの動作を制御する機能です。作業に伴う様々な状況を設定し、状況に応じた展開を用意することによって、3DVR空間内で様々な体験が可能なので、事前訓練に活用できます。常時においては、オペレータ育成を目的とした訓練や、安全教育にも活用できます。

●4Dシミュレーション

3DVRアニメーションで作業工程確認、検証、進捗管理

プロジェクトのスケジュールをガントチャートで3D モデルと関連付けながら定義し、進行にしたがって3Dモデルを設置・動作・撤去させながらアニメーション動作させることによって、事前段階で作業内容の検証、理解に役立てることができます。実際の作業時には、作業内容の確認や進捗管理に活用できます。

●ドライブシミュレータ

リアルタイム通信で重機を制御

3DVR空間内で発生する様々な事象を予めイベントとして登録し、イベントの発生状況に応じて、シミュレーションの動作を制御する機能です。作業に伴う様々な状況を設定し、状況に応じた展開を用意することによって、3DVR空間内で様々な体験が可能なので、事前訓練に活用できます。常時においては、オペレータ育成を目的とした訓練や、安全教育にも活用できます。

LOADING