Users Report
用戶介紹/第130回
株式會社SenseTime Japan
車載事業部HMI感測部門

專注於最先進的電腦視覺技術以及日本製造方法融合
在駕駛者監測系統的開發、演示上活用UC-win/Road駕駛模擬器

株式會社SenseTime Japan
URL https://www.sensetime.jp
所在地 京都市中京區
事業內容 : 提供應用電腦視覺和深度學習技術的各種解決方案

「我們考慮運用AI(人工智慧)演算法進行各種車載應用程式的開發,並對其進行提案和評估。」

株式會社SenseTime Japan充分利用了AI與電腦視覺(數位影像處理)相關的先進技術,為汽車、智慧城市、工廠自動化(FA)和機器人等領域提供了各種解決方案。株式會社Sense Time Japan車載事業部HMI感測部門市場經理佐藤正範表示該公司起源於香港中文大學的多媒體實驗室,在大約三年前剛創建日本分部時他加入了該公司。從那時起,他們就在汽車行業所涉及的知識以及該公司最初在中國市場上研發的主要技術進行了合作並希望借此創造新的價值。

這次向用戶介紹的是SenseTime Japan的車載事業部門,該部門負責車載專用應用程式的開發以及在日本的業務開展。其中,我們將重點關注對使用面部識別技術檢測駕駛員狀態的駕駛員監控系統(DMS)。

為更真實地重現對於DMS開發至關重要的實驗環境,該公司在2018年導入了FORUM8的3D即時VR「UC-win/Road」駕駛模擬器(DS)。同時我們也將其運用結果作為展示內容之一。此外,為了便於研發新的人機界面(HMI),我們今後考慮對UC-win/Road的功能進行進一步的擴展。


 香港的大學實驗室與日本據點的目標和發展

香港中文大學的湯曉鷗教授於2001年在該大學建立了一個多媒體實驗室(MMLab)。之後,在該實驗室積累了許多有關圖像識別和深度學習的研究成果,我們迅速將電腦視覺的深度學習技術進行了實際應用並於2014年成立了SenseTime Group Limited(中國)。

從那時起,SenseTime Group擴大了業務,除了在香港設有總部以外,中國的北京、上海、深圳、杭州和成都,以及新加坡、馬來西亞、杜拜等地區都部署了具有技術研發能力的據點。在此當中,為了將該公司深感自豪的世界一流電腦視覺的深度學習技術與一直以來世界領先的「製造業強國」日本的技術實力結合在一起,於2016年在日本成立了Sense Time Japan(勞世竑·SenseTime Japan代表董事)。

在成立日本公司時,由於有自動駕駛相關的聯合研究歷史,因此招募了具有該領域研發經驗的人才,並且專注於車載業務。該公司目前在總部(京都),京都實驗室,東京事務所,宇都宮事務所以及AI/自動駕駛公園(Sense Time Japan測試點:茨城縣)設有據點並且擁有大約60名員工。

點擊圖片可放大顯示。
利用人臉識別技術的駕駛員監控系統
SenseTime Japan 成立4周年紀念
活動結束後在社交聚會上合影留念
車載事業部HMI感測部門
市場經理佐藤正範

 在充分利用母公司技術的同時,尋求進入日本市場的最佳方法

SenseTime Japan擁有SenseTime Group的高水準技術積累並重視在日本研發獨自技術和專有技術。

該公司的主要技術包括:1)使用獨自的面部識別深度學習演算法,面部圖像資料庫和深度學習平台進行面部檢測/身份驗證。 2)在各種車輛和人員混合在一起的道路場景中,檢測跟蹤車輛和行人。3)透過圖像識別檢測道路環境中的車道、停車線、交通標誌、交通號誌燈等。4)自主開發的視覺慣性導航SLAM(Simultaneous Localization and Mapping)系統即時檢測位置和姿勢/環境的3D模型構建。5)人體姿勢檢測。6)識別拍攝對象是人臉還是照片或口罩等欺騙對象。7)發佈了獨自開發的AI學習框架「Sense Parrots」,該框架支持大規模深度學習。利用這些技術的解決方案包括:1)汽車領域的自動駕駛,高級駕駛員輔助系統(ADAS)和車輛電子設備的開發等; 2)智慧城市的安全措施,交通檢測/跟蹤和智慧零售支持。3)涵蓋FA和機器人技術領域。

該公司企劃部公關負責人西岡千代洋子(Chikayo Nishioka)表示,其中基本的AI演算法及其平台由中方(SenseTime Group)開發,將其部署到日本市場時根據市場需求進行自訂開發,並由SenseTime Japan提供解決方案以確保滿足用戶所需品質。

點擊圖片可放大顯示。
SenseTime的技術 利用UC-win/Road DS進行
SenseDrive DMS演示

 採用獨自的方法進行DMS開發

我們這次採訪的車載事業部的HMI感測部門的各小組專注於ADAS的研發,目標是使用AI演算法進行各種車載應用程式的開發和產品化。

當前該部門最專注的內容是DMS的開發。為了確保駕駛員的安全和舒適,對駕駛員的身體狀況進行檢查和估計。特別是在自動駕駛級別3當中規定的「在一定條件下,駕駛員可以透過從方向盤上移開手來讓系統駕駛車輛」。因此必須具有「監視駕駛員可以從系統接管駕駛操作並在必要時發出警報」的功能,即與DMS完全相同功能的的HMI。

該公司對此利用了Sense Time集團在技術和產品開發中的面部識別/認證技術。現在它能夠在嵌入式環境中檢測危及安全的駕駛員行為和狀況,以及1)安全個人識別、2)車輛與駕駛員之間的HMI。3)促進DMS的開發,實現高精度、高速度的駕駛員屬性識別和視線識別等功能。同時,我們正在努力透過多次參展來展示我們的技術。

點擊圖片可放大顯示。
Action Interface System
應用駕駛員監控系統的公車乘客管理系統 Face Entry System


 以DMS開發為契機導入UC-win/Road DS

在佐藤經理加入公司大約三年之前,該部門就已經開始DMS的全面開發。
(當時,該部門正對使用AI演算法進行各種影像處理和感測等自動駕駛相關研究)

作為最近停車場的一個典型趨勢,池上技術顧問表示有以下幾點特徵:1)進出汽車的數量隨著停車場規模的增加而增加。2)自動駕駛汽車各種級別的功能的混同。3)自動駕駛汽車的逐漸普從而導致的與停車場中現有汽車的比例變化等。

另一方面,SenseTime Group擁有獨立開發和積累的圖像識別技術。由於這些技術已在中國市場商業化,所以他們摸索能否將其也在日本推廣應用。在透過活動展覽吸引潛在客戶的興趣的同時,希望透過利用公司擅長的面部識別技術將物件擴展到各種應用程式(例如DMS)。

對此,相關人員們進行了討論:「既然需要開發DMS的模擬工具。那麼以什麼為目的且使用什麼工具來開發才好?」。多年來汽車行業都使用UC-win/Road進行模擬與ADAS等各種設備相關的感測研究。透過瞭解使用UC-win/Road能夠複製實際的車輛環境並且在反復實驗的同時積累研發經驗,因此決定採用相同的方法進行DMS的研發。

作為回應,該公司於2018年下半年導入了UC-win/Road,開始透過UC-win/Road構建一個接近真實駕駛環境的VR,並使用反映了VR的DS進行檢測。該系統可以透過DMS檢測實驗者的諸如睏倦和注意力不集中等現象。

當時,由於與2019年1月舉行的「汽車世界」(東京)展覽的籌備工作重疊,因此我們積極應對了「無論如何也要趕上時間」(西岡先生)的需求。除開發支援外,該系統還被設計為適合在展覽中使用。之後,此DS一直活躍在公司參加的多個活動中。連同東京事務所陳列室內常年安放的已經安裝了兩個DS,並於2020年1月在「汽車世界」上展出。

「2019年名古屋人類與汽車技術展覽會」出展模樣


 進化的需求,對UC-win/Road進一步功能擴展的期望

如果沒有UC-win/Road DS,我們別無選擇,只能在實際的車輛上行駛,考慮到可能要花費的時間,人員和成本,因此存在很多問題。從這個意義上說,除了易於使用之外,DS還易於重寫資料並在白天和黑夜/各種天氣之間進行切換,並且可以重現各種實驗環境以查看駕駛員的狀況。尤其是UC-win/Road不僅可以單獨使用,而且還可以透過連接各種外部資料來使用,佐藤解釋了其作為開發模擬器的優勢。

他表示正在從與HMI相關的新研發角度關注UC-win/Road的未來功能擴展,並且一直以透過DMS的形式關注駕駛員的感受領域作為定位。他表示期待如果將來使用UC-win/Road技術不僅可以重現汽車和道路,還可以重現複雜的汽車內飾和駕駛員的面部表情,則可以更真實地反映出駕駛環境的變化。

「客戶的需求正在不斷地進化中。我認為如果能夠無縫地從車外到車內複製各種物品將不勝感激。」

執筆:池野隆
(Up&Coming '20 盛夏號)



上一頁
  
目錄


FORUM8