Cùng với những công nghệ SenseTime Group đang tích lũy và sở hữu, SenseTime Japan cũng chú trọng phát triển các công nghệ, kỹ thuật riêng tại Nhật Bản.

Các công nghệ cốt lõi của công ty bao gồm: 1) Nhận diện, xác thực khuôn mặt bằng thuật toán deep learning, cơ sở dữ liệu ảnh khuôn mặt và nền tảng học sâu tự phát triển, 2) Nhận diện, theo dõi các phương tiện & người đi bộ trong môi trường hỗn tạp, 3) Nhận diện làn đường, vạch dừng, biển báo, đèn giao thông, v.v. trong môi trường đường thông qua nhận dạng hình ảnh, 4) Hệ thống điều hướng trực quan SLAM (Simultaneous Localization and Mapping) định vị thời gian thực, xây dựng mô hình 3D của cảnh vật môi trường, 5) Nhận diện tư thế của con người, 6) Phát hiện sự sống (liveness detection), xác định mục tiêu chụp có phải mặt người hay không, 7) Framework "SenseParrots" do công ty tự phát triển hỗ trợ cho dự án deep learning quy mô lớn. Các giải pháp ứng dụng những công nghệ này là: 1) Lĩnh vực ô tô, bao gồm tự động hóa, phát triển hệ thống hỗ trợ lái xe tự động (ADAS), phát triển các thiết bị điện tử trên xe, 2) Các biện pháp an ninh trong thành phố thông minh, phát hiện & theo dõi giao thông, hỗ trợ bán lẻ thông minh, và 3) FA và lĩnh vực robot.

Chikayo Nishioka, Trưởng ban quan hệ công chúng, Bộ phận Kế hoạch doanh nghiệp - Phòng Kế hoạch, giải thích rằng, ví dụ, đối với nền tảng thuật toán AI do phía Trung Quốc (SenseTime Group) phát triển, khi triển khai tại Nhật Bản, SenseTime Japan sẽ tùy chỉnh phù hợp với yêu cầu thị trường.

Công nghệ của SenseTime	Sử dụng UC-win/Road DS để mô tả hệ thống SenseDrive DMS

Bộ phận Cảm biến HMI - Phòng Kỹ thuật ô tô, cùng với một nhóm khác cùng phòng kỹ thuật chuyên về ADAS, đang hướng tới sử dụng các thuật toán AI để phát triển và thương mại hóa các ứng dụng cho ô tô.

Hiện tại, dự án đang được bộ phận tập trung hoàn thành là dự án phát triển DMS, hệ thống kiểm tra và cho biết tình trạng thể chất của tài xế nhằm đảm bảo sự an toàn và thoải mái khi lái xe. Đặc biệt, với cấp độ 3 của xe lái tự động, "chiếc xe có khả năng lái xe từ điểm xuất phát đến đích mà không có sự tham gia của con người, trong một số điều kiện nhất định", cần thiết có HMI có chức năng “theo dõi khả năng tiếp quản hoạt động lái xe từ hệ thống của tài xế và phát cảnh báo nếu cần”, tức là một HMI có chức năng tương tự như DMS.

Công ty hiện sử dụng công nghệ nhận dạng, xác thực khuôn mặt được phát triển tại SenseTime Group đối với DMS. Công nghệ có thể phát hiện các hành vi, trạng thái nguy hiểm của người lái xe, đồng thời 1) xác thực cá nhân để bảo mật, 2) nhận diện cử chỉ tương tác HMI giữa xe và người ngồi trên xe (người lái xe), 3) phát triển độ chính xác, độ nhạy của DMS ở tính năng nhận diện thuộc tính, điểm nhìn của người lái. Hiện công ty đang triển lãm, giới thiệu sản phẩm tại rất nhiều sự kiện.

	Hệ thống giao diện hành động (Action Interface System)
Hệ thống quản lý khách đi xe buýt áp dụng DMS	Hệ thống nhập dữ liệu khuôn mặt (Face Entry System)

Thời điểm bộ phận bắt đầu chú trọng phát triển mảng DMS là khoảng 3 năm trước, khi Quản lý Sato mới gia nhập công ty.
"(Vào thời điểm đó, bộ phận đang) sử dụng thuật toán AI để nghiên cứu vấn đề lái xe tự động và ứng dụng cảm biến khi xử lý hình ảnh."

Về xu hướng của các bãi đậu xe trong thời gian gần đây, cố vấn kỹ thuật Ikegami cho rằng 1) diện tích các bãi đậu xe lớn hơn kéo theo số lượng xe ô tô ra vào tăng, 2) sự kết hợp nhiều cấp độ chức năng của xe tự lái, 3) sự trộn lẫn giữa xe tự lái và xe ô tô thường khi xe tự lái trở nên phổ biến hơn. Ông đề cập đến tầm quan trọng của các mô phỏng khác nhau khi xử lý vấn đề đó.

Mặt khác, công ty đang sở hữu những nguồn lực đáng giá như công nghệ nhận dạng hình ảnh do SenseTime Group tự phát triển. Những công nghệ này đã được thương mại hóa tại Trung Quốc, và đang được công ty xúc tiến đưa vào thị trường Nhật Bản. Cùng với việc triển lãm công nghệ tại các sự kiện nhằm thu hút sự quan tâm từ khách hàng, ông còn nhắm tới mục tiêu mở rộng phát triển đa dạng các ứng dụng như DMS sử dụng công nghệ nhận dạng khuôn mặt của tập đoàn.

Do đó, trong bộ phận đã thảo luận về "sẽ cần một công cụ mô phỏng hỗ trợ khi phát triển hệ thống DMS, vậy nên sử dụng phần mềm nào? cho mục đích gì?". UC-win/Road đã là cái tên nổi bật nhiều năm trong lĩnh vực mô phỏng cảm biến liên quan đến các thiết bị trong hệ thống ADAS khi ông còn đang làm công việc trước đây trong ngành ô tô. Nhóm phát triển đã tiếp cận theo hướng tái lập môi trường thực tế ảo, lặp lại việc thử nghiệm, đánh giá kết quả song song với cải tiến, phát triển thiết kế.

Công ty đã đưa vào sử dụng UC-win/Road vào nửa cuối năm 2018, sử dụng hệ thống mô phỏng lái xe (DS) kết nối với môi trường lái xe thực tế ảo (VR) tạo ra bằng UC-win/Road cho thử nghiệm. Hệ thống DMS sẽ theo dõi và phát hiện các hiện tượng như buồn ngủ, mất tập trung của tài xế (người tham gia thử nghiệm).

Thời điểm đó trùng với giai đoạn chuẩn bị cho triển lãm “Automotive World” (Tokyo) diễn ra vào tháng 1/2019, do đó ông Nishioka đã yêu cầu đẩy nhanh việc đưa vào sử dụng phần mềm để bổ trợ cho công tác phát triển hệ thống, đồng thời phải thiết kế sao cho phù hợp để triển lãm. Kể từ đó, hệ thống DS đã liên tục đồng hành với các sự kiện mà công ty tham gia. Cùng với hệ thống được trưng bày tại showroom văn phòng Tokyo, 2 hệ thống DS cũng đã được lắp đặt và trưng bày tại sự kiện “Automotive World” tháng 1/2020.

Tham gia triển lãm công nghệ người & xe, Nagoya 2019

Ông Sato giải thích rằng, nếu không có UC-win/Road DS, công ty buộc phải tiến hành thử nghiệm chạy một chiếc xe thật, kéo theo đó là thời gian, nhân lực và chi phí bỏ ra lớn hơn. Ngoài ưu điểm dễ sử dụng, hệ thống DS còn cho phép ghi lại dữ liệu (nhật ký) và chuyển đổi thời gian ngày - đêm, thời tiết, tái lập các môi trường thử nghiệm khác nhau để đánh giá trạng thái của người lái. Đặc biệt, UC-win/Road còn hữu ích ở chỗ phần mềm này có thể được kết nối với nhiều plugin, nhiều thiết bị khác nhau.

Thay vì chỉ tập trung vào nghiên cứu các giác quan của người lái xe (như dự án DMS), ông Sato đang chú ý đến khả năng mở rộng tiềm năng của UC-win/Road dưới góc độ nghiên cứu và phát triển mảng HMI. Trong tương lai, nếu UC-win/Road có thể mô phỏng không chỉ xe, đường mà cả nội thất phức tạp của xe và biểu hiện nét mặt của tài xế, ông kỳ vọng công nghệ này sẽ còn có thể phản ánh những thay đổi trong môi trường lái xe một cách chân thực hơn nữa.

"(Với nhu cầu đang lớn dần của thị trường,) sẽ thật tiện lợi khi có thể mô phỏng, tái hiện đồng bộ mọi chi tiết từ bên ngoài đến bên trong xe."