Development of Deep Learning-Based Real-Time Human Activity Recognition Technology Using HMD 6DoF Data
2026. 04 ~ 2026. 07
Development of Deep Learning-Based Real-Time Human Activity Recognition Technology Using HMD 6DoF Data
Funded by CAU-RISE
HMD 6DoF 데이터를 활용한 딥러닝 기반 실시간 동작 인식 기술 개발
RISE 사업단의 지원을 받아 HMD의 6DoF 데이터를 활용한 딥러닝 기반 실시간 동작 인식 기술에 관한 연구를 수행하고자 합니다.
본 연구는 별도의 추가 장비 없이 HMD의 6DoF 센서 데이터만을 활용하여 학습 데이터를 구축하고, 이를 기반으로 딥러닝 기반의 실시간 동작 인식 모델을 개발하는 것을 목표로 하였습니다.
연구 개요
산업현장에서는 다양한 위험 요소로 인해 안전사고가 지속적으로 발생하고 있으며, 작업자의 행동을 사전에 인지하고 신속하게 대응하는 기술의 중요성이 더욱 강조되고 있습니다.
기존의 산업안전 교육은 주입식 문서 기반 교육 중심으로 이루어져 실제 현장 상황에 대한 몰입감과 행동 데이터 기반 분석에 한계가 존재합니다.
본 연구에서는 기존 VR 산업안전 교육 콘텐츠를 활용하여 HMD의 6DoF 기반 위치, 속도, 가속도 및 회전 정보를 실시간으로 수집하고, 이를 시계열 기반 액티비티 로깅 데이터로 구조화하여 딥러닝 학습 데이터를 구축하였습니다. 또한 신체 이동 정보와 머리 자세 정보를 동시에 반영할 수 있는 실시간 동작 인식 모델을 개발하고자 하였습니다.
HMD 6DoF 데이터 실시간 수집 및 액티비티 로깅 구조화
신체 동작 및 머리 움직임 통합 분석을 위한 경량 딥러닝 모델 설계
추가 장비가 필요 없는(Sensor-less) 실시간 동작 인식 파이프라인
인식 정확도(85% 이상) 및 지연시간(1초 이내) 최적화
그림 1. 연구 전체 시스템 구성도
연구 수행 계획
1. 데이터 수집 및 구조화
HMD의 6DoF 센서 데이터를 실시간으로 수집하고, 시계열 스트리밍 기술을 활용해 분석에 최적화된 액티비티 로깅 데이터셋으로 구조화합니다.
그림 2. 데이터 수집 및 구조화 과정
2. 동작 인식 알고리즘 최적화
작업자의 미세한 머리 움직임과 주요 신체 동작을 자동으로 인식하는 딥러닝 모델을 개발하고, 실시간 처리를 위해 모델 최적화 및 시스템 통합을 수행합니다.
그림 3. 딥러닝 모델 최적화
3. 정량적 평가 시스템 구축
인식된 동작 데이터를 바탕으로 위험 상황에서의 반응 속도와 행동 적절성을 정밀 분석하여, 교육생의 안전 역량을 수치화할 수 있는 평가 기반을 마련합니다.