이미지 확대보기이번 연구는 카이스트(KAIST) 윤국진 교수 연구팀, 영국 임페리얼 칼리지(Imperial College) 김태균 교수 연구팀, 지스트(GIST) 최종현 교수 연구팀 공동으로 2차례 진행됐다.
윤국진 교수는 “이벤트 카메라를 활용한 영상 기반 상황 인식을 위한 기술”이라며 새로 개발한 기술에 관해 설명했다. 이어 “조명 변화가 극심한 상황에서 사용 가능하고 초고속 움직임도 분석할 수 있어 자율주행 자동차, 드론, 로봇 등에 다양하게 활용될 것으로 기대한다”고 밝혔다.
기존 RGB(빨강, 초록, 파랑)기반 카메라는 초저조도·초고조도 환경에서는 영상을 제대로 획득하지 못한다. 반면, 공동 연구팀이 개발한 알고리즘은 빛이 아주 약하거나 강한 상황에서도 고화질·고해상도 영상을 생성한다. 초고속 움직임에도 선명한 고프레임율 영상을 생성할 수 있다. 연구팀이 이벤트 카메라를 사용했기 때문이다. 이벤트 카메라는 빛의 세기 변화에 반응해 광역동적범위(High Dynamic Range)에서 지연 시간이 매우 짧은 개별 이벤트 데이터를 영상 정보로 제공한다.
광역동적범위(HDR)이란 빛이 가장 어두운 범위부터 가장 밝은 범위까지를 설명하는 단위다. 이벤트 데이터는 특정 시간 동안 생성된 데이터를 의미한다.
이벤트 카메라는 기존 RGB 기반 카메라 영상과는 다른 형태로 영상 정보를 제공한다. 이로 인해 기존 영상 이해 기술 접목이 어렵고 센서의 제한이 있어 영상 해상도가 낮다는 한계를 지닌다.
이미지 확대보기연구팀은 이벤트 카메라의 한계를 극복하고 이벤트 데이터에서 고화질 초고해상도 영상을 생성하기 위해 최적화된 심층 신경망과 학습 알고리즘을 제안했다. 일정 시간 동안 생성된 이벤트 데이터를 쌓아 딥러닝 기반의 합성곱 신경망을 통해 영상을 생성하는 방식이다. 두 차례 공동연구에서 제안된 교사 학습, 비교사 학습 기반 알고리즘 모두 초당 최대 100만 프레임 영상 생성이 가능하다. 조명 변화가 심하거나 고속 움직임이 있는 환경에서도 응용 가능할 것으로 기대된다.
정답을 입력해 문제에 최적화시키는 기계 학습은 교사 학습, 정답 없이 스스로 학습하면 비교사 학습이다.
차진희 기자 postmoneynews@gmail.com
