학과소식

윤국진 교수 연구팀, 이벤트 카메라를 활용하여 초저조도/초고조도 환경에서도 모션 블러 없는 고화질 및 고해상도 영상 생성이 가능한 알고리즘 개발

관리자 2020.05.12

파일


그림 1. 교사 학습 기반의 딥러닝 알고리즘 구조도 (논문명: Learning to Super Resolve Intensity Images from Events)



그림 2. 교사 학습 기반의 딥러닝 알고리즘을 통한 이벤트 데이터의 초고해상도 이미지 복원 예시
(논문명: Learning to Super Resolve Intensity Images from Events)
 

그림 3. 비교사 학습 기반의 딥러닝 알고리즘 구조도
(논문명: EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning)

그림 4. 비교사 학습 기반의 딥러닝 알고리즘을 통한 이벤트 데이터의 초고해상도 이미지 복원(고속의 물체(위)와 저조도 환경(아래) 예시
(논문명: EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning)

윤국진 교수 연구팀은 카메라 각 화소에 입사하는 빛의 세기의 변화에 반응하여 광역동적범위(High Dynamic Range)에서 매우 짧은 지연 시간을 갖는 비동기적 이벤트 데이터를 영상 정보로 제공하는 이벤트 카메라(Event Camera)를 활용하여 고화질의 초고해상도의 영상을 복원하는 기술을 개발하였습니다. 이벤트 카메라는 기존 RGB 카메라가 영상을 획득할 수 없었던 고조도/저조도 환경에서도 영상 데이터 획득이 가능하고 또한 초고속 움직임을 갖는 피사체에 대한 영상 데이터 획득이 가능하다는 장점이 있으나 기존의 영상과는 다른 형태의 영상 정보를 제공하기 때문에 기존의 영상 이해 기술을 접목시키기 어렵고 또한 센서의 제약으로 인해 영상의 해상도가 낮다는 단점이 있습니다. 이번 연구에서 윤국진 교수 연구팀은 이러한 이벤트 카메라의 장점을 유지하면서 이벤트 데이터로부터 고화질의 초고해상도의 영상을 생성해 내기 위한 최적화된 심층 신경망과 학습 방법들을 제안하였습니다. 윤국진 교수가 주도하고 광주과학기술원 연구팀(박사과정 Mohammad Mostafavi 학생, 최종현 교수)이 공동으로 참여한 연구(논문명: Learning to Super Resolve Intensity Images from Events)에서는 교사 학습 기반의 딥러닝 방법론에 대한 연구를 진행하였고, 박사과정 왕린 학생과 윤국진 교수 연구팀이 주도하고 영국 임페리얼 칼리지 김태균 교수가 공동으로 참여한 연구(논문명: EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning)에서는 적대적 신경망 기반의 비교사 학습 방법론을 제안하였다. 개발된 두 방법들 모두 이벤트 카메라의 장점을 유지할 수 있어 초당 최대 100만 프레임의 영상 생성이 가능합니다. 두 연구 결과들은 오는 6월에 개최x`되는 컴퓨터비전/기계학습 분야 세계 최고 권위의 국제 학술대회인 IEEE/CVF 컴퓨터비전 및 패턴인식 국제학술대회 (IEEE Conference on Computer Vision and Pattern Recognition, CVPR)에 각각 구술/포스터 논문으로 발표될 예정입니다. 본 연구 결과는 자율주행 자동차, 드론, 로봇에 접목되어 조명의 변화가 극심한 환경이나 초고속 움직임을 분석해야 하는 환경에서의 영상 기반 상황 인식을 위해 활용될 것으로 기대됩니다.
 
본 연구는 한국연구재단 중견연구자지원사업(NRF-2018R1A2B3008640)과 차세대정보・컴퓨팅기술개발사업(NRF-2017M3C4A7069369)의 지원을 받아 수행되었습니다.
 
<논문 정보>
- S. Mohammad Mostafavi I., Jonghyun Choi, and Kuk-Jin Yoon, “Learning to Super Resolve Intensity Images from Events”, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020 (oral presentation).
- Lin Wang, Tae-Kyun Kim, and Kuk-Jin Yoon, “EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning”, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020 (poster presentation)