학과소식

딥러닝 기반 실시간 기침 인식 카메라 개발

관리자 2020.08.12

    
(좌측부터) 박용화 교수 (KAIST), 김영기 대표 (에스엠인스트루먼트), 이경태 박사과정, 김성후 박사과정, 남현욱 박사과정 (KAIST)
 

그림1. 합성곱 신경망 기반의 기침 인식 모델 구조


그림2. 기침 인식 카메라의 외형 및 신호처리 블록선도


  
그림3. 연구실 환경에서 기침 인식 카메라의 기침 발생 위치표시

그림4. 기침 인식 카메라의 적용 시나리오 (병실 환자 모니터링)
 

기계공학과 박용화 교수 연구팀이 ㈜에스엠 인스트루먼트(대표 김영기)와 공동으로 실시간으로 기침 소리를 인식해 그 위치를 이미지로 표시해주는 기침 인식 카메라를 개발했다고 밝혔습니다. 
최근 세계적 유행성 전염병인 코로나19 사태로 인해 전염병을 비접촉식으로 감지하는 기술에 대한 수요가 증가하고 있습니다. 코로나19의 대표적인 증상이 발열과 기침인데, 현재 발열은 열화상 카메라를 통해 비접촉식으로 판별할 수 있습니다. 연구팀은 기침 소리를 실시간으로 인식하기 위해 딥러닝 기반의 기침 인식 모델을 개발하고 열화상 카메라와 같이 기침 소리와 기침하는 사람을 시각화하기 위해 음향 카메라에 적용했습니다. 이를 통해 기침을 한 사람과 위치, 기침 횟수 등을 실시간으로 추적 및 기록할 수 있습니다. 이 기술은 향후 사람이 밀집한 공공장소에서 전염병의 유행을 감지하거나 병실에서 환자의 상태를 상시 모니터링하는 의료용 장비로 활용될 것으로 보입니다.
 
연구진은 기침 인식 모델의 개발을 위해 *합성 곱 신경망(convolutional neural network, CNN)을 기반으로 *지도학습(supervised learning)을 적용했습니다. 1초 길이 음향신호의 특징(feature)을 입력 신호로 받아, 1(기침) 또는 0(그 외)의 2진 신호를 출력한다. 학습률 최적화를 위해 일정 기간 학습률이 정체하면 학습률 값을 낮추도록 설정했습니다. 연구진은 기침 인식 모델의 훈련(training) 및 평가(validation)를 위해 `Audioset', `DEMAND', `ETSI' 및 `TIMIT' 등의 데이터 세트를 수집했습니다. 여기서 `Audioset'은 훈련 및 평가 데이터 세트 구성을 위해 사용했으며, 나머지는 이 모델이 다양한 배경 소음을 학습할 수 있도록 데이터 증강(data augmentation)을 위한 배경 소음으로 사용했습니다.
 
☞ 합성 곱 신경망(convolutional neural network): 시각적 이미지를 분석하는 데 사용되는 인공신경망(생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘)의 한 종류
☞ 지도학습(Supervised Learning): 훈련 데이터(Training Data)로부터 하나의 함수를 유추해내기 위한 기계 학습(Machine Learning)의 한 방법
 
데이터 증강은 배경 소음을 15%~75%의 비율로 `Audioset'에 섞은 후, 다양한 거리에 적응하도록 0.25~1.0배로 음량을 조정했습니다. 훈련 및 평가 데이터 세트는 증강된 데이터 세트를 9:1 비율로 나눠 구성했으며, 시험(test) 데이터 세트는 따로 사무실에서 녹음한 것을 사용했습니다. 모델 최적화를 위해 5개의 음향 특징 (spectrogram, Mel-scaled spectrogram and Mel-frequency cepstrum coefficients 등) 및 7개의 최적화기(optimizer)를 사용해 학습을 진행했으며, 시험 데이터 세트의 시험 정확도(test accuracy)로 그 성능을 확인했습니다. 연구진의 정밀한 테스트 결과, 87.4%의 시험 정확도를 얻을 수 있었습니다.
 
학습된 기침 인식 모델을 음향 카메라에 적용하였습니다. 음향 카메라는 소리를 수집하는 마이크로폰 어레이와 카메라 모듈로 구성됩니다. 수집된 데이터는 음원의 위치를 계산하는 빔 형성(beamforming) 과정을 거친 후, 기침 인식 모델이 기침 소리로 인식했을 경우, 촬영된 이미지 상의 기침 소리가 난 위치에 기침 소리임을 나타내는 등고선과 라벨이 표시됩니다.
 
연구실 환경에서 개발된 기침 인식 카메라의 예비 시험(pilot test)을 진행한 결과, 잡음 환경에서도 기침과 그 이외의 소리를 구분하고 기침한 사람과 그 위치 그리고 횟수 등을 실시간으로 추적해 향후 적용 가능성을 확인할 수 있었습니다. 연구팀 관계자는 추후 병원 등 실사용 환경에서 추가 학습을 진행하면 정확도를 더 높일 수 있을 것으로 예상한다고 말했습니다.
 
박용화 교수는 "코로나19 상황에서 공공장소 및 다수 밀집 시설에 기침 인식 카메라를 적용하면, 전염병의 방역 및 조기 감지에 사용될 수 있다ˮ며 "특히 병실에 적용하면 환자의 상태를 24시간 기록해 치료에 활용할 수 있으므로 의료진의 수고를 줄이고 환자 상태를 정밀하게 파악할 수 있을 것ˮ 이라고 강조했습니다.
 
한편, 이번 연구는 에너지기술평가원과 산업통상자원부의 지원을 받아 수행되었습니다.

 

* 발명의 명칭: 딥러닝 기반의 기침 인식 카메라 (Deep Learning based Cough Recognition Camera)

* 출원 번호: 10-2020-0084770 (2020년 7월)

* 관련 영상 링크 : https://youtu.be/h_CBfD8JRk4