[IQA] 이미지품질평가 모델 개발에 대한 세가지 접근법: 상향식, 하향식, 데이터 중심

어떤 공학적 문제를 해결하는데 있어서는 여러 접근법(approach)이 존재할 수 있습니다. 이미지품질평가(image quality assessment, IQA) 문제를 해결하는데 있어서도 마찬가지입니다. 수많은 접근법이 존재하지만, 큰 틀에서는 비슷한 접근법들이 있기 때문에 몇 개의 카테고리로 범주화시킬 수 있습니다. Bosse 등[1]은 IQA 알고리즘을 크게 세 유형으로 분류했습니다. 이렇게 분류한 것이 꽤 괜찮다는 생각이 들어 소개해드립니다. 

 

1. 상향식(bottom-up) 접근

사람시각시스템(human visual system, HVS)의 작동 방식을 모델링하는 알고리즘들이 여기에 속합니다. 사람이 두 눈으로 이미지를 보고 그에 대한 정보를 뇌에서 처리해서 궁극적으로 어떻게 그 이미지에 대한 품질을 평가하는지에 대한 일련의 과정 중 흉내낼 수 있는 것을 흉내내어 모델을 개발하는 것이죠. 

 

2. 하향식(top-down) 접근

HVS를 하나의 블랙박스로 보고, 이미지 통계가 왜곡에 의해 변화한 정도를 포착합니다. 블랙박스로 본다는 것은 어떻게 작동하는지 정확하게 이해할 수 없는 깜깜이 함수로 본다는 뜻입니다. 이미지 품질에 대한 특성을 도출한 후 회귀 분석으로 이어지는 알고리즘들이 여기에 속합니다.  

 

3. 데이터 중심(data-driven) 접근

특성 도출과 회귀 분석을 딥러닝 알고리즘에 전적으로 맡깁니다. '어떤 특성을 사용하면 좋겠다', '어떤 회귀 방법을 사용하는 것이 좋겠다'를 연구자가 결정하는 것이 아니라, 데이터가 스스로 결정하게 합니다. 이 접근의 경우는 양질의 데이터가 필수적입니다. 양질의 데이터가 많이 있어야합니다. 

 

 

점차 딥러닝 기술이 발전해가면서 3번째 접근법에 의한 모델들이 많이 개발되고 있습니다. 그러나 3번째 접근법으로만 모델을 개발하다보면, 연구자 입장에서 배울 수 있는 것이 별로 없습니다. 데이터만 넣어주면 알아서 컴퓨터가 해주기 때문입니다. 성능은 좋을 수 있지만, 왜 성능이 좋은지는 구체적으로 이해하기 어려운 것이죠. 그래서 2번째 접근법을 이용해서, 어떤 특성들이 이미지품질과 연관이 있을지 스스로 찾아보고 그것을 이용해서 모델을 만들어봐야 HVS에 대해서 더 이해할 수 있습니다. 1번째 접근법이 어쩌면 가장 어려운데, HVS에 대한 연구가 많이 깊어졌음에도 여전히 이해하지 못하고 있는 부분이 훨씬 더 많기 때문입니다. 즉, 사람 뇌 속에서 어떤 일이 벌어지고 있는지 현재로서는 완벽하게 알 수가 없다는 뜻입니다. 어쩌면 영원히 사람의 뇌를 완벽하게 모델링해내는 것은 불가능할 수도 있습니다. 현실적으로 가능한 것은 사람의 뇌를 비교적 단순하게 모델링해서 그것을 기반으로 한 IQA 모델을 개발하는 것이죠. 

 

IQA 연구 분야에 대한 지식이 깊어지려면, 1, 2, 3번째 접근법을 모두 이용해서 모델을 개발해보는 것이 좋습니다. IQA에 관심있거나 연구 중이신 분들께 도움이 되었길 바라며, 이 글은 여기서 맺겠습니다. 

 

 

<참고자료>

[1] Bosse, Sebastian, et al. "Deep neural networks for no-reference and full-reference image quality assessment." IEEE Transactions on Image Processing 27.1 (2017): 206-219.