[IQA] 가상의 참조 이미지를 만들어서 평가에 활용하는 NR 방식 알고리즘, BMPRI

오늘 소개하고자 하는 BMPRI는 NR(no-reference) 방식의 이미지 품질 평가(image quality assessment, IQA) 알고리즘이다. BMPRI는 blind multiple reference images-based measure의 약어다. NR 방식이라는 것은 왜곡 이미지의 원본 이미지를 참조하지 않고 품질을 평가한다는 뜻이다. 

 

BMPRI의 original 논문은 2018년에 IEEE Trans. on Broadcasting에 게재된 "Blind Image Quality Estimation via Distortion Aggravation"이다. 상해교통대, 북경이공대, 하얼빈공대에 소속한 연구자들이 이 연구에 참가했다. 

 

이 알고리즘은 꽤 독창적이다. 일반적으로 NR 방식의 IQA 알고리즘들은 3단계로 작동한다. 

1) 왜곡 이미지에서 품질과 관련된 특성을 담고 있는 맵, 즉 특성맵(feature map)을 산출한다.

2) 특성맵에서 적절한 특성들을 도출한다. 

3) 도출한 특성들로 기계학습 알고리즘을 훈련시키고 테스트함으로써 품질에 관한 점수를 얻는다.  

 

그러나 BMPRI는 기존의 NR 알고리즘들과는 사뭇 다르게 작동한다. 먼저 가상의 참조 이미지(pseudo reference image, PRI)를 만든다. 왜곡 이미지를 일부로 더 왜곡시킴으로써! 기존 방식의 경우 참조 이미지는 왜곡이 전혀 없는 원본 이미지였다. 하지만 이 방법에서 "생산"해내는 참조 이미지는 왜곡의 정도가 더 심한 것이다. 4개 유형의 왜곡(blocking, ringing, blurring, noising)을 5개 레벨로 왜곡시킴으로 결과적으로 20개의 PRI가 생산된다.

 

그렇다면 PRI와 왜곡 이미지는 어떤 관계가 있을까? 저자들이 발견한 것은 왜곡이 심한 이미지일수록 PRI와 더 유사하다는 것이다. 이것이 이 방법의 핵심 사상이다.  

 

따라서 왜곡 이미지와 20개의 PRI에서 LBP(local binary pattern)를 계산한다. 그리고 왜곡 이미지의 LBP 특성맵과 20개 PRI의 LBP 특성맵의 유사도를 비교함으로써 총 20개의 값을 얻는다. 그 20개의 값으로 SVR을 훈련시킴으로 최종 품질 점수를 얻는다. 아래 BMPRI의 프레임워크를 참고하자.