지난 번에 이어서 WHISPERS 학회에서 발표되었던 논문을 소개합니다.
오늘의 주제는 Kasra Pafiezadeh Shahi 외 5인이 발표한
'A multi-sensor subspace-based clustering algorithm using RGB and hyperspectral data'입니다.
이 논문에서 주목할 점은 초분광영상에 RBG영상이 포함되어 있음에도 불구하고
추가로 RGB영상을 취득하여 이용했다는 것입니다.
초분광센서는 매우 뛰어난 분광 해상도(spectral resolution)를 제공하지만
공간 해상도(spatial resoluion)는 낮다는 한계점이 존재합니다.
따라서 이를 보완하기 위해 높은 화소를 갖는 RGB 카메라로 영상을 취득하여
추가로 공간 해상도(spatial resoluion)가 높은 영상데이터를 활용하였습니다.
이 부분을 참고하며 아래의 알고리듬을 살펴봅시다!
오늘 소개할 multi-sensor subspace-based clustering algorithm은
RGB영상과 초분광영상을 활용하여 분류를 수행하는 알고리듬입니다.
먼저, 워크플로우는 그림1과 같습니다.
그림1. 워크플로우
먼저, 초분광영상과 RGB영상을 각각 취득하고,
스펙트럼(spectral) 정보를 도출하기 위해 초분광영상에
subspace-based clustering algorithm을 적용합니다.
RGB영상은 resampling한 후 PCA(주성분분석), Edge detection를 실시하고
공간(spatial) 정보를 추출하기 위해 Hidden Markov random field를 이용하여
Final clustering map, 즉 최종 분류 맵을 도출합니다.
각 과정에 대한 공식을 소개하기 전에 인자를 설명드리겠습니다.
식1은 ESC에 사용되는 최적화 문제를 공식으로 나타낸 것입니다.
식1
C는 희소 계수 행렬로, 클러스터링 절차를 시작하려면 랜덤 표본을 선택합니다.
여기서 C는 W로 표현되는 유사성 그래프 계산에 사용됩니다.
최종 클러스터링 맵(M)을 얻기 위해 스펙트럼 클러스터링은 유사성 그래프에서 수행됩니다.
subspace-based clustering algorithm(ESC)는 그래프를 기반으로 하는 클러스터링 모델로,
각 데이터의 점들과 다른 데이터의 점 사이에 선을 긋고 유사한 정도에 따라 가중치를 부여합니다.
이 때 가중치는 두 데이터간의 유사점이 많으면 1, 아니면 0으로 설정하여 이를 기준으로 두 그룹으로 분류됩니다.
Hidden Markov random field(HMRF)는 Markov Random Field에 의해 생성된 확률 기반 모델로서,
'보이지 않는 상태'가 추가된 모델입니다.
Hidden state를 추가하는 것은 단순히 '관측 데이터’에만
의존하는 것이 아닌 더욱 더 고차원적인 문제를 해결하기 위한 것으로,
예를 들어 공기의 상쾌한 정도를 판별하는 것이 아니라 매우좋음, 좋음, 보통, 나쁨, 매우 나쁨 등으로 구분하고,
이에 따라 대기질이 바뀐다는 고차원적인 패턴을 모델링하기 위해 활용됩니다.
영상에서는 공간(spatial) 정보를 추출하는 강력한 도구로 사용되며
ESC에서 얻은 클러스터링 결과를 사용하여 초기 레이블과 매개 변수를 추정합니다.
Maximum a posterior(MAP)와 expectation-maximization(EM)를 사용하여 클래스 라벨과 매개 변수 세트를 업데이트하며, 관련된 공식은 각각 식2와 식3, 식4와 식5에 나타나있습니다.
식2와 식3
식4와 식5
분류기법의 적용을 위해 드론을 이용하여 영상을 취득하였으며
초분광영상은 3.3cm의 공간해상도와 504-900nm 내의 50개 밴드를 가지고 있고,
RGB 영상은 1.5cm의 공간해상도를 가지고 있습니다.
데이터세트는 그림2와 같이 두 개의 이미지(이하 a와 b로 구분)를 활용하여
지질학적 특성(Dust-soil, Feldspar-Pegmatite, Glimmerite, Carbonatite, Mixed)을 분류하고자 하였습니다.
그림2. (a)지질학적 특성을 분류하기 위한 데이터세트, (b)또다른 데이터세트
제안된 알고리듬의 성능은 K-평균 기반 ESC 및 엔트로피 기반 컨센서스 클러스터링(ECC)과 비교하였습니다.
적용된 모든 클러스터 처리 방법에서, 개발자들이 제안한 기본 매개변수가 사용되었고
클러스터링 결과 및 실제 지반과 일치하는 일치 함수로,
할당 문제를 해결하기 위한 헝가리 알고리듬 기반의bestMap(G,M)을 적용하였습니다.
다음은 데이터세트a와 b의 클러스터링 결과를 표와 그림으로 나타난 것입니다.
표1과 표2는 클러스터링 모델(ECC, ESC, HMRF)을 활용하여
Dust-soil, Feldspar-Pegmatite, Glimmerite, Carbonatite, Mixed에 대해
OA(전체정확도), AA(평균정확도) 및 Kappa(카파계수)를 제시하였습니다.
그림 3, 그림4의 (a)는 RGB, (b)는 ground-truth, (c)는 ECC(HSI), (d)는 ECC(HSI+RGB),
(e)는 ESC(HSI), (f)는 ESC(HSI+RGB), (g)는 HRMF(HSI), (h)는 HRMF(HSI+RGB)이며,
OA는 전체정확도(%)를 나타냅니다.
데이터세트 a는 표1과 그림3과 같습니다.
표1. 데이터세트 a의 클러스터링 정확도
그림3. 데이터세트 a의 클러스터링 결과
데이터세트 b는 표2와 그림4와 같습니다.
표2. 데이터세트 b의 클러스터링 정확도
그림4. 데이터세트 b의 클러스터링 결과
표와 그림에서 확인할 수 있듯이
ECC와 HMRF는 두 가지 영상(HSI+RGB)을 모두 사용했을 때 정확도가 증가하였고,
데이터세트 a,b의 전체 정확도는 HMRF(HSI+RGB)를 적용했을 때 가장 높은 것으로 나타났습니다.
다만, carbonatite는 낮은 정확도를 보여 이를 분류하기에는 적절하지 않다고 생각됩니다.
이 논문에서는 RGB와 HSI 영상을 융합하여 클러스터링 성능을 향상시키는 효과를 조사하였습니다.
영상 취득과 전처리 이후에 subspace-based clustering algorithm(ESC)을 적용하여
초분광영상에서 하위 공간 정보를 추출하였습니다.
그 다음, Hidden Markov random field(HMRF)을 사용하여 RGB 이미지에서
공간(spatial) 정보를 추출하여 ESC 결과에 공간 정보를 통합하였습니다.
제안된 알고리듬은 두 개의 실제 지질 데이터 세트에 적용되었으며,
그 결과 제안된 방법이 다른 클러스터링 알고리듬에 비해 잘 분류해낸다는 것을 확인할 수 있습니다.
이처럼 낮은 공간해상도(spatial resolution)라는 초분광영상의 한계점을 극복하기 위해
RGB영상을 함께 사용하여 더 나은 결과를 도출해냈습니다.
아직 갈 길은 멀지만 앞으로도 초분광영상의 한계를 극복하고 보완하는 방법을
하나씩 적용하다보면 기술적으로 더 '완벽'에 가까워지지 않을까 살며시 기대해봅니다.
영상연구소에서 진행하는 연구과제들도 초분광영상과 RGB영상을 함께 활용하여 영상을 취득하고 있는데요,
이 논문처럼 낮은 공간해상도를 보완하고, 가능하다면 이 알고리듬을 활용해보고자 합니다.
연구에 대한 적용과 좋은 결과를 소개하는 날을 바라며 많은 응원과 관심 부탁드립니다!
※ 참고문헌 출처
· Kasra Pafiezadeh Shahi et al, 2021,A multi-sensor subspace-based clustering algorithm using RGB and hyperspectral data, IEEE whispers2021
지난 번에 이어서 WHISPERS 학회에서 발표되었던 논문을 소개합니다.
오늘의 주제는 Kasra Pafiezadeh Shahi 외 5인이 발표한
'A multi-sensor subspace-based clustering algorithm using RGB and hyperspectral data'입니다.
이 논문에서 주목할 점은 초분광영상에 RBG영상이 포함되어 있음에도 불구하고
추가로 RGB영상을 취득하여 이용했다는 것입니다.
초분광센서는 매우 뛰어난 분광 해상도(spectral resolution)를 제공하지만
공간 해상도(spatial resoluion)는 낮다는 한계점이 존재합니다.
따라서 이를 보완하기 위해 높은 화소를 갖는 RGB 카메라로 영상을 취득하여
추가로 공간 해상도(spatial resoluion)가 높은 영상데이터를 활용하였습니다.
이 부분을 참고하며 아래의 알고리듬을 살펴봅시다!
오늘 소개할 multi-sensor subspace-based clustering algorithm은
RGB영상과 초분광영상을 활용하여 분류를 수행하는 알고리듬입니다.
먼저, 워크플로우는 그림1과 같습니다.
그림1. 워크플로우
먼저, 초분광영상과 RGB영상을 각각 취득하고,
스펙트럼(spectral) 정보를 도출하기 위해 초분광영상에
subspace-based clustering algorithm을 적용합니다.
RGB영상은 resampling한 후 PCA(주성분분석), Edge detection를 실시하고
공간(spatial) 정보를 추출하기 위해 Hidden Markov random field를 이용하여
Final clustering map, 즉 최종 분류 맵을 도출합니다.
각 과정에 대한 공식을 소개하기 전에 인자를 설명드리겠습니다.
식1은 ESC에 사용되는 최적화 문제를 공식으로 나타낸 것입니다.
식1
C는 희소 계수 행렬로, 클러스터링 절차를 시작하려면 랜덤 표본을 선택합니다.
여기서 C는 W로 표현되는 유사성 그래프 계산에 사용됩니다.
최종 클러스터링 맵(M)을 얻기 위해 스펙트럼 클러스터링은 유사성 그래프에서 수행됩니다.
subspace-based clustering algorithm(ESC)는 그래프를 기반으로 하는 클러스터링 모델로,
각 데이터의 점들과 다른 데이터의 점 사이에 선을 긋고 유사한 정도에 따라 가중치를 부여합니다.
이 때 가중치는 두 데이터간의 유사점이 많으면 1, 아니면 0으로 설정하여 이를 기준으로 두 그룹으로 분류됩니다.
Hidden Markov random field(HMRF)는 Markov Random Field에 의해 생성된 확률 기반 모델로서,
'보이지 않는 상태'가 추가된 모델입니다.
Hidden state를 추가하는 것은 단순히 '관측 데이터’에만
의존하는 것이 아닌 더욱 더 고차원적인 문제를 해결하기 위한 것으로,
예를 들어 공기의 상쾌한 정도를 판별하는 것이 아니라 매우좋음, 좋음, 보통, 나쁨, 매우 나쁨 등으로 구분하고,
이에 따라 대기질이 바뀐다는 고차원적인 패턴을 모델링하기 위해 활용됩니다.
영상에서는 공간(spatial) 정보를 추출하는 강력한 도구로 사용되며
ESC에서 얻은 클러스터링 결과를 사용하여 초기 레이블과 매개 변수를 추정합니다.
Maximum a posterior(MAP)와 expectation-maximization(EM)를 사용하여 클래스 라벨과 매개 변수 세트를 업데이트하며, 관련된 공식은 각각 식2와 식3, 식4와 식5에 나타나있습니다.
식2와 식3
식4와 식5
분류기법의 적용을 위해 드론을 이용하여 영상을 취득하였으며
초분광영상은 3.3cm의 공간해상도와 504-900nm 내의 50개 밴드를 가지고 있고,
RGB 영상은 1.5cm의 공간해상도를 가지고 있습니다.
데이터세트는 그림2와 같이 두 개의 이미지(이하 a와 b로 구분)를 활용하여
지질학적 특성(Dust-soil, Feldspar-Pegmatite, Glimmerite, Carbonatite, Mixed)을 분류하고자 하였습니다.
그림2. (a)지질학적 특성을 분류하기 위한 데이터세트, (b)또다른 데이터세트
제안된 알고리듬의 성능은 K-평균 기반 ESC 및 엔트로피 기반 컨센서스 클러스터링(ECC)과 비교하였습니다.
적용된 모든 클러스터 처리 방법에서, 개발자들이 제안한 기본 매개변수가 사용되었고
클러스터링 결과 및 실제 지반과 일치하는 일치 함수로,
할당 문제를 해결하기 위한 헝가리 알고리듬 기반의bestMap(G,M)을 적용하였습니다.
다음은 데이터세트a와 b의 클러스터링 결과를 표와 그림으로 나타난 것입니다.
표1과 표2는 클러스터링 모델(ECC, ESC, HMRF)을 활용하여
Dust-soil, Feldspar-Pegmatite, Glimmerite, Carbonatite, Mixed에 대해
OA(전체정확도), AA(평균정확도) 및 Kappa(카파계수)를 제시하였습니다.
그림 3, 그림4의 (a)는 RGB, (b)는 ground-truth, (c)는 ECC(HSI), (d)는 ECC(HSI+RGB),
(e)는 ESC(HSI), (f)는 ESC(HSI+RGB), (g)는 HRMF(HSI), (h)는 HRMF(HSI+RGB)이며,
OA는 전체정확도(%)를 나타냅니다.
데이터세트 a는 표1과 그림3과 같습니다.
표1. 데이터세트 a의 클러스터링 정확도
그림3. 데이터세트 a의 클러스터링 결과
데이터세트 b는 표2와 그림4와 같습니다.
표2. 데이터세트 b의 클러스터링 정확도
그림4. 데이터세트 b의 클러스터링 결과
표와 그림에서 확인할 수 있듯이
ECC와 HMRF는 두 가지 영상(HSI+RGB)을 모두 사용했을 때 정확도가 증가하였고,
데이터세트 a,b의 전체 정확도는 HMRF(HSI+RGB)를 적용했을 때 가장 높은 것으로 나타났습니다.
다만, carbonatite는 낮은 정확도를 보여 이를 분류하기에는 적절하지 않다고 생각됩니다.
이 논문에서는 RGB와 HSI 영상을 융합하여 클러스터링 성능을 향상시키는 효과를 조사하였습니다.
영상 취득과 전처리 이후에 subspace-based clustering algorithm(ESC)을 적용하여
초분광영상에서 하위 공간 정보를 추출하였습니다.
그 다음, Hidden Markov random field(HMRF)을 사용하여 RGB 이미지에서
공간(spatial) 정보를 추출하여 ESC 결과에 공간 정보를 통합하였습니다.
제안된 알고리듬은 두 개의 실제 지질 데이터 세트에 적용되었으며,
그 결과 제안된 방법이 다른 클러스터링 알고리듬에 비해 잘 분류해낸다는 것을 확인할 수 있습니다.
이처럼 낮은 공간해상도(spatial resolution)라는 초분광영상의 한계점을 극복하기 위해
RGB영상을 함께 사용하여 더 나은 결과를 도출해냈습니다.
아직 갈 길은 멀지만 앞으로도 초분광영상의 한계를 극복하고 보완하는 방법을
하나씩 적용하다보면 기술적으로 더 '완벽'에 가까워지지 않을까 살며시 기대해봅니다.
영상연구소에서 진행하는 연구과제들도 초분광영상과 RGB영상을 함께 활용하여 영상을 취득하고 있는데요,
이 논문처럼 낮은 공간해상도를 보완하고, 가능하다면 이 알고리듬을 활용해보고자 합니다.
연구에 대한 적용과 좋은 결과를 소개하는 날을 바라며 많은 응원과 관심 부탁드립니다!
※ 참고문헌 출처
· Kasra Pafiezadeh Shahi et al, 2021,A multi-sensor subspace-based clustering algorithm using RGB and hyperspectral data, IEEE whispers2021