안녕하세요 오랜만에 새로운 자료 소개를 위해 찾아왔습니다^_^
오늘 소개할 논문은 바로~
2020년에 발표된 Shailesh Deshpande, Rohit Thakur, Balamuralidhar P의
' Learning Deep Spectral Features For Hyperspectral Data using convolution
over spectral signature shape' 입니다!
이 자료를 소개하기에 앞서, 컨볼루션(convolution)에 대해 간단히 설명드리겠습니다.
컨볼루션은 하나의 함수와 또 다른 함수를 역전(reverse)하여 값을 이동(shift)시키면서 곱한 다음,
그 값들을 더하여 새로운 값 또는 함수를 구하는 수학 연산자입니다.
아주 간단한 예제로 살펴볼까요?
먼저, 3개의 값을 갖는 f(x)와 g(x)가 있다고 합시다.
이 두 함수를 컨볼루션하기 위해서 하나의 함수, 즉 f(x)는 그대로 두고
또 다른 함수인 g(x)를 역전시킵니다.
그리고 나서, 두 함수의 값을 각각 곱한 후 더해줍니다.
실제로 복잡한 함수식을 사용하여 계산하며,
입력에 대한 출력값을 계산하여 영상을 필터링하기 위해 많이 사용합니다.
컨볼루션과 신경망을 결합시켜 성능을 발휘할 수 있도록 만든 알고리즘을
컨볼루션 신경망(CNN, Convolutional Neural Networks)이라고 합니다.
CNN은 다양한 사례에서 매우 흔하게 사용되고 있어 머신러닝 관련 공부를 하셨다면 익숙하실텐데요.
입력데이터를 컨볼루션과 샘플링을 반복하여 데이터양을 줄이면서 패턴을 찾아 분류하는 방법으로,
영상과 음석에서 좋은 성능을 보이며 손으로 쓴 숫자를 인식하는 경우에도 활용되고 있습니다.
초분광영역에서 CNN이 활용되기 시작한 건 얼마 되지 않았습니다.
스펙트럼 컨볼루션에 의해 추출된 특징이 스펙트럼 영역에서 해석하기 어렵기 때문에
일관되고 해석 가능한 스펙트럼 특징을 추출할 수 있는 대체 메커니즘을 찾게 되었습니다.
대체 메커니즘은 서로 다른 파장 세그먼트 커널에 의한 1차원 컨볼루션과
스펙트럼 형태에 대한 2차원 컨볼루션이 있습니다.
이 논문에서는 후자에 초점을 맞춰서,
초분광스펙트럼 픽셀 벡터를 2차원 분광 특성으로 변환한 다음,
형성된 그래프의 이미지에 대해 컨볼루션을 수행합니다.
계산은 어떻게 이루어질까요?
분광 특성의 그래프를 그리고 해당 그래프의 이미지를 CNN 아키텍처의 입력데이터로 사용합니다.
우리 분광 특성이라고 생각하는 그래프가 꼬불꼬불한 곡선의 모양으로 변환됨에 따라,
다른 컨볼루션 계층에서 학습된 계층적 특징을 사용하여 이 피처(feature)를 분해할 수 있습니다.
위에서 말했듯이 이미지를 사용하여 손으로 쓴 숫자를 인식하는 것과 같습니다.
이로써 deep architecture는 분광 해석과 일치하는 특징을 배울 수 있고,
특성에 해당하는 자료를 식별해낼 수 있습니다.
이 때 식별된 결과는 우리가 해석한 분광 특성과 유사하겠죠?
결과를 확인하기 위해 두 가지 아키텍처를 활용하여 비교하였습니다.
첫 번째 아키텍처는 1차원 파형 아키텍처로, Figure1에서 보시다시피
각각의 블록에서 처음 두 개의 콘볼루션 레이어는 3x3의 커널 크기를 가지며
각 블록의 마지막 콘볼루션 레이어는 5x5의 커널 크기를 가집니다.
각 블록의 마지막 컨볼루션 레이어는 오버핏을 방지하기 위해 드롭아웃 레이어가 뒤따르고
최대 풀링 과정에서 중요한 정보가 손실되기 때문에 네트워크에서 최대 풀링을 사용하지 않았으며,
모든 컨볼루션 블록의 각 컨볼루션 레이어는 각각 32, 64, 128개의 피쳐 맵으로 구성되어 있습니다.
두 번째 아키텍처는 재구성 손실로 수정된 CapsuleNet입니다.
범주형 교차 엔트로피 손실 함수를 사용하여 예측값과 실제 값 사이의 손실을
계산할 수 있도록 레이블에 대해 인코딩을 수행합니다.
범주형 교차 엔트로피는 예측 분포를 실제 분포와 비교하는데,
여기서 실제 클래스는 인코딩 벡터로 표현되며 예측이 해당 벡터에 가까울수록 손실이 낮습니다.
학습 속도가 0.01이고 모멘텀이 0.5인 확률적 경사 하강(SGD)을 사용하였고,
결과를 확인 하기 위해 파비아 대학 데이터 세트를 활용하여 분류를 수행하였습니다.
Figure1. Block Diagram architecture
Figure1의 파란 사각형 안에 3x3, 5x5가 커널 크기이고,
파란사각형과 초록사각형이 연결된 형태는 블록을 의미합니다.
아마 이 내용을 처음 보신다면 이해하기 어려우실거라 생각됩니다.
유튜브에 convolution neural network 검색하면 기본적인 내용에 대한 강의가 많이 있으니 참고하시길 바랍니다.
파비아 대학 데이터 세트는 ROSIS-3 센서로 수집된 초분광영상입니다.
430nm에서 860nm의 파장 범위를 포함하는 103개의 밴드, 1.3m의 공간 해상도를 가지며
아스팔트, 목초지, 자갈, 나무, 도색된 금속판, 맨 흙, 비침, 자기 차단 벽돌, 그림자를 포함하여
9개의 클래스로 표현합니다.
Figure2. 파비아 대학세트
출처: Reduced 3-D Deep Learning Framework for Hyperspectral Image Classification
P1은 일반적인 아키텍처, P2는 재구성 손실이 있는 P1이고(Figure 1),
P3은 표준 캡슐넷, P4는 재구성 손실이 있는 캡슐넷이고,
훈련 및 검증 데이터 세트에서 클래스의 비율이 유지되도록 계층화된 분할을 배치하는
5배 교차 검증을 수행하였습니다.
Table1에서 나타낸 바와 같이
변환된 픽셀 벡터(P2, P4)는 이전 아키텍처(P1, P3)에서 픽셀 벡터보다 더 좋은 분류정확도를 보이며,
특히 재구성 손실 캡슐넷(P4)을 사용했을 때 더 좋은 분광 특성을 나타냈습니다.
Table1. Comparison of classification accuracies(in % age)
이 논문에서 심층 신경망(deep neural networks)은
초분광 픽셀 벡터를 2차원 분광 특성으로 변환하여 입력데이터로 활용하고
스펙트럼 특성을 자동으로 학습합니다.
두 컨볼루션 계층에서 발견되는 원시 요소 사이의 일관된 연관성을 구축하도록 설계되었으며,
Figure3과 같이 분광 특성을 모양으로 인식하여 학습하고 시각화하여 확인할 수 있었습니다.
Figure3. 학습된 스펙트럼 특성의 시각화. 스펙트럼 모양의 활성화된 부분을 빨간색으로 나타냄.
일반적으로 초분광 픽셀을 차원 벡터(n = 밴드 수)로 취급하고 별도의 컨볼루션을 수행하였지만
학습된 스펙트럼의 의미가 무시되어 스펙트럼의 해석에 어려움이 있던 반면,
이 논문에서는 초분광 픽셀을 2차원 스펙트럼 그래프(모양)로 단순 변환한 다음
컨볼루션을 수행하고 대상체에 대한 분광학적 지식을 사용하여 해석할 수 있는
분광 특성을 학습하여 보다 좋은 결과를 도출할 수 있었습니다.
아직 초분광분야에서의 CNN 활용에 대한 사례는 많지 않지만
앞으로 더 활발하게 연구되어 소개될 것이라 예상합니다.
영상연구소에서도 지속적으로 최신 사례를 탐색하고 있으며,
빠른 시일 내로 CNN 활용에 대한 새로운 사례 소개를 기대합니다!
· Shailesh, D., Rohit, T., P. Balamuralidhar, 2021, Learning Deep Spectral Features For Hyperspectral Data using convolution over spectral signature shape, 11th Workshop on Hyperspectral Imaging and Signal Processing: Evolution in Remote Sensing(WHISPERS).
· 파비아 대학 데이터 세트: Laban, N., Abdellatif, B., Ebeid, H. M., Shedeed, H. A., Tolba, M. F.,2019, Reduced 3-D Deep Learning Framework for Hyperspectral Image Classification. Handbook of Experimental Pharmacology, 13–22.
안녕하세요 오랜만에 새로운 자료 소개를 위해 찾아왔습니다^_^
오늘 소개할 논문은 바로~
2020년에 발표된 Shailesh Deshpande, Rohit Thakur, Balamuralidhar P의
' Learning Deep Spectral Features For Hyperspectral Data using convolution
over spectral signature shape' 입니다!
이 자료를 소개하기에 앞서, 컨볼루션(convolution)에 대해 간단히 설명드리겠습니다.
컨볼루션은 하나의 함수와 또 다른 함수를 역전(reverse)하여 값을 이동(shift)시키면서 곱한 다음,
그 값들을 더하여 새로운 값 또는 함수를 구하는 수학 연산자입니다.
아주 간단한 예제로 살펴볼까요?
먼저, 3개의 값을 갖는 f(x)와 g(x)가 있다고 합시다.
이 두 함수를 컨볼루션하기 위해서 하나의 함수, 즉 f(x)는 그대로 두고
또 다른 함수인 g(x)를 역전시킵니다.
그리고 나서, 두 함수의 값을 각각 곱한 후 더해줍니다.
실제로 복잡한 함수식을 사용하여 계산하며,
입력에 대한 출력값을 계산하여 영상을 필터링하기 위해 많이 사용합니다.
컨볼루션과 신경망을 결합시켜 성능을 발휘할 수 있도록 만든 알고리즘을
컨볼루션 신경망(CNN, Convolutional Neural Networks)이라고 합니다.
CNN은 다양한 사례에서 매우 흔하게 사용되고 있어 머신러닝 관련 공부를 하셨다면 익숙하실텐데요.
입력데이터를 컨볼루션과 샘플링을 반복하여 데이터양을 줄이면서 패턴을 찾아 분류하는 방법으로,
영상과 음석에서 좋은 성능을 보이며 손으로 쓴 숫자를 인식하는 경우에도 활용되고 있습니다.
초분광영역에서 CNN이 활용되기 시작한 건 얼마 되지 않았습니다.
스펙트럼 컨볼루션에 의해 추출된 특징이 스펙트럼 영역에서 해석하기 어렵기 때문에
일관되고 해석 가능한 스펙트럼 특징을 추출할 수 있는 대체 메커니즘을 찾게 되었습니다.
대체 메커니즘은 서로 다른 파장 세그먼트 커널에 의한 1차원 컨볼루션과
스펙트럼 형태에 대한 2차원 컨볼루션이 있습니다.
이 논문에서는 후자에 초점을 맞춰서,
초분광스펙트럼 픽셀 벡터를 2차원 분광 특성으로 변환한 다음,
형성된 그래프의 이미지에 대해 컨볼루션을 수행합니다.
계산은 어떻게 이루어질까요?
분광 특성의 그래프를 그리고 해당 그래프의 이미지를 CNN 아키텍처의 입력데이터로 사용합니다.
우리 분광 특성이라고 생각하는 그래프가 꼬불꼬불한 곡선의 모양으로 변환됨에 따라,
다른 컨볼루션 계층에서 학습된 계층적 특징을 사용하여 이 피처(feature)를 분해할 수 있습니다.
위에서 말했듯이 이미지를 사용하여 손으로 쓴 숫자를 인식하는 것과 같습니다.
이로써 deep architecture는 분광 해석과 일치하는 특징을 배울 수 있고,
특성에 해당하는 자료를 식별해낼 수 있습니다.
이 때 식별된 결과는 우리가 해석한 분광 특성과 유사하겠죠?
결과를 확인하기 위해 두 가지 아키텍처를 활용하여 비교하였습니다.
첫 번째 아키텍처는 1차원 파형 아키텍처로, Figure1에서 보시다시피
각각의 블록에서 처음 두 개의 콘볼루션 레이어는 3x3의 커널 크기를 가지며
각 블록의 마지막 콘볼루션 레이어는 5x5의 커널 크기를 가집니다.
각 블록의 마지막 컨볼루션 레이어는 오버핏을 방지하기 위해 드롭아웃 레이어가 뒤따르고
최대 풀링 과정에서 중요한 정보가 손실되기 때문에 네트워크에서 최대 풀링을 사용하지 않았으며,
모든 컨볼루션 블록의 각 컨볼루션 레이어는 각각 32, 64, 128개의 피쳐 맵으로 구성되어 있습니다.
두 번째 아키텍처는 재구성 손실로 수정된 CapsuleNet입니다.
범주형 교차 엔트로피 손실 함수를 사용하여 예측값과 실제 값 사이의 손실을
계산할 수 있도록 레이블에 대해 인코딩을 수행합니다.
범주형 교차 엔트로피는 예측 분포를 실제 분포와 비교하는데,
여기서 실제 클래스는 인코딩 벡터로 표현되며 예측이 해당 벡터에 가까울수록 손실이 낮습니다.
학습 속도가 0.01이고 모멘텀이 0.5인 확률적 경사 하강(SGD)을 사용하였고,
결과를 확인 하기 위해 파비아 대학 데이터 세트를 활용하여 분류를 수행하였습니다.
Figure1. Block Diagram architecture
Figure1의 파란 사각형 안에 3x3, 5x5가 커널 크기이고,
파란사각형과 초록사각형이 연결된 형태는 블록을 의미합니다.
아마 이 내용을 처음 보신다면 이해하기 어려우실거라 생각됩니다.
유튜브에 convolution neural network 검색하면 기본적인 내용에 대한 강의가 많이 있으니 참고하시길 바랍니다.
파비아 대학 데이터 세트는 ROSIS-3 센서로 수집된 초분광영상입니다.
430nm에서 860nm의 파장 범위를 포함하는 103개의 밴드, 1.3m의 공간 해상도를 가지며
아스팔트, 목초지, 자갈, 나무, 도색된 금속판, 맨 흙, 비침, 자기 차단 벽돌, 그림자를 포함하여
9개의 클래스로 표현합니다.
Figure2. 파비아 대학세트
출처: Reduced 3-D Deep Learning Framework for Hyperspectral Image Classification
P1은 일반적인 아키텍처, P2는 재구성 손실이 있는 P1이고(Figure 1),
P3은 표준 캡슐넷, P4는 재구성 손실이 있는 캡슐넷이고,
훈련 및 검증 데이터 세트에서 클래스의 비율이 유지되도록 계층화된 분할을 배치하는
5배 교차 검증을 수행하였습니다.
Table1에서 나타낸 바와 같이
변환된 픽셀 벡터(P2, P4)는 이전 아키텍처(P1, P3)에서 픽셀 벡터보다 더 좋은 분류정확도를 보이며,
특히 재구성 손실 캡슐넷(P4)을 사용했을 때 더 좋은 분광 특성을 나타냈습니다.
Table1. Comparison of classification accuracies(in % age)
이 논문에서 심층 신경망(deep neural networks)은
초분광 픽셀 벡터를 2차원 분광 특성으로 변환하여 입력데이터로 활용하고
스펙트럼 특성을 자동으로 학습합니다.
두 컨볼루션 계층에서 발견되는 원시 요소 사이의 일관된 연관성을 구축하도록 설계되었으며,
Figure3과 같이 분광 특성을 모양으로 인식하여 학습하고 시각화하여 확인할 수 있었습니다.
Figure3. 학습된 스펙트럼 특성의 시각화. 스펙트럼 모양의 활성화된 부분을 빨간색으로 나타냄.
일반적으로 초분광 픽셀을 차원 벡터(n = 밴드 수)로 취급하고 별도의 컨볼루션을 수행하였지만
학습된 스펙트럼의 의미가 무시되어 스펙트럼의 해석에 어려움이 있던 반면,
이 논문에서는 초분광 픽셀을 2차원 스펙트럼 그래프(모양)로 단순 변환한 다음
컨볼루션을 수행하고 대상체에 대한 분광학적 지식을 사용하여 해석할 수 있는
분광 특성을 학습하여 보다 좋은 결과를 도출할 수 있었습니다.
아직 초분광분야에서의 CNN 활용에 대한 사례는 많지 않지만
앞으로 더 활발하게 연구되어 소개될 것이라 예상합니다.
영상연구소에서도 지속적으로 최신 사례를 탐색하고 있으며,
빠른 시일 내로 CNN 활용에 대한 새로운 사례 소개를 기대합니다!
· Shailesh, D., Rohit, T., P. Balamuralidhar, 2021, Learning Deep Spectral Features For Hyperspectral Data using convolution over spectral signature shape, 11th Workshop on Hyperspectral Imaging and Signal Processing: Evolution in Remote Sensing(WHISPERS).
· 파비아 대학 데이터 세트: Laban, N., Abdellatif, B., Ebeid, H. M., Shedeed, H. A., Tolba, M. F.,2019, Reduced 3-D Deep Learning Framework for Hyperspectral Image Classification. Handbook of Experimental Pharmacology, 13–22.