안녕하세요. 오늘은 이미지랩에서 수행 중인 연구과제와 1년차 연구수행 내용을 소개하려고 합니다!
과제명은 '노동력 절감 기계수확을 위한 과실 비대 및 수확기 진단기술 개발' 이며,
국립 원예특작과학원에서 주관하며 여러 연구기관과 기업, 학교에서 참여하고 있습니다.
최근 농업 사회는 지속적인 농촌 인구 감소 및 고령화로 인한 노동력 부족으로
노동력 절감을 위한 과원 관리 기술 개발의 중요성이 부각되고 있습니다.
과실을 수확하는 과원에서는 기계 로봇을 활용하는 방안이 대두되고 있으며,
이를 적용하기 위한 핵심 기술 확보가 절실한 실정입니다.
최종 목표는 노지 환경에서 기계수확을 위한 과실 비대 및 수확기 진단기술 개발로,
영상연구소에서는 영상 기반 수확기 과실 특성 판별을 위한 비파괴 측정 기술 개발을 위한
1년차 연구를 수행하였으며, 지금부터 소개하겠습니다!
과제 수행의 전체적인 흐름도
먼저, 과제 수행의 전체적인 흐름은 Fig1과 같습니다.
초분광카메라로 대상체(Target)를 촬영하여 영상데이터를 수집한 후(Image Acquisition),
파괴검사를 진행하고(Destructive Physical Analysis) 실제값을 측정합니다.
데이터 보정(Calibration) 후 스펙트럼 데이터(Spectral Data Extraction)를 추출합니다.
파괴검사 결과 실측 데이터와 스펙트럼 데이터를 라벨링(Labeling) 후
생성된 데이터세트를 활용하여 기계학습을 수행하고(Machine Learning),
결과를 도출 및 최적화(Output and Optimization)를 수행하여
검증하는 과정을 거칩니다(Performance evaluation).
영상데이터 취득 및 스펙트럼 특성 분석
수확기 판별 대상 과실은 착색계 사과 품종인 '홍로(Hong-ro)'입니다.
국립 원예특작과학원에 위치한 과원에서 6월부터 9월까지 걸쳐 총 320장의 영상을 취득하였습니다(Fig2).
Fig2. 품질특성 촬영장치 및 촬영일자 정보
동일한 과실을 대상으로 국립 원예특작과학원에서 품질특성 자료를 위해
파괴검사를 수행하여 과실 품질특성 별 실측값을 조사하였습니다.
취득된 초분광영상의 사과 과실의 스펙트럼 데이터를 추출하여 특성을 분석한 결과,
생장 초기(6월)에서 성숙·수확기(8월 말~9월)에 도달할수록
과실 스펙트럼의 가시광 영역에서 뚜렷한 패턴 변화가 관찰되었습니다.
레이블링 및 기계학습 수행
기계학습을 수행하기에 앞서,
초분광영상에서 추출한 스펙트럼 데이터와 파괴검사 결과를 테이블(matrix)화하여
레이블링(Labeling)을 실시합니다.
쉽게 설명하자면, 여기서 레이블링이란 스펙트럼에 이름(특성)을 붙여주는 작업입니다!
그 다음, 기계학습 수행을 위하여 전체 표본 중 15%를 시험데이터 수로 설정하여
총 표본 268개 중 훈련데이터 230개, 시험데이터 38개로 구분하였습니다.
시험데이터 선정 방법을 두 가지로 구분하여 연구를 진행하였는데요,
첫번째 방법은 촬영 차수를 구분하여 기계학습 알고리즘을 적용하였습니다.
여기서 사용된 알고리즘은 RF(Random Forest), GB(Gradient Boosting), DT(Decision Tree),
XGBM(Extreme Gradient Boosting Machine), LGBM(Light Gradient Boosting Machine)입니다.
기계학습 알고리즘 적용 후 모델 예측 결과 검증을 위해
각 모델 별 상관계수(r²) 및 RMSE를 도출한 결과는 Fig3에 나타나있습니다.
Fig3. 촬영 차수를 구분하여 기계학습 알고리즘 적용한 결과 및 검증 (연구방법1)
두번째 방법은, 촬영 시기를 구분하지 않고 랜덤으로 훈련시킨 후 차원축소를 먼저 진행하고
기계학습 알고리즘을 적용하였습니다.
이 때 활용된 기계학습 알고리즘은 RF(Random Forest), GB(Gradient Boosting), DT(Decision Tree),
차원축소 알고리즘은 SVD(Singular Value Decomposition)니다.
Fig4. 촬영 시기를 구분하지 않고 기계학습 알고리즘 적용한 결과 및 검증 (연구방법2)
과실 영상과 품질인자 간 상관관계 분석
촬영 시기별로 훈련데이터를 균등하게 배분하여 적용한 기계학습 결과(Fig6),
당도 예측은 RF 알고리즘에서 r²≒0.76, GB 알고리즘에서 r²≒0.78,
경도 예측은 GB 알고리즘에서 r²≒0.71,
전분함량 예측은 RF, GB 알고리즘에서 r²≒0.87, XGBM, LGBM 알고리즘에서 r²≒0.84,
산도는 RF, GB, XGBM, LGBM에서 r²이 모두 0.83 이상으로 도출되었습니다.
촬영 시기를 구분하지 않고 랜덤으로 훈련시킨 후 차원축소 및 기계학습 적용 결과(Fig7.),
당도 예측은 RF 알고리즘에서 r²≒0.74,
경도 예측은 RF, GB 알고리즘에서 r²≒0.86,
전분함량 예측은 RF 알고리즘에서 r²≒0.80,
산도 예측은 RF 알고리즘에서 r²≒0.85, GB 알고리즘에서 r²≒0.82로 도출되었습니다.
* 각 상관계수 값은 해당 알고리즘의 평균 수치임.
SVD 적용 후 RF 알고리즘과 GB 알고리즘으로 학습했을 때 당도, 경도, 산도에 대해,
DT 알고리즘으로 학습했을 때는 경도, 전분함량에 대한
상관계수(r²)가 증가하고, RMSE는 감소했습니다.
촬영 시기를 구분한 데이터세트와 구분하지 않은 데이터세트에 기계학습만을 적용했을 때,
촬영 시기를 구분하여 데이터를 학습시켰을 때 전반적으로 높은 r²가 도출되었습니다..
촬영 시기를 구분하여 학습한 후 차원축소를 적용한다면 r² 수치가 더 높아질 것으로 보입니다.
일반적으로 상관계수(r²)가 0.8 이상일 때 모델을 활용하지만 현재 모델은 표본 데이터수가 부족하고
기계학습 적용 초기 단계의 모델이기 때문에 유의미한 결과로 볼 수 있습니다.
전분함량은 생장기와 수확기의 스펙트럼의 변화가 뚜렷하고,
각 시기에 대한 실측값이 명확하기 때문에 표본의 수가 적음에도 불구하고 높은 r²가 도출되었습니다.
데이터 세트 별 상관계수 차이 발생 원인 분석 결과,
대표적인 요인으로 표본 부족, 예외 표본, 노지 환경이 있습니다.
첫째, 기계학습 수행 시 표본이 부족한 점에 대해 향후 3년간 데이터 축척하여 정확도 개선 예정입니다.
둘째, 예외 표본이 훈련 데이터에 포함되면서 정확도에 영향을 미치기 때문에,
향후 학습 표본이 증가할수록 예외데이터 영향 감소를 기대하고 있습니다.
마지막으로, 노지 환경에서 발생하는 다양한 요인이 존재하나
1차년도 연구에서는 광량 보정을 위해 영상 정규화 처리만 수행하였습니다.
이외에도 노지 환경에서 발생하는 다양한 변수(그림자, 대기 영향 등)를
적절하게 처리하기 위한 기술 적용 예정입니다.
과실의 색도 분석 및 정량화 기술개발
과실의 색도는 La*b* 좌표를 활용하여 과실 성숙에 따른 변화 양상을 확인하였습니다.
Fig5. 촬영차수 별 L, a*, b*
Fig5의 플로팅 결과, 촬영차수 별로 L(Lightness) 분포 범위는 대체로 비슷하지만
수확기에 가까워질수록 낮아지는 경향을 보입니다.
L의 범위 별 색도계로 측정한 과실 La*b*좌표와 비교한 결과,
생장기 a*는 -15 전후, 생장기 b*는 약 35-55 이내에 분포하고,
수확기 a*는 약 20-40 이내 분포, 수확기 b*는 약 25-40 이내 분포하고 있습니다.
L에 따라 a*, b* 를 각각 플로팅하여 수확기 사과의 색도 평가 가능성을 확인하였습니다.
이렇게 1차년도 연구과제를 수행하였습니다.
2차년에도 1차년도 연구내용을 기반으로 발전시켜갈 예정인데요,
대표적인 3가지 목표를 간략하게 설명드리겠습니다.
첫번째, 과실 품질정보 수집 및 품질인자 간 상관성 구명(연차 반복)입니다.
과실의 품질정보 수집과 품질인자 간 상관성 분석을 위해 기존 연구 내용 보완하여 진행할 예정입니다.
특히, 기계학습 모델 적용 및 분석을 위해
2차년도 과실의 생장기~수확기인 2022년 6월~9월에 촬영을 진행하여
약 300장의 초분광영상데이터 취득 예정입니다.
두번째, RGB영상 기반 색도 분석 및 정량화 기술 구현입니다.
외부 광원의 영향을 최소화할 수 있는 기술을 구현하여,
수확기 과실의 색도 정량적 평가기술 개발할 예정입니다.
마지막으로, 수확기 과실의 비파괴 품질 평가모델 개발입니다.
영상기반 과실 품질 예측 모델 개발을 위해 기계학습 모델 및 검증 기법 검토하고,
적은 양의 데이터로 기계학습 수행할 수 있는 HSKL 등 추가적인 기법을 검토하여
예측 성능을 높이기 위한 방법 용 예정입니다.
(* Qian caoet al, 2021, HSKL: A MACHINE LEARNING FRAMEWORK
FOR HYPERSPECTRAL IMAGE ANALYSIS, whispers2021)
또한, 노지 환경에서 영향을 미치는 변수 제거를 위해 다양한 기법으로
차원축소 과정을 진행하여 노이즈를 최소화하고 데이터 중요도를 선별할 계획입니다.
우리 영상연구소는 연구과제 수행을 위해
다양한 기법을 지속적으로 검토하고 적용할 예정입니다!
앞으로도 잘 지켜봐주시길 바랍니다.
감사합니다 :)
안녕하세요. 오늘은 이미지랩에서 수행 중인 연구과제와 1년차 연구수행 내용을 소개하려고 합니다!
과제명은 '노동력 절감 기계수확을 위한 과실 비대 및 수확기 진단기술 개발' 이며,
국립 원예특작과학원에서 주관하며 여러 연구기관과 기업, 학교에서 참여하고 있습니다.
최근 농업 사회는 지속적인 농촌 인구 감소 및 고령화로 인한 노동력 부족으로
노동력 절감을 위한 과원 관리 기술 개발의 중요성이 부각되고 있습니다.
과실을 수확하는 과원에서는 기계 로봇을 활용하는 방안이 대두되고 있으며,
이를 적용하기 위한 핵심 기술 확보가 절실한 실정입니다.
최종 목표는 노지 환경에서 기계수확을 위한 과실 비대 및 수확기 진단기술 개발로,
영상연구소에서는 영상 기반 수확기 과실 특성 판별을 위한 비파괴 측정 기술 개발을 위한
1년차 연구를 수행하였으며, 지금부터 소개하겠습니다!
과제 수행의 전체적인 흐름도
먼저, 과제 수행의 전체적인 흐름은 Fig1과 같습니다.
초분광카메라로 대상체(Target)를 촬영하여 영상데이터를 수집한 후(Image Acquisition),
파괴검사를 진행하고(Destructive Physical Analysis) 실제값을 측정합니다.
데이터 보정(Calibration) 후 스펙트럼 데이터(Spectral Data Extraction)를 추출합니다.
파괴검사 결과 실측 데이터와 스펙트럼 데이터를 라벨링(Labeling) 후
생성된 데이터세트를 활용하여 기계학습을 수행하고(Machine Learning),
결과를 도출 및 최적화(Output and Optimization)를 수행하여
검증하는 과정을 거칩니다(Performance evaluation).
영상데이터 취득 및 스펙트럼 특성 분석
수확기 판별 대상 과실은 착색계 사과 품종인 '홍로(Hong-ro)'입니다.
국립 원예특작과학원에 위치한 과원에서 6월부터 9월까지 걸쳐 총 320장의 영상을 취득하였습니다(Fig2).
Fig2. 품질특성 촬영장치 및 촬영일자 정보
동일한 과실을 대상으로 국립 원예특작과학원에서 품질특성 자료를 위해
파괴검사를 수행하여 과실 품질특성 별 실측값을 조사하였습니다.
취득된 초분광영상의 사과 과실의 스펙트럼 데이터를 추출하여 특성을 분석한 결과,
생장 초기(6월)에서 성숙·수확기(8월 말~9월)에 도달할수록
과실 스펙트럼의 가시광 영역에서 뚜렷한 패턴 변화가 관찰되었습니다.
레이블링 및 기계학습 수행
기계학습을 수행하기에 앞서,
초분광영상에서 추출한 스펙트럼 데이터와 파괴검사 결과를 테이블(matrix)화하여
레이블링(Labeling)을 실시합니다.
쉽게 설명하자면, 여기서 레이블링이란 스펙트럼에 이름(특성)을 붙여주는 작업입니다!
그 다음, 기계학습 수행을 위하여 전체 표본 중 15%를 시험데이터 수로 설정하여
총 표본 268개 중 훈련데이터 230개, 시험데이터 38개로 구분하였습니다.
시험데이터 선정 방법을 두 가지로 구분하여 연구를 진행하였는데요,
첫번째 방법은 촬영 차수를 구분하여 기계학습 알고리즘을 적용하였습니다.
여기서 사용된 알고리즘은 RF(Random Forest), GB(Gradient Boosting), DT(Decision Tree),
XGBM(Extreme Gradient Boosting Machine), LGBM(Light Gradient Boosting Machine)입니다.
기계학습 알고리즘 적용 후 모델 예측 결과 검증을 위해
각 모델 별 상관계수(r²) 및 RMSE를 도출한 결과는 Fig3에 나타나있습니다.
Fig3. 촬영 차수를 구분하여 기계학습 알고리즘 적용한 결과 및 검증 (연구방법1)
두번째 방법은, 촬영 시기를 구분하지 않고 랜덤으로 훈련시킨 후 차원축소를 먼저 진행하고
기계학습 알고리즘을 적용하였습니다.
이 때 활용된 기계학습 알고리즘은 RF(Random Forest), GB(Gradient Boosting), DT(Decision Tree),
차원축소 알고리즘은 SVD(Singular Value Decomposition)니다.
Fig4. 촬영 시기를 구분하지 않고 기계학습 알고리즘 적용한 결과 및 검증 (연구방법2)
과실 영상과 품질인자 간 상관관계 분석
촬영 시기별로 훈련데이터를 균등하게 배분하여 적용한 기계학습 결과(Fig6),
당도 예측은 RF 알고리즘에서 r²≒0.76, GB 알고리즘에서 r²≒0.78,
경도 예측은 GB 알고리즘에서 r²≒0.71,
전분함량 예측은 RF, GB 알고리즘에서 r²≒0.87, XGBM, LGBM 알고리즘에서 r²≒0.84,
산도는 RF, GB, XGBM, LGBM에서 r²이 모두 0.83 이상으로 도출되었습니다.
촬영 시기를 구분하지 않고 랜덤으로 훈련시킨 후 차원축소 및 기계학습 적용 결과(Fig7.),
당도 예측은 RF 알고리즘에서 r²≒0.74,
경도 예측은 RF, GB 알고리즘에서 r²≒0.86,
전분함량 예측은 RF 알고리즘에서 r²≒0.80,
산도 예측은 RF 알고리즘에서 r²≒0.85, GB 알고리즘에서 r²≒0.82로 도출되었습니다.
* 각 상관계수 값은 해당 알고리즘의 평균 수치임.
SVD 적용 후 RF 알고리즘과 GB 알고리즘으로 학습했을 때 당도, 경도, 산도에 대해,
DT 알고리즘으로 학습했을 때는 경도, 전분함량에 대한
상관계수(r²)가 증가하고, RMSE는 감소했습니다.
촬영 시기를 구분한 데이터세트와 구분하지 않은 데이터세트에 기계학습만을 적용했을 때,
촬영 시기를 구분하여 데이터를 학습시켰을 때 전반적으로 높은 r²가 도출되었습니다..
촬영 시기를 구분하여 학습한 후 차원축소를 적용한다면 r² 수치가 더 높아질 것으로 보입니다.
일반적으로 상관계수(r²)가 0.8 이상일 때 모델을 활용하지만 현재 모델은 표본 데이터수가 부족하고
기계학습 적용 초기 단계의 모델이기 때문에 유의미한 결과로 볼 수 있습니다.
전분함량은 생장기와 수확기의 스펙트럼의 변화가 뚜렷하고,
각 시기에 대한 실측값이 명확하기 때문에 표본의 수가 적음에도 불구하고 높은 r²가 도출되었습니다.
데이터 세트 별 상관계수 차이 발생 원인 분석 결과,
대표적인 요인으로 표본 부족, 예외 표본, 노지 환경이 있습니다.
첫째, 기계학습 수행 시 표본이 부족한 점에 대해 향후 3년간 데이터 축척하여 정확도 개선 예정입니다.
둘째, 예외 표본이 훈련 데이터에 포함되면서 정확도에 영향을 미치기 때문에,
향후 학습 표본이 증가할수록 예외데이터 영향 감소를 기대하고 있습니다.
마지막으로, 노지 환경에서 발생하는 다양한 요인이 존재하나
1차년도 연구에서는 광량 보정을 위해 영상 정규화 처리만 수행하였습니다.
이외에도 노지 환경에서 발생하는 다양한 변수(그림자, 대기 영향 등)를
적절하게 처리하기 위한 기술 적용 예정입니다.
과실의 색도 분석 및 정량화 기술개발
과실의 색도는 La*b* 좌표를 활용하여 과실 성숙에 따른 변화 양상을 확인하였습니다.
Fig5. 촬영차수 별 L, a*, b*
Fig5의 플로팅 결과, 촬영차수 별로 L(Lightness) 분포 범위는 대체로 비슷하지만
수확기에 가까워질수록 낮아지는 경향을 보입니다.
L의 범위 별 색도계로 측정한 과실 La*b*좌표와 비교한 결과,
생장기 a*는 -15 전후, 생장기 b*는 약 35-55 이내에 분포하고,
수확기 a*는 약 20-40 이내 분포, 수확기 b*는 약 25-40 이내 분포하고 있습니다.
L에 따라 a*, b* 를 각각 플로팅하여 수확기 사과의 색도 평가 가능성을 확인하였습니다.
이렇게 1차년도 연구과제를 수행하였습니다.
2차년에도 1차년도 연구내용을 기반으로 발전시켜갈 예정인데요,
대표적인 3가지 목표를 간략하게 설명드리겠습니다.
첫번째, 과실 품질정보 수집 및 품질인자 간 상관성 구명(연차 반복)입니다.
과실의 품질정보 수집과 품질인자 간 상관성 분석을 위해 기존 연구 내용 보완하여 진행할 예정입니다.
특히, 기계학습 모델 적용 및 분석을 위해
2차년도 과실의 생장기~수확기인 2022년 6월~9월에 촬영을 진행하여
약 300장의 초분광영상데이터 취득 예정입니다.
두번째, RGB영상 기반 색도 분석 및 정량화 기술 구현입니다.
외부 광원의 영향을 최소화할 수 있는 기술을 구현하여,
수확기 과실의 색도 정량적 평가기술 개발할 예정입니다.
마지막으로, 수확기 과실의 비파괴 품질 평가모델 개발입니다.
영상기반 과실 품질 예측 모델 개발을 위해 기계학습 모델 및 검증 기법 검토하고,
적은 양의 데이터로 기계학습 수행할 수 있는 HSKL 등 추가적인 기법을 검토하여
예측 성능을 높이기 위한 방법 용 예정입니다.
(* Qian caoet al, 2021, HSKL: A MACHINE LEARNING FRAMEWORK
FOR HYPERSPECTRAL IMAGE ANALYSIS, whispers2021)
또한, 노지 환경에서 영향을 미치는 변수 제거를 위해 다양한 기법으로
차원축소 과정을 진행하여 노이즈를 최소화하고 데이터 중요도를 선별할 계획입니다.
우리 영상연구소는 연구과제 수행을 위해
다양한 기법을 지속적으로 검토하고 적용할 예정입니다!
앞으로도 잘 지켜봐주시길 바랍니다.
감사합니다 :)