본 문서에서는 2023년 ICCV학회에서 발표될 "Fast and Accurate Transferability Measurement by Evaluating Intra-class Feature Variance" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다.
- Title: Fast and Accurate Transferability Measurement by Evaluating Intra-class Feature Variance
- Authors: Huiwen Xu and U Kang
- Conference: International Conference on Computer Vision (ICCV) 2023
Transferability Measurement
전이학습 (transfer learning)은 머신러닝 모델이 소스 도메인 (source domain)에 대해 학습한 지식을 다른 새로운 타겟 도메인 (target domain)으로 전송하여 새로운 도메인에 대한 학습 효율과 성능을 향상시키는 기법입니다. 만약 여러개의 학습된 소스 모델이 있을 경우, 전이학습을 하기전 어떤 소스 모델이 타겟 도메인의 성능 향상에 가장 효과적인지 빠르고 정확하게 예측하는것이 매우 중요합니다. 미리 훈련된 다양한 모델들이 인터넷에서 많이 배포되어 있는데, 주어진 데이터셋으로 모든 모델에 대해 전이학습을 진행하면 시간이 많이 소모됩니다. 때문에 주어진 데이터셋에 가장 도움이 되는 모델을 찾기 위하여 전이성 평가 (transferability measurement)가 필요합니다. 전이성 평가는 소스 도메인에서 학습된 모델이 타겟 도메인에 전이된 후 타겟 모델 성능을 반영합니다. 그림 1은 전이성 평가를 활용하여 주어진 데이터셋에 가장 적합한 소스 모델을 찾는 예시를 보여주고 있습니다.
그림 1. 주어진 데이터셋에 가장 적합 소스 모델을 찾는 예시.
본 논문에서는 전이학습을 적용하기 전 타겟 데이터셋에 적합한 최적의 소스 모델을 찾기위한 전이성 평가 문제를 다룹니다. 구체적인 문제 정의는 다음과 같습니다.
- 주어진 정보
- 소스 데이터로 미리 학습된 모델 (학습된 모델만 있고, 데이터는 주어지지 않음)
- 레이블이 있는 타겟 데이터
- 목표
- 타겟 데이터로 소스 모델을 fine-tuning했을 때의 모델 정확도를 빠르고 정확하게 반영하는 전이성 평가
Fine-tuning은 전이 학습에서 가장 많이 사용하는 방법 중 하나인데, 소스 도메인에서 미리 훈련된 모델을 타겟 도메인으로 가져와서 해당 모델의 레이어를 새로운 도메인에 맞게 조정하고 추가적인 모델 학습을 통하여 성능을 향상시킵니다.
전이성 평가는 정확하고 빠르고 광범위한 적용이 가능해야 합니다. 최근 전이성 평가를 위한 다양한 연구가 있는데 아래와 같은 제한점이 있습니다. 첫째로, 미리 학습된 소스 모델을 타겟 도메인에서 학습을 통해 전이성을 평가함으로써 평가 시간이 많이 소모됩니다. 둘째로, 전이학습에서 분류기만 학습하는 re-train head 기법의 성능을 반영하는 전이성 평가를 목표로 하기때문에 실제 fine-tuning 성능은 제대로 예측하지 못합니다. Re-train head는 전이학습 방법중 하나인데 fine-tuning보다 성능이 낮고, 심지어 타겟 데이터로만 학습한 타겟 모델의 성능보다 더 낮다로 알려져있기때문에 타겟 모델 성능 향상에 도움이 되는 fine-tuning성능을 정확하게 예측하는것이 더 중요합니다. 셋째로, 자기지도학습으로 학습된 모델의 전이성 평가가 어렵습니다. 자기지도학습으로 확보된 모델은 일반적으로 분류기가 없기 때문에 feature extractor 레이어만 사용해서 전이성 평가를 진행해야 됩니다.
Proposed Method
본 논문에서는 미리 학습된 모델이 타겟 도메인에서의 전이성을 평가하기 위하여 TMI (Transferability Measurement by Evaluating Intra-class Feature Variance)을 제안합니다. 기존 연구들의 제한점을 해결하고자 TMI는 다음과 같은 조건을 만족하도록 설계가 되었습니다
- 학습과정 없이 단 한번의 forward 과정을 통해 얻는 정보를 활용하여 평가 시간을 단축시킵니다.
- 학습된 모델이 새로운 도메인에서의 일반화 능력을 측정함으로써 fine-tuning 성능을 예측하게 합니다.
- 피쳐 생성 레이어의 아웃풋을 사용하여 분류기가 없는 소스 모델의 전이성 평가도 가능하게 합니다.
TMI는 조건부 엔트로피를 사용하여 같은 클래스를 가진 타겟 피쳐의 분산을 통해서 전이성을 평가합니다. Fine-tuning 성능을 예측하기 위하여 모델의 일반화 능력을 평가하고자 한는데, 같은 클래스를 가진 타겟 피쳐의 분산은 사전 훈련된 모델이 새로운 데이터에 대한 일반화 능력을 갖도록 장려합니다. 같은 클래스를 가진 타겟 피쳐가 뭉쳐있으면 소스 모델이 전이를 하기 전 상태에서 분류 성능은 높지만, 모델 일반화 성능이 낮기 때문에 전이학습을 하였을 때 성능 향상은 어렵습니다. 반대로 같은 클래스를 가진 타겟 피쳐들이 분산되어 있으면 모델 일반화 성능이 높기 때문에, 전이후 성능 향상이 큽니다. TMI는 같은 클래스를 가진 타겟 피쳐들의 분산정도가 클수록 전이성이 높다고 평가합니다. 구체적인 수식 정의 및 계산은 논문을 참고하기 바랍니다.
Experiments
본 논문에서 제안한 TMI 방법의 유효성을 검증하기 위하여 기존 기법들과 비교 실험을 진행합니다. 본 실험은 50개의 미리 학습된 소스 모델이 있을 때, 주어진 타겟 도메인과 모델별 전이성을 평가하여 모델별 실제 전이성능과의 상관관계가 높은지를 비교합니다. 그림 2에서 각 플롯의 X축은 시간을 나타내고 Y측은 전이성과 전이성능의 상관계수를 나타냅니다. 시간은 0에 가까울수록 좋고, 상관계수는 1에 가까울수록 좋은 성능을 의미합니다. 타겟 데이터 17개에서 실험을 진행한 결과 TMI는 시간과 상관관계의 가장 좋은 트레이드오프를 가집니다. 
그림 2. TMI와 경쟁 방법들의 성능 비교.
Conclusion
본 문서에서는 2023년 ICCV학회에서 발표될 "Fast and Accurate Transferability Measurement by Evaluating Intra-class Feature Variance" 논문을 소개하였습니다. 해당 논문은 미리 학습된 모델이 타겟 도메인에서의 전이성을 빠르고 정확하게 평가할 수 있는 TMI ( Transferability Measurement by Evaluating Intra-class Feature Variance) 알고리즘을 제안하였습니다. TMI는 다양한 데이터에서 경쟁 기법보다 우수한 성능을 보여주었습니다.
본 논문은 이미지 분류문제에서 전이학습을 적용하기 전, 최적의 학습 모델을 찾는데 유용하게 활용될 수 있습니다. 예를 들어, 온라인 쇼핑 플랫폼에 판매자가 사진을 업로드하면 자동으로 카테고리를 지정해주는 모델을 학습해야 하는데, 이때 수많은 사전 학습된 모델중에서 성능 향상에 도움이 되는 최적의 모델을 빠르고 정확하게 선택하는데 활용할 수 있습니다. 한편 환자의 흉부 CT사진을 사용하여 폐렴여부를 판별하는 서비스와 같이 사전 학습된 모델이 하나만 있을 경우, TMI는 최적의 전이층을 찾는데 유용하게 쓰일 수 있습니다.