본 문서에서는 ICLR '25 학회에서 발표된 "SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning" 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다.
- Title : SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning
- Authors: Minjun Kim, Jongjin Kim, and U Kang
- Conference: The Thirteenth International Conference on Learning Representations (ICLR 2025)
Zero-shot Quantization
CNN (Convolutional Neural Network) 모델들은 이미지 분류, 객체 탐지를 포함한 컴퓨터 비전 분야에서 핵심적인 기술로, 다양한 응용 분야에서 높은 성능을 보이고 있습니다. 그러나 CNN 모델들의 크기와 높은 연산량은 컴퓨팅 자원이 제한되어있는 환경에서 큰 제약이 됩니다. 그래서, 모바일 기기와 IoT 환경과 같은 자원이 제한된 환경에서 이러한 모델들을 사용하려면 모델 압축 기술이 필수적입니다. 특히, 의료, 군사, 금융, 안보 등 보안 및 프라이버시로 인해 데이터가 제한된 환경에서도 딥러닝 모델을 도입하기 위해서는 데이터가 제한된 환경에서 모델을 압축하는 기술이 요구됩니다. 그러므로, 해당 논문은 데이터가 제한된 환경에서 기학습된 CNN 모델을 성능을 유지하면서 압축하는 것을 목표로 합니다.
모델을 압축하는 방법에는 양자화 (quantization), 가지치기 (pruning), 가중치 공유 (weight sharing), 지식 증류 (knowledge distillation) 등이 있습니다. 이 중 quantization은 고비트의 모델을 저비트의 숫자로 표현하여 높은 압축률과 빠른 추론 속도를 달성하면서, 성능 저하를 최소화하는 효과적인 모델 압축 방법입니다. 이 중 학습 데이터가 없는 상황에서 모델을 quantization하는 경우 (zero-shot quantization), 전체 데이터의 수가 부족하므로 새로운 합성 데이터를 생성하여 모델을 학습합니다. 먼저, 기학습된 모델을 사용하여 원본 데이터와 유사한 합성 데이터를 생성한 후, 생성된 이미지를 활용하여 양자화 모델의 가중치 행렬을 미세 조정하는 2단계 과정으로 이루어집니다. 하지만, 저자들은 기존 방법들이 1) 노이즈가 많은 합성 데이터셋을 생성하며, 2) 조정된 모델들이 잘못된 패턴 기반으로 예측하며, 3) 오류가 많은 하드 레이블을 항상 사용하여 성능 최적화에 어려움을 겪고 있다고 지적합니다. 정리하면, 본 논문은 기존 zero-shot quantization 방법들이 가지는 아래의 세 가지 문제점들을 해결하였습니다.
- (합성 데이터셋의 노이즈) 기존 방법들은 노이즈가 포함된 합성 데이터셋을 활용하여 양자화된 모델을 미세 조정합니다. 어떻게 하면 생성된 이미지에서 노이즈의 영향을 최소화할 수 있을까요?
- (잘못된 패턴 기반의 예측) 양자화된 모델은 기학습된 모델과 달리 잘못된 이미지 영역을 기반으로 예측을 수행합니다. 어떻게 하면 양자화된 모델이 올바른 패턴을 더 정확히 활용하도록 최적화할 수 있을까요?
- (틀린 하드 레이블로 인한 오도) 어려운 샘플에서 높은 오류율을 보임에도 기존 연구들은 잘못된 하드 레이블을 신뢰합니다. 하드 레이블로 인한 오도를 어떻게 하면 해결할 수 있을까요?
Proposed Method
.jpeg)
그림 1.SynQ의 핵심 기법들
- (저역 통과 필터 적용) 주파수 도메인에서 Gaussian 저역 통과 필터를 활용하여 데이터셋의 노이즈를 제거합니다.
- (클래스 활성화 맵 적용) 기학습된 모델과 양자화된 모델 간 클래스 활성화 맵을 정렬하여, 기학습된 모델에서 양자화된 모델로 올바른 이미지 영역을 식별하는 지식을 직접적으로 증류합니다.
- (어려운 샘플에 대한 소프트 레이블 사용) 어려운 샘플에 대해서는 사전 학습된 모델의 소프트 레이블 또는 예측값만을 사용하여 미세 조정을 수행함으로써 모호성을 줄입니다.
그림 1은 SynQ의 핵심 기법들을 도식화한 것입니다. Idea 1은 저역 통과 필터 적용, Idea 2는 클래스 활성화 맵 적용, 그리고 Idea 3은 어려운 샘플에 대한 소프트 레이블 사용을 나타냅니다. SynQ는 먼저 임의의 레이블로부터 합성 데이터셋을 생성합니다. 이후 Gaussian 저역 통과 필터를 활용하여 노이즈를 제거하고 샘플을 정제합니다. 이렇게 정제된 데이터셋을 사용하여, SynQ는 KL divergence loss와 cross-entropy loss를 활용하여, 양자화된 모델을 미세 조정합니다. 또한, SynQ는 CAM alignment loss를 최적화하여 activation map alignment를 개선하고, 이를 통해 양자화된 모델이 salient한 부분을 제대로 탐지할 수 있도록 합니다. 마지막으로, SynQ는 샘플의 난이도에 따라 cross-entropy loss 적용 여부를 결정하기 위해 threshold를 활용합니다.
SynQ는 합성 데이터를 활용하는 모든 기존 방법들과 호환이 가능하다는 점에서 장점을 가집니다. 이에 해당 기법 중에서 좋은 성능을 보이는 것으로 보고된 calibration center synthesis, difficult sample generation, 그리고 sample difficulty promotion 방법을 채택하여 실험을 설계하였습니다. 이어지는 절에서는 SynQ의 아이디어들에 대해 더 자세히 설명하도록 하겠습니다.
Low-pass Filter
실제 데이터셋을 모방하는 합성 데이터셋을 생성하는 기존 방법들의 주요 한계는 생성된 합성 데이터셋에 포함된 노이즈입니다. Fourier 변환을 이용하여 주파수 도메인에서 데이터셋의 노이즈 강도를 조사하면, 실제 데이터셋은 주로 저주파 성분을 보이는 반면, 합성 데이터셋은 고주파 성분이 더 많이 포함되어 있어 더 높은 수준의 선명도와 노이즈를 나타냅니다. 그러므로, SynQ는 이 노이즈를 완화하기 위해 생성된 이미지들에 가우시안 저역 통과 필터를 적용합니다. 가우시안 저역 통과 필터는 Fourier 변환을 수행하여 주파수 도메인에서 작동하며, 역 Fourier 변환을 이용하여 필터링된 샘플을 얻는 방식으로 작동합니다.
Alignment of Class Activation Map
Soft Labels for Difficult Samples
Experiments
