본 문서에서는 KDD 2024 학회에 발표될 "Fast and Accurate Domain Adaptation for Irregular Tensor Decomposition" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다.
- Title : Fast and accurate domain adaptation for irregular tensor decomposition
- Authors: Junghun Kim, Ka Hyun Park, Jun-Gi Jang and U Kang
- Conference: ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD) 2024
Introduction
불규칙 텐서 (irregular tensor) 는 3차원 텐서에서 한 축의 길이가 다른 형태의 데이터를 의미합니다. 실세계의 여러 데이터들은 불규칙 텐서 (irregular tensor) 로 표현됩니다. 예를 들어 특정 바이러스에 감염된 환자들의 데이터는 각 환자가 하나의 슬라이스 (slice) 형태로 존재하는 불규칙 텐서로 표현됩니다. 이 때 각 슬라이스는 ("입원 기간", "의료 정보") 의 정보가 담겨있는데, 환자들에게 얻은 "의료 정보"의 종류는 동일하므로 (예를 들어 심장 박동, 맥박 등) 슬라이스들의 "의료 정보"의 길이는 동일합니다. 하지만 모든 환자들의 입원 기간이 다르기 때문에 슬라이스들의 "입원 기간" 축의 길이는 다릅니다. 이러한 불규칙 텐서를 분석하는 대표적인 기법으로는 PARAFAC2 가 있습니다. PARAFAC2 분해 기법은 주어진 불규칙 텐서를 저차원 요인 행렬들 (low-rank factor matrices) 로 분해하여 중요한 특징을 추출합니다.
멀티 도메인 불규칙 텐서 (multi-domain irregular tensor) 는 여러 도메인에 존재하는 불규칙 텐서들의 집합입니다. 멀티 도메인 불규칙 텐서 또한 실세계에서 쉽게 접할 수 있습니다. 예를 들어 주식 데이터에서 각 주식은 특정 섹터에 속합니다. 이 때 각 섹터별로 주식의 가격, 거래량등의 특징이 다르기 때문에 우리는 섹터를 도메인으로 취급하여 주식 데이터를 멀티 도메인 불규칙 텐서로 표현할 수 있습니다. 또한 각 바이러스 별로 환자의 증상이 다르기 때문에 (예를 들어 독감과 감기는 기침 빈도, 발열 정도가 다름) 여러 바이러스에 감염된 환자들 데이터 또한 멀티 도메인 불규칙 텐서로 표현할 수 있습니다.
매년 새로운 바이러스가 발병하는 것처럼, 실세계에서는 새로운 도메인의 불규칙 텐서가 계속 생겨납니다. 이 때 새로운 도메인의 불규칙 텐서는 보통 정보가 부족하기 때문에 (예를 들면 새로운 바이러스에 대한 정보가 부족함) 기존에 존재하던 여러 소스 도메인의 불규칙 텐서들을 적절하게 활용하는 것이 중요합니다. 그렇다면 기존의 불규칙 텐서들을 어떻게 활용해야 할까요?
본 논문에서는 새로운 도메인의 타겟 불규칙 텐서 (target irregulr tensor) 가 주어질 때, 기존의 여러 도메인들의 소스 불규칙 텐서들 (source irregular tensors) 를 효과적으로 활용하는 방법을 제안합니다. 구체적으로, 본 논문에서 풀고자 하는 문제는 다음과 같습니다.
- 새로운 도메인의 타겟 불규칙 텐서가 주어질 때,
- 주어진 여러 도메인의 소스 불규칙 텐서들을 활용하여 타겟 불규칙 텐서를 빠르고 정확하게 PARAFAC2 분해를 진행한다.
본 논문에서 풀고자 하는 문제를 그림으로 표현하면 아래의 그림 1 과 같습니다.
새로운 주식 섹터 (AI) 의 불규칙 텐서 $\{\mathbf{X}_{T;k}\}_{k=1}^{K}$ 가 주어졌을 때, 여러 기존 섹터들 (energy, financials, materials, health care) 의 불규칙 텐서들을 활용하여 $\{\mathbf{X}_{T;k}\}_{k=1}^{K}$ 를 정확하고 빠르게 PARAFAC2 분해하는 것을 목표로 합니다. 이 때 PARAFAC2 분해 결과는 다음과 같이 표현됩니다: $\{\mathbf{X}_{T;k}\}_{k=1}^{K} = \{\mathbf{U}_{T;k}\}_{k=1}^{K} \{\mathbf{S}_{T;k}\}_{k=1}^{K} \mathbf{V}_T$.
Proposed Method
본 논문에서는 멀티 도메인 불규칙 텐서에서 PARAFAC2 를 위한 도메인 적응 기법인 Meta-P2 (Meta-PARAFAC2) 를 제안합니다. Meta-P2 는 메타 러닝 (meta-learning) 에 기반한 도메인 적응 기법으로서, 여러 소스 도메인 텐서들의 정보를 활용하여 새로운 도메인의 타켓 텐서를 빠르고 정확하게 PARAFAC2 분해하는 것을 목표로 합니다.
여러 소스 도메인 텐서들의 정보를 어떻게 활용할 수 있을까요? 가장 단순한 방법으로는 소스 도메인들의 불규칙 텐서들과 새로운 도메인의 불규칙 텐서를 한 번에 PARAFAC2 분해할 수 있습니다. 다만 이 방법은 새로운 도메인이 생길 때 마다 전체 도메인들을 다시 분해해야 하기 때문에 매우 느리고 비효율적입니다. Meta-P2 는 이를 해결하기 위해 주어진 소스 도메인들로부터 타겟 텐서를 분해하는 데에 도움이 되는 정보를 미리 학습하고, 이를 새로운 타겟 텐서 분해에 활용합니다.
Meta-P2 모델은 다음의 두 과정으로 이루어져 있습니다.
- 주어진 소스 도메인들로부터 새로운 타겟 도메인 분해에 도움이 되는 정보 학습 (decomposition on source domains)
- 소스 도메인들로부터 학습된 정보를 새로운 타겟 도메인 분석에서 활용 (inference on target domain)
Meta-P2 모델의 전체적인 동작 과정은 아래의 그림 2 에서 확인할 수 있습니다.
Decomposition on Source Domains
Meta-P2 는 주어진 소스 도메인들로부터 새로운 타겟 텐서 분해에 도움이 되는 정보를 미리 학습합니다. 새로운 타겟 텐서 분해에 도움이 되려면, 이 정보는 소스 도메인의 특정 슬라이스에 국한된 (slice-specific) 정보이거나 특정 소스 도메인에 제한된 (domain-specific) 정보이면 안됩니다. Meta-P2 는 모든 소스 도메인들의 공통된 정보를 학습하기 위해 소스 도메인 별로 PARAFAC2 분해를 진행하되, 특정 요인 행렬 $\mathbf{V}_\mathrm{meta}$ 을 소스 도메인 간에 공유합니다. 이를 통해 Meta-P2 는 모든 소스 도메인에서 공유되는 정보인 $\mathbf{V}_\mathrm{meta}$ 를 학습할 수 있습니다.
다만 단순히 모든 소스 도메인에서 공유되는 정보가 새로운 타겟 텐서 분해에 항상 도움이 되는 것은 아닙니다. 예를 들어 타겟 도메인이 소스 도메인에 없었던 특징을 많이 가지고 있다면, 소스 도메인들로부터 학습한 공유되는 정보는 새로운 타겟 텐서 분해에 큰 도움이 되지 않을 것입니다. Meta-P2 는 이를 해결하기 위해 $\mathbf{V}_\mathrm{meta}$ 학습에 메타 학습 기법을 활용합니다. 메타 학습은 타겟 태스크 (target task) 에 주어진 데이터 수가 부족할 때, 여러 소스 태스트들로부터 새로운 태스크에 적응을 잘하는 모델을 미리 학습하는 기법입니다. Meta-P2 는 메타 학습 기법을 텐서 분해 기법인 PARAFAC2 의 요인 행렬 업데이트 식에 맞게 고안하여 메타 학습 기반의 PARAFAC2 를 진행합니다. 이는 학습된 $\mathbf{V}_\mathrm{meta}$ 가 새로운 도메인에 빠르고 정확하게 적응할 수 있도록 합니다.
Inference on Target Domain
Meta-P2 는 여러 소스 도메인들로부터 미리 학습된 $\mathbf{V}_\mathrm{meta}$ 를 타겟 불규칙 텐서 분해에 활용합니다. 구체적으로는 먼저 타겟 불규칙 텐서의 요인 행렬 중 $\mathbf{V}_T$ 를 $\mathbf{V}_\mathrm{meta}$ 로 초기화 합니다. 이는 타겟 불규칙 텐서의 다른 요인 행렬들을 업데이트 할 때 소스 도메인의 정보가 효과적으로 활용되도록 합니다. 두 번째로, 타겟 요인 행렬 $\mathbf{V}_T$ 를 업데이트 할 때 $\mathbf{V}_\mathrm{meta}$ 와 레지듀얼 연결 (residual connection) 을 사용합니다. 이는 타겟 불규칙 텐서의 요인 행렬 업데이트 과정에서 소스 도메인의 정보를 잃지 않도록 하여 더욱 정확한 분해 결과를 얻을 수 있도록 합니다.
Experiments
본 논문에서는 실험을 통해 Meta-P2 가 불규칙 텐서 분해에서의 여러 다운스트림 태스크 (downstream tasks) 에서 다른 기법들보다 빠르고 정확한 성능을 달성하는 것을 보였습니다.
표 1. 결측치 예측, 이상치 탐지 문제에서의 Meta-P2 와 여러 기존 기법들의 성능
위의 표 1 은 결측치 예측, 이상치 탐지 문제에서 Meta-P2 와 여러 기존 기법들의 성능을 보여줍니다. 본 실험에서는 결측치와 이상치의 비율을 조정해가며 성능을 비교하였습니다. 표에서 보이는 것 처럼, 본 논문에서 제안한 Meta-P2 는 두 가지 다운스트림 태스크에서 일관적으로 기존 기법들보다 높은 성능을 달성합니다.
그림 3. 타겟 불규칙 텐서의 요인 행렬을 구할 때, Meta-P2 와 기존 기법들의 각 이터레이션 (iteration) 별 결측치 예측 성능.
위의 그림 3 은 타겟 불규칙 텐서의 요인 행렬을 구할 때 Meta-P2 와 기존 기법들의 이터레이션 별 결측치 예측 성능을 보여줍니다. Meta-P2 는 요인 행렬을 단 한 번만 업데이트하더라도 결측치 예측 에러 (error) 가 크게 줄어드는 반면, 기존 기법들은 천천히 줄어들거나 오히려 증가하기도 합니다. 이는 메타 학습 기법을 통해 소스 도메인들로부터 얻은 요인 행렬 $\mathbf{V}_\mathrm{meta}$ 가 새로운 타겟 불규칙 텐서를 빠르고 정확하게 분해하는 데에 큰 역할을 하는 것을 보여줍니다.
Conclusion
본 문서에서는 KDD 2024에 발표될 "Fast and accurate domain adaptation for irregular tensor decomposition" 논문을 소개하였습니다. 해당 논문은 메타 학습을 활용하여 멀티 도메인 불규칙 텐서를 위한 도메인 적응 기법을 제안합니다. 본 연구는 주어진 소스 도메인들로부터 새로운 도메인에 빠르게 적응할 수 있는 공통적인 요인 행렬을 미리 학습하여, 새로운 도메인의 불규칙 텐서 분해에 활용합니다. 타겟 도메인의 여러 다운스트림 태스크에서 Meta-P2 는 기존의 불규칙 텐서 분해 기법들에 비해 더 빠르고 정확한 성능을 달성하였습니다. 제안된 방법을 통해 새로운 타겟 도메인에서의 이상 탐지, 결측치 예측, 특질 선택 등 광범위한 응용 분야에서 여러 소스 도메인들을 효과적으로 활용할 수 있게 될 것으로 기대합니다. 이상의 내용은 2024년 KDD 컨퍼런스에서 발표될 예정입니다. 본 논문에 대한 자세한 정보는 [링크]에서 확인할 수 있습니다.