본 문서에서는 2023년 PLOS ONE 저널에 게재된 "Accurate Graph Classification via Two-staged Contrastive Curriculum Learning" 논문을 소개합니다.
논문에 대한 상세 정보는 다음과 같습니다.
- Title : Accurate Graph Classification via Two-staged Contrastive Curriculum Learning
- Authors: Sooyeon Shim, Junghun Kim, Ka Hyun Park, and U Kang
- Journal : PLOS ONE 2023
Graph Contrastive Learning
대조학습(Contrastive learning) 이란 객체들 간의 관계 정보를 포착해 임베딩을 학습하는 방법입니다. 예를 들어 어떤 객체에 대한 positive 와 negative 샘플을 선정한다면, 주어진 객체와 positive 샘플의 유사도는 증대되고, 객체와 negative 샘플의 유사도는 절감되는 것을 목표로 positive/negative 샘플을 정해야합니다. 이를 그래프에 적용하는 접근 방식을 그래프 대조 학습(Graph contrastive learning)이라고 하며, 기존의 그래프 대조 학습은 크게 노드 단위의 그래프 대조학습(Node-level graph contrastive learning) 그리고 그래프 단위의 그래프 대조학습(Graph-level graph contrastive learning)의 두 가지 갈래로 구분할 수 있습니다.
노드 단위의 그래프 대조학습은 그래프가 주어졌을때, 주어진 그래프와 이를 변형한 그래프 간의 노드 임베딩을 비교하는 방식으로 전개되어 왔습니다. 두 그래프 상에서의 노드 페어(Pair)는 다음과 같이 정의합니다. 어떤 노드에 대해 다른 그래프 상에서 같은 위치에 있는 노드를 positive 페어로, positive 페어로 정의된 노드 이외의 다른 그래프 상의 모든 노드들은 주어진 노드에 대한 negative 페어로 정의합니다. 정의한 positive, negative 페어를 기준으로 positive 페어 간의 유사도는 높게, negative 페어의 유사도는 낮아지도록 모델을 학습합니다.
그래프 단위의 그래프 대조학습 기법들은 그래프를 대조함으로써 그래프 임베딩을 학습합니다. 어떤 그래프가 주어졌을 때, 해당 그래프에 변형을 가해 파생된 두 변형 그래프를 positive 샘플로 정의하고 기원(Origin) 그래프가 다른 모든 그래프들을 negative 샘플로 정의합니다. 위와 마찬가지로 그래프 단위의 그래프 대조학습도, positive 샘플들 간의 유사도가 negative 샘플들과의 유사도 보다 높도록 학습합니다.
기존 그래프 대조학습은 좋은 성능을 보여왔지만 다음과 같은 문제점이 존재합니다.
1. 노드와 그래프의 임베딩의 관계가 고려되지 않음
그래프 임베딩이 노드 임베딩을 통해 얻어지기는 하지만, 기존 그래프 대조학습 기법들은 노드 임베딩에 대한 연구가 충분히 이루어지지 않았습니다.
2.그래프 대조 학습을 위한 증강(Augmentation) 기법들은 변형을 가할 노드나 간선을 무작위로 추출
그래프 상의 노드 특징과 그래프의 구조는 그래프에 있어 매우 핵심적인 요소이기에 변형할 노드와 간선을 무작위로 선택하면 그래프의 정보 손실이 필연적으로 발생합니다. 따라서, 그래프를 변형할 때에는 그래프의 중요 정보를 유지하면서 변형을 가하는 것이 중요합니다.
3. 그래프 상에서의 positive와 negative 샘플의 영향을 동시에 고려하지 않음
기존 기법들은 주로 positive와 negative 중 한 종류의 샘플에만 초점을 두었으나, 그래프 대조 학습시엔 두 가지 종류의 샘플을 모두 잘 정의하는 것이 중요합니다.
Proposed Method
본 논문에서는 그래프의 semantic 정보 손실을 최소화하면서 대조 학습에서 사용되는 샘플들간의 유사도 관계를 확립할 수 있는 그래프 증강 기법을 제안합니다. 이 때, 그래프의 semantic 정보는 그래프의 레이블을 결정하는데 영향을 주는 중요한 정보를 의미합니다. semantic 정보를 잃게 되면 그래프 변형 과정에서 그래프의 레이블이 바뀌어버리기 때문에 대조 학습에서 추구하는 positive 샘플간의 유사도 증대에 실패하게 됩니다. 본 논문에서는 semantic 정보 손실을 최소화 하기 위해 이웃이 적은 저차수(Low-degree) 노드들을 변형하는 아이디어를 도입했습니다.
그림1. TAG(Two-staged Contrastive Curriculum Learning for Graphs)의 전체 과정. 변형된 그래프를 생성하고 노드와 그래프 단위의 커리큘럼 학습을 진행.
본 논문에서는 학습을 위한 그래프 셋이 주어지면 노드의 특징 또는 그래프의 구조를 변형하는 6가지 그래프 변형 방법을 제안하고 이 중 특징과 구조 변형 방법 중 한 가지씩을 무작위로 선택해 그래프를 변형합니다. 이 후 정확한 그래프 분류를 위한 그래프 대조학습 모델은 두 단계를 거쳐 학습됩니다. 첫째로, 노드 단위의 커리큘럼 학습 방식을 이용해 기원 그래프와 특징이 변형된 그래프 사이의 관계 정보를 얻습니다. 노드 단위의 커리큘럼 학습에서는 난이도에 따라 객체의 학습 순서가 정해집니다. 본 논문에서는 주어진 그래프의 positive 샘플과 negative 샘플간의 유사도가 높을수록 어려운 샘플로, 낮을수록 쉬운 샘플로 정의하고 커리큘럼 학습의 순서로 사용합니다. 두 번째로, 그래프 단위의 대조학습을 이용해 같은 기원 그래프를 기반으로 특징이 변형된 그래프와 구조가 변형된 그래프 사이의 유사도를 증대하는 방식으로 그래프 임베딩을 추출합니다.
Experiments
본 논문은 실험을 통해 TAG의 그래프 분류 성능이 기존 방법들과 비교해 얼마나 빠르고 정확한지 확인합니다. 또한 비지도학습 상황과 지도 학습 상황에서의 성능을 각각 실험을 통해 확인합니다. 그림2를 통해 비지도 학습 상황에서의 그래프 분류 정확도를 확인할 수 있습니다. 대부분의 그래프 데이터 셋에서 TAG가 가장 우수한 성능을 보입니다.
그림2. 비지도 학습상황에서의 그래프 분류 성능. TAG가 대부분의 데이터 셋에 대해 우수한 성능을 보임.
그림3을 통해 지도 학습 상황에서의 그래프 분류 정확도를 확인할 수 있고, 모든 데이터 셋에서 TAG 가 가장 뛰어난 정확도를 보입니다.
그림3. 지도학습 상황에서의 그래프 분류 성능. TAG가 모든 데이터 셋에서 가장 우수한 성능을 보임.
추가적으로 그림4를 통해 알 수 있듯이, TAG는 비지도 학습과 지도 학습 상황 모두에서 우수한 성능과 빠른 실행시간을 보입니다.
그림4. 비지도학습(a-d)과 지도학습(e-h) 상황에서 TAG는 가장 빠른 속도와 높은 정확도를 보임.
Conclusion
본 문서에서는 PLOS ONE 2023에 게재된 Accurate Graph Classification via Two-staged Contrastive Curriculum Learning 논문을 소개하였습니다. 이 논문은 노드 단위와 그래프 단위의 그래프 변형 방법을 모두 고려하는 방법을 제안하였습니다. 제안한 그래프 증강 방법은 특정 모델에만 국한되는 모델 특정적(Model-specific) 방식이 아닌 모델 독립적인(Model-agnostic) 방법이라는 특징이 있습니다.
본 논문은 그래프 분류의 성능을 높이기 위해 두 단계의 그래프 대조 학습 기법을 제안하며, 기원 그래프의 노드와 특징이 변형된 그래프의 노드의 관계정보를 수집하는 노드 단위의 대조학습과 특징이 변형된 그래프와 구조가 변형된 그래프의 유사도를 기반으로 한 그래프 단위의 대조학습을 진행합니다. TAG는 기존 그래프 증강 기법들과 비교했을 때 가장 빠른 속도를 보이며 비지도학습과 지도학습 세팅에서 모두 가장 좋은 정확도를 달성하였습니다.
실세계에서 그래프는 소셜 네트워크, 분자 구조 그래프, 도로 네트워크 그래프 등의 여러 형태로 찾아볼 수 있습니다. TAG의 그래프의 semantic 정보 손실을 최소화하는 그래프 증강효과를 기대할 수 있고, 그래프 분류 문제에서 높은 정확성을 보이므로 소셜 네트워크 상에 존재하는 그룹의 특성을 분류하거나 이상 탐지 문제에 적용될 수 있습니다. 또한 그래프로 나타내어진 화합문 분자 구조에 TAG 기법을 활용하면 유사한 분자간의 특징을 파악하는데에도 사용될 수 있습니다. 추가적으로, 대조 학습을 통해 그래프 임베딩을 포착하면 서로 다른 단백질 그래프 간의 유사도 파악, 소셜 네트워크의 그룹간 유사도 탐지 등에도 활용될 수 있습니다. 자세한 내용은 논문(링크)을 통해 확인할 수 있습니다.