Data Mining Lab. Blog

본 문서에서는 EDBT 2020에서 발표될 "BalanSiNG: Fast and Scalable Generation of Realistic Signed Networks" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다.
Title: BalanSiNG: Fast and Scalable Generation of Realistic Signed NetworksAuthors: Jinhong Jung, Ha-Myung Park, and U KangConference: International Conference on Extending Database Technology (EDBT) 2020Signed Network and Network Generation 부호화된 네트워크 (signed network)란 정점 간의 신뢰 관계를 + (양, 신뢰) 또는 - (음, 불신뢰)의 부호가 붙은 간선으로 표현하는 네트워크를 말하며, Epinions와 같은 온라인 소셜 서비스는 각 사용자에게 다른 사용자에 대한 신뢰를 표현할 수 있게 하여 자연스럽게 부호화된 네트워크를 형성합니다 (참고). 이와 같이 부호화된 네트워크는 정점 간의 신뢰 관계를 기반으로 링크 예측, 정점 랭킹, 정점 분류, 이상현상 탐지 등의 다양한 그래프 응용에 활용되고 있습니다.
그림 1. 부호화된 네트워크의 예시.
그러나 부호화된 네트워크는 광범위하게 활용되고 있음에 비해, 어떻게 해야 실제 부호화된 네트워크와 비슷한 성향을 가지며 새로운 형태의 다른 부호화된 네트워크를 생성할 수 있는지에 대한 연구는 많이 진행되지 않았습니다. 네트워크 생성 (network generation) 문제는 실세계 그래프 형성의 이해에 대한 중요한 문제로, 네트워크 생성 문제는 다음과 같은 방안으로 많이 활용되고 있습니다.
확장성 테스트 (scalability evaluation): 확장성 테스트는 개발한 알고리즘이 얼마나 큰 데이터를 처리 할 수 있는지 실험적으로 확인하는 작업으로 생성되는 네트워크의 크기…

Accurate News Recommendation Coalescing Personal and Global Temporal Preferences

본 문서에서는 PAKDD 2020에서 발표될 "Accurate News Recommendation Coalescing Personal and Global Temporal Preferences" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다.

Title: Accurate News Recommendation Coalescing Personal and Global Temporal PreferencesAuthors: Bonhun Koo, Hyunsik Jeon, and U KangConference on The 24th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD) 2020, SingaporeNews Recommendation

본 논문의 목적은 온라인 뉴스 미디어의 사용자를 대상으로 개별 뉴스를 추천할 수 있는 기법을 제안하는 것 입니다. 뉴스 기사의 아래와 같은 특징 때문에 뉴스 추천 시스템은 일반적인 추천 시스템에 비하여 기계 학습을 이용한 추천 모델을 활용 하였을 때 좋은 성능을 기대하기 어렵습니다. 수 십만개의 새로운 뉴스 기사가 매일 출간됩니다.추천 시간에 따라서 사용자가 흥미를 보이는 뉴스가 빠르게 변합니다. 다시 말해, 수많은 새로운 뉴스 기사가 매일 생성 되며 이를 추천 대상으로 삼아야 하기 때문에 뉴스 추천 시스템에서는 학습 단계에서 활용되는 뉴스 기사들과 실제로 사용자에게 추천해야할 뉴스 기사는 다른 경우가 많습니다. 또한 추천 시간이 변화하면 사용자가 실제로 선택할 뉴스의 내용이 변화할 수 있는데, 예를 들면 월드컵 시즌에는 사용자들이 전반적으로 그들의 개별 취향과는 상관없이 축구 관련 뉴스에 흥미를 보이기도 합니다.
본 논문은 이러한 상황을 극복하고자 '일시적 전체 취향'(Global Temporal Preference)을 활용합니다. 또한, Attention network를 응용하여 '사용자의 개별 취향'…

Knowledge Extraction with No Observable Data

본 문서에서는 NeurIPS 2019에서 발표된 Knowledge Extraction with No Observable Data 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다.
Title: Knowledge Extraction with No Observable DataAuthors: Jaemin Yoo, Minyong Cho, Taebum Kim, and U KangConference on Neural Information Processing Systems (NeurIPS) 2019
Knowledge Extraction

지식 증류(knowledge distillation)는 한 모델의 학습된 지식을 다른 모델에 전달하는 방법입니다. 예를 들면 모델 A와 B가 주어져 있는데 A는 파라미터의 수도 많고 학습 능력이 뛰어난 반면 B는 그렇지 않다고 합시다. 그러면 주어진 데이터로부터 모델 B를 직접 훈련하는 것보다 모델 A를 훈련한 다음에 A가 학습한 지식을 모델 B에 이용하는 것이 더 좋은 성능을 이끌어낼 수 있습니다.

지식 증류 알고리즘의 구체적인 동작 방식을 요약하자면 다음과 같습니다 (참고).
훈련된 모델 A가 주어져 있다고 가정합니다.데이터(피처)를 모델 A에 입력으로 주어 예측값을 저장합니다.저장한 예측값을 정답으로 하여 모델 B를 학습합니다. 그러나 훈련된 모델 A는 주어져 있으나 데이터가 없는 상황이라면 지식 증류 방법을 활용해 A의 지식을 다른 모델로 전달할 수 없습니다. 모델 A에 입력할 데이터가 없기 때문에 예측값을 얻을 수도 없기 때문입니다. 입력 형식이 같은 임의의 데이터를 생성할 수는 있지만, 그런 데이터는 실제 데이터와 전혀 다른 분포를 갖게 될 가능성이 높아 모델 B의 성능을 오히려 저하시킬 수도 있습니다.

이러한 상황에서, 본 논문은 모델 A로부터 가짜 데이터를 생성하여 이를 지식 증류에 활용하는 새로운 딥 러닝 구조를 제안합니다. 이때 모델의 지식을 증류하기 위해서는 먼저 지식을 추출해야 한다는 의미에서, 본 논문이 해결…