본 문서에서는 PAKDD 2020에서 발표될 "Accurate News Recommendation Coalescing Personal and Global Temporal Preferences" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다.
- Title: Accurate News Recommendation Coalescing Personal and Global Temporal Preferences
- Authors: Bonhun Koo, Hyunsik Jeon, and U Kang
- Conference on The 24th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD) 2020, Singapore
News Recommendation
본 논문의 목적은 온라인 뉴스 미디어의 사용자를 대상으로 개별 뉴스를 추천할 수 있는 기법을 제안하는 것 입니다. 뉴스 기사의 아래와 같은 특징 때문에 뉴스 추천 시스템은 일반적인 추천 시스템에 비하여 기계 학습을 이용한 추천 모델을 활용 하였을 때 좋은 성능을 기대하기 어렵습니다.
- 수 십만개의 새로운 뉴스 기사가 매일 출간됩니다.
- 추천 시간에 따라서 사용자가 흥미를 보이는 뉴스가 빠르게 변합니다.
다시 말해, 수많은 새로운 뉴스 기사가 매일 생성 되며 이를 추천 대상으로 삼아야 하기 때문에 뉴스 추천 시스템에서는 학습 단계에서 활용되는 뉴스 기사들과 실제로 사용자에게 추천해야할 뉴스 기사는 다른 경우가 많습니다. 또한 추천 시간이 변화하면 사용자가 실제로 선택할 뉴스의 내용이 변화할 수 있는데, 예를 들면 월드컵 시즌에는 사용자들이 전반적으로 그들의 개별 취향과는 상관없이 축구 관련 뉴스에 흥미를 보이기도 합니다.
본 논문은 이러한 상황을 극복하고자 '일시적 전체 취향'(Global Temporal Preference)을 활용합니다. 또한, Attention network를 응용하여 '사용자의 개별 취향'(Personal Preference)을 모델링하고 이를 통해서 개별 사용자별 뉴스 추천을 통해 뉴스 추천의 정확도를 높입니다.
Global Temporal Preference
본 논문에서는 보다 정확한 뉴스 추천을 위해서 사용자의 뉴스 시청 기록에서 주목할 만한 패턴들을 찾아내고 이들을 효과적으로 활용할 수 있도록 '일시적 전체 취향'(Global Temporal Preference)라는 개념을 제안하고 이를 통해 뉴스 추천 시스템의 정확도를 높였습니다. 발견한 사용자의 뉴스 시청 기록 패턴은 1) 인기 집중 패턴(Popularity pattern)과 2) 신선 집중 패턴(Freshness pattern) 입니다.
위 그림의 (a)는 인기 집중 패턴을 나타냅니다. 사용자의 대다수의 선택이 상위 인기 순위를 가지는 뉴스 기사들에게 독점적으로 나타난다는 것을 보입니다. 실제로 시간별 인기 순위가 7 이하인 뉴스들이 사용자들의 전체 선택의 80%를 차지하는 현상을 보였습니다. (b)에서는 신선 집중 패턴을 나타냅니다. 각 뉴스 기사의 수명을 나타내고 있습니다. 한 뉴스 기사가 출간된 이후 시간의 흐름에 따라 처음 1~2시간 정도는 사용자에게 선택될 확률이 늘어나지만 이후 급격하게 줄어들어서, 하루 정도만 지나도 사용자에게 거의 선택받지 못하고 있는 현상이 관측됩니다.
이러한 뉴스 시청의 패턴들을 잘 활용하고자 본 논문에서는 일시적 전체 취향을 뉴스 추천 시스템에서 활용하는 것을 제안합니다. 다시 말해, 각 시간대의 인기있는 뉴스와 새로 발간된 뉴스들을 통해서 해당 시간대에서 사용자들 사이에 공통적으로 형성되고 있는 취향을 추출합니다. 예를 들면, 월드컵 기간 대에는 축구에 관련된 뉴스 기사들이 많이 새로이 발간 되며 또한 인기도 있을 텐데, 이러한 뉴스 기사들로 부터 축구에 대한 흥미를 나타내는 취향을 추출할 수 있을 것 입니다. 이를 활용하면 뉴스 추천 시스템이 실제로 인기있는 뉴스 기사에 집중하여 인기 집중 패턴에 대해 대응할 수 있으며, 동시에 새로이 발간된 뉴스 기사들에 대해서도 주목하기 때문에 신성 집중 패턴도 잘 고려할 수 있습니다.
이러한 뉴스 시청의 패턴들을 잘 활용하고자 본 논문에서는 일시적 전체 취향을 뉴스 추천 시스템에서 활용하는 것을 제안합니다. 다시 말해, 각 시간대의 인기있는 뉴스와 새로 발간된 뉴스들을 통해서 해당 시간대에서 사용자들 사이에 공통적으로 형성되고 있는 취향을 추출합니다. 예를 들면, 월드컵 기간 대에는 축구에 관련된 뉴스 기사들이 많이 새로이 발간 되며 또한 인기도 있을 텐데, 이러한 뉴스 기사들로 부터 축구에 대한 흥미를 나타내는 취향을 추출할 수 있을 것 입니다. 이를 활용하면 뉴스 추천 시스템이 실제로 인기있는 뉴스 기사에 집중하여 인기 집중 패턴에 대해 대응할 수 있으며, 동시에 새로이 발간된 뉴스 기사들에 대해서도 주목하기 때문에 신성 집중 패턴도 잘 고려할 수 있습니다.
PGT: News Recommendation Coalescing Personal and Global Temporal Preferences
본 논문에서는 PGT 라는 새로운 딥러닝을 활용한 뉴스 추천 시스템을 제안합니다. 아래의 그림은 PGT의 전체적인 구조를 나타내고 있습니다.
위 그림에서 볼 수 있듯이 PGT는 크게 3부분으로 나눌 수 있습니다. 왼쪽 회색 영역은 PGT에서 일시적 전체 취향을 추출하는 부분을 나타냅니다. 중간 영역은 사용자의 시청 기록을 활용하여 개별 취향을 추출하는 부분에 대해 도식화하고 있습니다. 마지막 오른쪽 영역은 이전 영역에서 추출한 취향 벡터를 활용하여 후보 뉴스 기사를 평가하고 순위를 매겨서 뉴스를 추천하고 있는 모습을 나타냅니다.
일시적 전체 취향(Global Temporal Preference)는 해당 시간대의 인기있는 뉴스와 새로이 발간된 뉴스를 통해서 생성됩니다. 먼저, 각 뉴스의 제목 및 본문 정보를 활용하여 Doc2Vec을 통해 각 뉴스별 벡터를 얻어 냅니다. 다음으로 이 벡터들을 통합하여 하나의 벡터로 만드는 작업을 하는 데 이는 Self-Attention 방식을 응용합니다. 이는 여러 개의 벡터가 있을 때, 하나의 벡터의 가중치를 정하기 위해 다른 벡터들과의 유사도를 활용하는 방식입니다. 예를 들면, 월드컵 기간에는 인기있는 뉴스와 새로이 발간된 뉴스들이 거의 축구에 관련된 내용을 담고 있겠지만 일부 기사는 다른 내용을 담고 있기도 할 것입니다. 이때 통합된 벡터를 만들 때 다른 내용을 담고 있는 뉴스 기사에 대한 가중치를 낮춰서 통합하여, 월드컵 기간 때에는 일시적 전체 취향을 나타내는 벡터가 축구 관련 내용에 좀 더 집중할 수 있도록 도와줍니다.
사용자 개별 취향(Personal Preference)는 각 사용자의 시청 기록에서 사용자 고유의 취향을 나타냅니다. 이때 각 시청 내역들의 순서를 효과적으로 고려하기 위해 순환 신경망(Recurrent Neural Network) 기법을 활용하였는데, 특히 전후 시청 뉴스에 대한 상호 연관성을 효과적으로 모델링 한다고 알려진 Bidirectional-LSTM을 사용하였습니다. 이때 각각의 은닉 상태(Hidden State)는 각각 연관된 시청 기록 시간대에 형성된 사용자 취향을 나타내고 있는 데, 이를 일시적 전체 취향을 context로 사용한 attention network를 사용하여 통합합니다. 이를 통해 PGT가 사용자의 과거 시청 기록 중에서 현재 상황에 적합한 기록에 대해서 좀 더 집중할 수 있도록 합니다. 예를 들면, 사용자의 과거 시청 기록이 '정치->스포츠->과학->경제' 순으로 관련 뉴스를 보았다고 했을 때 월드컵 기간의 추천을 위해서는 과거 스포츠 관련으로 어떤 뉴스를 보았는 지에 대해서 좀 더 주목할 필요가 있습니다.
마지막으로 PGT는 앞서 생성한 '일시적 전체 취향'과 '사용자 개별 취향'을 통합하여 '다음 뉴스 추측 벡터'를 생성합니다. 이것을 이용하여 현 시간대의 후보 뉴스들을 사용자와의 적합성에 따라 평가하고 순위를 매깁니다. 그리고 상위 순위가 매겨진 후보 뉴스 기사를 사용자에게 추천하도록 합니다.
본 논문에서는 PGT 라는 새로운 딥러닝을 활용한 뉴스 추천 시스템을 제안합니다. 아래의 그림은 PGT의 전체적인 구조를 나타내고 있습니다.
일시적 전체 취향(Global Temporal Preference)는 해당 시간대의 인기있는 뉴스와 새로이 발간된 뉴스를 통해서 생성됩니다. 먼저, 각 뉴스의 제목 및 본문 정보를 활용하여 Doc2Vec을 통해 각 뉴스별 벡터를 얻어 냅니다. 다음으로 이 벡터들을 통합하여 하나의 벡터로 만드는 작업을 하는 데 이는 Self-Attention 방식을 응용합니다. 이는 여러 개의 벡터가 있을 때, 하나의 벡터의 가중치를 정하기 위해 다른 벡터들과의 유사도를 활용하는 방식입니다. 예를 들면, 월드컵 기간에는 인기있는 뉴스와 새로이 발간된 뉴스들이 거의 축구에 관련된 내용을 담고 있겠지만 일부 기사는 다른 내용을 담고 있기도 할 것입니다. 이때 통합된 벡터를 만들 때 다른 내용을 담고 있는 뉴스 기사에 대한 가중치를 낮춰서 통합하여, 월드컵 기간 때에는 일시적 전체 취향을 나타내는 벡터가 축구 관련 내용에 좀 더 집중할 수 있도록 도와줍니다.
사용자 개별 취향(Personal Preference)는 각 사용자의 시청 기록에서 사용자 고유의 취향을 나타냅니다. 이때 각 시청 내역들의 순서를 효과적으로 고려하기 위해 순환 신경망(Recurrent Neural Network) 기법을 활용하였는데, 특히 전후 시청 뉴스에 대한 상호 연관성을 효과적으로 모델링 한다고 알려진 Bidirectional-LSTM을 사용하였습니다. 이때 각각의 은닉 상태(Hidden State)는 각각 연관된 시청 기록 시간대에 형성된 사용자 취향을 나타내고 있는 데, 이를 일시적 전체 취향을 context로 사용한 attention network를 사용하여 통합합니다. 이를 통해 PGT가 사용자의 과거 시청 기록 중에서 현재 상황에 적합한 기록에 대해서 좀 더 집중할 수 있도록 합니다. 예를 들면, 사용자의 과거 시청 기록이 '정치->스포츠->과학->경제' 순으로 관련 뉴스를 보았다고 했을 때 월드컵 기간의 추천을 위해서는 과거 스포츠 관련으로 어떤 뉴스를 보았는 지에 대해서 좀 더 주목할 필요가 있습니다.
마지막으로 PGT는 앞서 생성한 '일시적 전체 취향'과 '사용자 개별 취향'을 통합하여 '다음 뉴스 추측 벡터'를 생성합니다. 이것을 이용하여 현 시간대의 후보 뉴스들을 사용자와의 적합성에 따라 평가하고 순위를 매깁니다. 그리고 상위 순위가 매겨진 후보 뉴스 기사를 사용자에게 추천하도록 합니다.
Experimental Results
본 논문에서는 실험을 통해 PGT가 1) 기존 뉴스 추천과 비교하여 보다 정확한 뉴스 추천을 제공함과 2) Attention Network가 사용자 과거 시청 기록 중에서 현 시간대에 연관된 기록에 보다 주목하고 있음을 보였습니다. 두 가지 뉴스 시청 기록 데이터 (Adressa, Globo)를 사용하여 PGT를 검증하였고, 뉴스 시청 기록을 시간 순으로 train, validation, test 셋으로 나누었습니다. 예를 들면 10주 간의 뉴스 시청 기록이 있다고 할 때, 처음 1~6주차의 기록을 train에 활용하고 7, 8주차의 기록은 validation, 그리고 마지막 9, 10주차의 기록은 test에 활용하였다. 이는 실제 온라인 뉴스 미디어의 환경을 보다 현실적으로 반영하는 방법입니다.
PGT의 뉴스 추천 정확도를 경쟁 상대와 비교한 결과는 다음과 같습니다.
평가 방법인 HR@5와 MRR@20은 둘 다 수치가 높을 수록 보다 더 정확한 추천을 하였다는 것을 의미하며 상세한 방법은 논문을 참고 하기를 바랍니다. PGT는 경쟁 방법에 비해 모든 데이터셋과 평가 방식에 대해서 높은 수치를 보여주고 있습니다. 경쟁 방법 중 뉴스 시청 기록을 활용할 때 RNN을 사용한 Park et al.과 Okural et al.의 경우, RNN의 특징 상 사용자의 오래된 시청 기록에 선택적으로 주목하기 어렵습니다. 본 논문에서 train/validation/test 데이터를 나눈 방식 때문에 test에서는 처음 본 단어들로 구성된 뉴스에 대해서 추천해야할 경우가 생기기도 하는데, 뉴스의 본문 내용에 주목한 Weave&Rec, HRAM, NPA의 경우 이러한 경우에 대한 대응에 미흡합니다.
다음으로 PGT가 개별 사용자의 시청 기록에서 현재 시간 상황과 연관된 기록에 대해서 어떻게 집중하고 있는지 알아보기 위해 Attention Network의 히트맵(heat map)을 살펴 보았습니다.
위의 그림은 특정 시청 기록에 대해서 추천 시각이 다를 때 PGT가 주목의 변화를 나타냅니다. 추천 시각 t1에서는 전체적으로 스포츠에 대한 인기가 높습니다. 이때 과거 시청 기록 중에서 스포츠 관련 뉴스에 대한 주목도가 좀 더 높아집니다. 같은 시청 기록에 대해서도 추천 시각이 t2로 일반적인 뉴스에 대한 인기가 높을 때면 스포츠에 대한 주목도는 낮아지게 됩니다.
PGT의 뉴스 추천 정확도를 경쟁 상대와 비교한 결과는 다음과 같습니다.
다음으로 PGT가 개별 사용자의 시청 기록에서 현재 시간 상황과 연관된 기록에 대해서 어떻게 집중하고 있는지 알아보기 위해 Attention Network의 히트맵(heat map)을 살펴 보았습니다.
Conclusion
본 문서에서는 PAKDD 2020에 발표될 예정인 "Accurate News Recommendation Coalescing Personal and Global Temporal Preferences" 논문을 소개하였습니다. 이 논문에서 뉴스 시청 기록 데이터에서 '인기 집중 패턴', '신성 집중 패턴'을 발견하고 이를 뉴스 추천에 효과적으로 반영하기 위해서 '일시적 전체 취향'을 제안하고 활용한 PGT라는 뉴스 추천 시스템을 제안하였습니다. 또한 실험을 통해 PGT가 추천 시각에 따라 유연하게 대응하여 경쟁 방식에 비해 높은 정확도의 뉴스 추천을 제공함을 보였습니다.