Skip to main content

Data Mining Lab. Blog

Search This Blog

Pages

Showing posts from October, 2025

Posts

Entity-Aware Generative Retrieval for Personalized Contexts

Posted by Data Mining Lab. 날짜: 10/01/2025

Data Mining Lab.

Go to DMLAB Website

본 블로그에서는 서울대학교
컴퓨터공학부 데이터마이닝

연구실에서 진행하고 있는

최신 연구를 소개합니다.

Archive

2025 10

2024 12
2023 12
2022 12
2021 12
2020 12
2019 1
- December 2019 1

Show more Show less

Popular Posts

Accurate Coupled Tensor Factorization with Knowledge Graph

본 문서에서는 BigData 2024에서 발표될 "Accurate Coupled Tensor Factorization with Knowledge Graph " 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title : Accurate Coupled Tensor Factorization with Knowledge Graph Authors : SeungJoo Lee, Yong-chan Park, and U Kang Conference : IEEE International Conference on Big Data (BigData) 2024 PARAFAC2 Decomposition & Knowledge Graph PARAF AC2 분해 ( PARAFAC2 Decomposition). PARAFAC2 분해는 실세계의 불규칙 텐서 데이터를 분석하는 데 널리 사용되는 도구로, 차원 축소, 이상 탐지 등 다양한 분야에서 활용되고 있습니다. 지식 그래프(Knowledge Graph). 지식 그래프는 관계형 데이터를 삼중항으로 표현하는 구조화된 데이터베이스로, 삼중항은 헤드(head) 엔티티, 테일(tail) 엔티티, 그리고 두 엔티티 간의 관계로 구성됩니다. 예를 들어, 삼중항 (" J.K. 롤링 ", "쓰다", " 해리포터 ")은 J.K. 롤링이 해리포터의 저자임을 명시적으로 나타냅니다. 또한, 지식 그래프는 3차원 텐서로 모델링될 수 있으며, 텐서의 각 요소는 삼중항의 진위 여부를 나타내어 참이면 1, 거짓 또는 불확실하면 0으로 표현됩니다. 엔티티 간의 복합적이고 의미론적인 관계를 효과적으로 모델링할 수 있다는 점에서, 지식 그래프는 정보 검색, 추천 시스템, 지식 추론 등 다양한 인공지능 응용 분야에서 중요한 역할을 하고 있습니다. 그림 1. PARAFAC2 Decomposition 그림 1의 예시처럼, PARAFAC2 분해는 주어진 불규칙 텐서를 요인 행렬로 ...

PuzzleTensor: A Method-Agnostic Data Transformation for Compact Tensor Factorization

본 문서에서는 KDD 2025 학회에 발표된 "PuzzleTensor: A Method-Agnostic Data Transformation for Compact Tensor Factorization" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: PuzzleTensor: A Method-Agnostic Data Transformation for Compact Tensor Factorization Authors: Yong-chan Park, Kisoo Kim, and U Kang Conference: ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD) 2025 Tensor Decomposition 효율적인 고차원 데이터 표현은 데이터 마이닝, 머신러닝, 추천 시스템, 신호 처리, 과학 계산 등 다양한 응용 분야에서 매우 중요합니다. CANDECOMP/PARAFAC(CP), Tucker, Tensor-Train(TT)과 같은 텐서 분해 알고리즘은 이러한 분야에서 핵심적인 도구로 자리 잡고 있으며, 계산 효율성과 데이터의 근본적인 구조에 대한 통찰을 제공합니다. 그러나 이러한 방법을 원시 다차원 데이터에 직접 적용하면 높은 목표 랭크가 요구되거나, 재구성 정확도가 낮아지거나, 계산 효율성이 저하되는 문제가 발생할 수 있습니다. 이는 실제 세계의 텐서가 많은 분해 기법들이 의존하는 엄격한 저랭크 또는 희소성 가정을 잘 따르지 않기 때문입니다. 예시로 그림 1을 살펴보겠습니다. 여기서 X X 는 원본 데이터를, X ^ \hat{X} 은 그것의 랭크-1 근사를 나타내며, 이 경우 비교적 큰 오차가 발생합니다. 그러나 X X 의 각 열(column)을 일정한 크기만큼 위로 이동시키면, 더 잘 정렬된 행렬 Z Z 를 얻을 수 있고, 이에 따라 랭크-1 근사 오차가 크게 ...

Entity-Aware Generative Retrieval for Personalized Contexts

본 문서에서는 CIKM 2025 학회에서 발표될 "Entity-Aware Generative Retrieval for Personalized Contexts" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Entity-Aware Generative Retrieval for Personalized Contexts Authors: Jihyeong Jeon, Jiwon Lee, Cheol Ryu, and U Kang Conference: The 34th ACM International Conference on Information and Knowledge Management Personalized Information Retrieval 개인화 정보 검색(Personalized Information Retrieval, PIR)은 “어제 친구와 식사한 레스토랑 이름이 뭐였지?”처럼, 어떤 친구를 가리키는지 혹은 구체적으로 어느 시점을 의미하는지 모호한 표현이 포함된 질문에 대해, 관련 문서를 정확히 찾아내는 문제를 다룹니다. 하지만 기존 정보 검색(Information Retrieval) 기법에서 널리 사용된 BM25 같은 희소 검색(Sparse Retrieval)이나 Dense Retriever는 단어 일치나 임베딩 유사도에만 의존하기 때문에, 애칭·개인 장소·시간 표현 등 사용자 고유의 맥락을 처리하는 데 한계가 있습니다. 최근 생성 기반 검색(Generative Retrieval) 기법이 주목받고 있지만, 이 역시 엔티티 모호성(Entity Ambiguity)과 개인화 문제를 충분히 해결하지는 못했습니다. 본 논문에서는 이러한 “사용자의 질문에 모호성이 포함되어 있을 때도 어떻게 관련 문서를 정확히 찾을 수 있을까?”라는 물음에 답하기 위한 새로운 모델 구조를 제안합니다. Proposed Method 본 논문에서는 PEARL ( P ersonalized E nt...

Accurate Sublayer Pruning for Large Language Models by Exploiting Latency and Tunability Information

본 문서에서는 IJCAI'25 학회에서 발표될 " Accurate Sublayer Pruning for Large Language Models by Exploiting Latency and Tunability Information " 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Accurate Sublayer Pruning for Large Language Models by Exploiting Latency and Tunability Information Authors: Seungcheol Park, Sojin Lee, Jongjin Kim, Jinsik Lee, Hyunjik Jo, and U Kang Conference: The 34th International Joint Conference on Artificial Intelligence (IJCAI 2025) Sublayer Pruning for Large Language Models 최신 거대 언어 모델(large language model)들은 챗봇, 번역, 코드 생성 등 실생활의 다양한 작업을 수행하는 데에 있어서 뛰어난 성능을 보이고 있습니다. 하지만, 거대 언어 모델을 구성하는 방대한 양의 파라미터 수는 모델의 실질적인 운용을 어렵게 만드는 요소입니다. 서브레이어 가지치기(sublayer pruning)는 거대 언어 모델에서 불필요한 서브레이어를 삭제함으로써 모델의 크기로 인한 문제점을 효과적으로 해결합니다. 거대 언어 모델은 multi-head attention (MHA) 서브레이어와 multi-layer perceptron (MLP) 서브레이어가 번갈아서 층을 구성하고 있으며, 서브레이어들의 연산은 병렬적으로 수행할 수 없기 때문에 서브레이어 가지치기는 단순하지만 효과적으로 거대 언어 모델의 추론 속도를 극대화할 수 있습니다. 그림 1. 기존 가지치기 기법과 본 논문의 제안 기법 (SPRINT) 비교 서브레이어 가지치기의 핵심 목표...

AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification

본 문서에서는 PAKDD '25 학회에서 발표된 " AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification " 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification Authors: Minjun Kim, Jaehyeon Choi, SeungJoo Lee, Jinhong Jung, and U Kang Conference: The Thirteenth International Conference on Learning Representations (ICLR 2025) Graph Classification 그래프 분류(graph classification)는 생물정보학(분자 특성 예측), 소셜 네트워크 분석, 금융 사기 탐지 등 다양한 분야에서 핵심적인 과제입니다. 해당 과제를 해결하는 대표적인 방법 중 하나는 GNN (Graph Neural Network)를 이용하는 것으로, 이는 그래프 데이터를 처리하기 위한 심층 학습 모델로서, 각 노드 사이에 메시지 전달 알고리즘을 이용하여 노드 및 그래프의 표현을 도출합니다. 하지만 단순히 GNN을 사용하는 것은 그래프 개수의 부족 등의 문제로 과적합 문제가 발생하기 때문에, 이런 GNN의 과적합을 방지하기 위해 그래프 증강(graph augmentation)이 도입되어, 현재 그래프 분류 기법들에 있어 중요한 요소로 자리잡고 있습니다. 하지만, 기존 방법들은 그래프 증강을 단순히 사용하여 GNN의 표현력을 제한시켜 부정확하며, 특히 아래와 같은 세 가지 문제점을 가지고 있습니다. (증강에 의해 유도된 차이 포착) 이전 접근법들은 인코더가 그래프 증강에 대해 불변적인 표현을 생성하도록 유도하여,...

DPar2: Fast and Scalable PARAFAC2 Decomposition for Irregular Dense Tensors

본 문서에서는 ICDE 2022에서 발표될 " DPar2: Fast and Scalable PARAFAC2 Decomposition for Irregular Dense Tensors " 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: DPar2: Fast and Scalable PARAFAC2 Decomposition for Irregular Dense Tensors Authors: Jun-Gi Jang and U Kang Conference: 38th IEEE International Conference on Data Engineering (ICDE), 2022 PARAFAC2 Decomposition 센서 데이터 (시간, 위치, 센서타입), 주식 데이터 (시간, 피쳐, 종목) 등과 같이 다양한 데이터들이 밀도 높은 불규칙 텐서 (irregular dense tensor)로 표현됩니다. 불규칙 텐서는 행의 크기가 서로 다른 행렬들의 모음으로도 볼 수 있습니다. PARAFAC2 Decomposition 은 불규칙 텐서 데이터를 분석하는 가장 유명한 방법 중 하나이며 차원 축소, 고장 탐지, 표현형 발견(phenotype discovery) 등과 같이 다양한 응용들에서 활용되고 있습니다. 그림 1. PARAFAC2 Decomposition PARAFAC2 Decomposition 은 그림 1의 예시와 같이 주어진 불규칙 텐서를 요인행렬(factor matrix)들로 분해합니다. ALS (Alternating Least Square) 는 PARAFAC2 Decomposition의 요인행렬들을 구할 때 사용하는 접근법 중 하나입니다. 해당 방법은 요인 행렬 하나를 제외한 나머지 모두를 고정시키고, 고정되지 않은 하나의 요인 행렬을 업데이트하는 방식으로 요인 행렬들을 순서대로 업데이트합니다. 요인 행렬들은 재복원한 텐서와 입력 텐서 간의 차이가 충분히 작아질 때까지 업데이트가 됩니다. Lim...

Sequentially Diversified and Accurate Recommendations in Chronological Order for a Series of Users

본 문서에서는 2025년 WSDM 학회에서 발표될 "Sequentially Diversified and Accurate Recommendations in Chronological Order for a Series of Users" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Sequentially Diversified and Accurate Recommendations in Chronological Order for a Series of Users Authors: Jongjin Kim and U Kang Conference: WSDM (2025) Sequentially Diversified Recommendation 상품의 종류가 늘어나고 정보가 범람함에 따라 오늘날 사용자들은 구매할 아이템을 찾기 위해 추천시스템에 크게 의존하곤 합니다 . 따라서 전자상거래 플랫폼 등에서 수익을 극대화하기 위한 기술이 점점 중요해지고 있습니다 . 다양화 추천은 플랫폼의 수익을 극대화하기 위한 대표적인 연구 주제입니다 . 다양화 추천에서는 사용자들에게 정확한 아이템을 추천하는 것을 넘어서 사용자 전체에 대해 다양한 아이템을 노출시키는 것을 목표로 합니다 . 이를 통해 플랫폼은 보유한 재고를 모두 소진하도록 사용자들을 유도할 수 있으며 또한 덜 유명한 아이템의 노출 횟수를 늘려 고른 수익을 얻을 수 있습니다 . 그러나 기존 다양화 추천 시스템(aggregately diversified recommendation)은 여러 사용자에 대한 추천이 동시에 일어난다고 가정하는 한계가 있었습니다 . 실제 전자상거래 플랫폼에서는 사용자가 한 번에 한 명씩 필요할 때마다 추천을 받아가므로 매 추천 시점에서 이후에 어떤 사용자가 추천을 받게 될지를 사전에 알지 못한 채 추천을 진행해야 합니다 . 본 논문은 이처럼 추천이 차례로 이루어지는 상황에서 다양화 추천을 수행하는 순차 다양화 추천(sequentially ...

Accurate Stock Movement Prediction via Multi-Scale and Multi-Domain Modeling

본 문서에서는 BigData 2024 학회에 발표된 "Accurate Stock Movement Prediction via Multi-Scale and Multi-Domain Modeling" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title : Accurate Stock Movement Prediction via Multi-Scale and Multi-Domain Modeling Authors: JinGee Kim, Yong-chan Park, Jaemin Hong, and U Kang Conference: 2024 IEEE International Conference on Big Data Stock Movement Prediction 주가 예측은 금융 분야에서 핵심적인 역할을 하는 기술로, 투자자에게 잠재적인 이익 기회를 제공하고 시장 동향을 파악하는 데 큰 도움을 줍니다. 특히 최근에는 전통적인 단일 시계열 분석만으로는 주가가 지닌 복잡하고 비선형적인 변화를 충분히 포착하기 어려워졌습니다. 이에 따라 다양한 모델 구조가 제안되어 왔으며, 긴 시계열 의존성과 지역적 패턴을 모두 고려할 수 있는 새로운 접근들이 주목받고 있습니다. 기존의 여러 연구에서는 주가의 복잡한 의존성을 효과적으로 포착하기 위한 다양한 방법론을 제시하였습니다. 특히 주목할 만한 접근 중 하나는 어텐션 메커니즘을 활용한 방법으로, 장·단기 의존성을 동시에 모형화하고 섹터 간 상관관계 등을 파악하는 데에 유리하다는 점이 알려져 있습니다. 하지만 기존 어텐션 기반 기법들은 수개월 이상의 매우 장기적인 패턴을 파악하기에는 한계가 있으며, 시계열 데이터에 내재된 다중 스케일(multi-scale) 및 다중 도메인(multi-domain) 정보를 충분히 활용하지 못한다는 단점이 보고되고 있습니다. 이 밖에도 합성곱신경망(Convolutional Neural Network, C...

DART: Diversified and Accurate Long-Tail Recommendation

본 문서에서는 2025년 PAKDD 학회에서 발표된 " DART: Diversified and Accurate Long-Tail Recommendation " 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title : DART: Diversified and Accurate Long-Tail Recommendation Authors: Jeongin Yun, Jaeri Lee, and U Kang Conference: The 29th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD 2025) Long-tail Recommendation 비인기 아이템(tail items)을 사용자에게 추천하는 것은 재고의 균형 잡힌 관리 뿐만 아니라 사용자에게 예상치 못한 유용한 아이템을 발견하게 해주기 때문에 중요합니다. 그러나 이는 현실 세계의 구매 데이터가 long-tail 분포 를 따르기 때문에 쉽지 않습니다. 구매 이력 데이터가 long-tail 분포를 따른다는 것은 아래 그림과 같이 소수의 인기 아이템(head items)이 대부분의 거래를 차지하고, 나머지 대다수의 아이템들은 매우 적은 수의 구매 이력을 가진다는 것을 의미합니다. 그림 1. 구매 이력 데이터의 long-tail 분포 이러한 분포를 고려하지 않는 모델은 인기 아이템을 위주로 추천하고 비인기 아이템을 간과하는 문제가 발생합니다. 아래 그림 2 (a)를 보면, 대표적인 추천 모델인 SASRec 은 비인기 아이템을 거의 추천하지 않고, 인기 아이템만 과도하게 추천하는 경향이 있음을 확인할 수 있습니다. 게다가, 그림 2 (b)에서 이 모델은 정답이 tail 아이템일 경우 매우 낮은 정확도를 보입니다. 그림 2. (a) 아이템 인기도에 따른 추천 빈도, (b) 전체, head, tail 아이템에 대한 추천 정확도 비인기 아이템을 추천하는 것의 ...

AUBER: Automated BERT Regularization

본 문서에서는 AUBER: Automated BERT Regularization 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: AUBER: Automated BERT Regularization Authors: Hyun Dong Lee, Seongmin Lee, U Kang Arxiv: https://arxiv.org/abs/2009.14409.pdf BERT 정규화 (BERT Regularization) BERT는 2018년 제안된 모델로 많은 자연어 처리 문제에서 좋은 성능을 내고 있습니다. BERT의 학습은 수많은 데이터로 사전학습(pretrain) 후, 풀고자 하는 특정 문제에 맞추어 미세조정(fine-tuning)함으로써 이루어집니다. BERT 모델은 트랜스포머(transformer)의 인코더(encoder)가 여러 층 쌓인 구조로 이루어져 있습니다. 그리고 각 인코더는 멀티 헤드 셀프 어텐션(multi-head self-attention) 구조를 갖습니다. 간단히 말해 어텐션 헤드(attention head)라는 블록 여러 개가 나란히 놓인 구조입니다. 가장 기본적인 모델인 BERT-base의경우, 12개의 어텐션 헤드로 구성된 인코더가 12층으로 쌓인 형태를 갖습니다. 즉, 어텐션 헤드가 12x12 형태로 배치되어 있습니다. 하지만 이러한 BERT는 파라미터가 굉장히 많은 큰 모델입니다. 이로 인해 과적합(overfitting)이 발생해 성능이 낮아지곤 합니다. 특히, 10,000개 이하의 훈련 데이터를 갖는 문제에 대해서는 과적합으로 인해 학습이 전혀 되지 않는 경우도 보고된 바 있습니다. 이는 BERT의 정규화의 필요성을 보여줍니다. 본 논문에서는 프루닝(pruning)을 통해 파라미터 수를 줄임으로써 문제를 해결하고자 합니다. 강화학습과 DQN (Reinforcement Learning and DQN) 강화학습은 현재 상태(state)에서 어떤 행동(action)을 취하는 것이 최적인가를 학습을 통해 파악하는 분...