Skip to main content

Data Mining Lab. Blog

Search This Blog

Pages

Showing posts from 2026

Posts

Unifying Uniform and Binary-coding Quantization for Accurate Compression of Large Language Models

Posted by Data Mining Lab. 날짜: 2/01/2026

Context-aware Sequential Bundle Recommendation via User-specific Representations

Posted by Data Mining Lab. 날짜: 1/04/2026

Data Mining Lab.

Go to DMLAB Website

본 블로그에서는 서울대학교
컴퓨터공학부 데이터마이닝

연구실에서 진행하고 있는

최신 연구를 소개합니다.

Archive

2026 2
- February 2026 1
  - Unifying Uniform and Binary-coding Quantization fo...
- January 2026 1
  - Context-aware Sequential Bundle Recommendation via...

2025 12
2024 12
2023 12
2022 12
2021 12
2020 12
2019 1
- December 2019 1

Show more Show less

Popular Posts

Mitigating Distribution Shift in Stock Price Data via Return-Volatility Normalization for Accurate Prediction

본 문서에서는 CIKM 2025 학회에서 발표된 "Mitigating Distribution Shift in Stock Price Data via Return-Volatility Normalization for Accurate Prediction" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Mitigating Distribution Shift in Stock Price Data via Return-Volatility Normalization for Accurate Prediction Authors: Hyunwoo Lee, Jihyeong Jeon, Jaemin Hong, and U Kang Conference: The 34th ACM International Conference on Information and Knowledge Management Stock Price Prediction (주가 예측) 주가 예측 이란 과거의 주식 가격 흐름, 거래량, 뉴스 등 다양한 데이터를 분석하여 미래의 주식 가격이 어떻게 변할지 미리 예상하는 기술 입니다. 쉽게 말해, '내일 주식이 오를까, 내릴까?'를 예측하여 투자의 성공 확률을 높이려는 시도라고 할 수 있습니다. 주가 예측은 금융 분야에서 가장 도전적인 과제 중 하나입니다. Distribution Shifts in Stock Price Data (주가 데이터의 분포 변화) 기존의 딥러닝 모델들이 주가 예측에 많이 활용되고 있지만, 여전히 해결하기 어려운 문제가 하나 있습니다. 바로 학습 데이터와 테스트 데이터의 성격이 다르다 는 점이고 이를 분포 변화(Distribution Shift)라고 합니다. 예시로 그림 1을 살펴보겠습니다. 여기서 (a)는 코카콜라의 주가 차트이고 학습할 데이터와 테스트할 데이터를 나타냅니다. (b)는 코카콜라 주가에서 학습 데이터셋과 테스트 데이터셋의 분포 차이를 시각적으로 나타냅니다. 두 분포가 모...

Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries

본 문서에서는 데이터 마이닝 분야 학회 중 하나인 KDD 2021에서 발표될 " Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries " 논문을 소개합니다. 논문의 상세한 정보는 다음과 같습니다. Title: Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries Authors: Jun-Gi Jang and U Kang Conference: The 27th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining ( KDD ), 2021 Temporal Dense Tensor 실세계에 존재하는 많은 데이터가 시간 밀도 텐서 (temporal dense tensor)로 표현될 수 있습니다. 시간 밀도 텐서는 한 차원이 시간과 관련이 있으며, 대부분의 값들이 관측된 데이터입니다. 예를 들어, 여러 위치에 설치된 센서들에서 매 시간마다 측정값들을 얻을 수 있습니다. 해당 데이터는 3차원 시간 밀도 텐서로 표현할 수 있습니다. 이 외에도, 주식 데이터, 비디오 데이터, 교통량 데이터 등도 시간 밀도 텐서로 표현할 수 있습니다. 그림 1. 시간 밀도 텐서 예시. 센서 데이터, 주식 데이터, 비디오 데이터, 교통량 데이터 등 다양한 실세계 데이터가 시간 밀도 텐서로 표현할 수 있다. 이렇듯 실세계에 존재하는 많은 데이터가 시간 밀도 텐서로 표현될 수 있으며 여러 차원을 가지는 텐서 특성상 데이터의 크기는 매우 큽니다. 그러므로, 시간 밀도 텐서를 효율적이고 효과적으로 분석하는 방법을 개발하는 것은 매우 중요합니다. Tucker Decomposition 터커 분해 (Tucker decomposition) 는 주어진 텐서를 분석할 수 있는 가장 핵심적인 ...

Learning to Reweight Examples for Robust Deep Learning

본 문서에서는 2018년 ICML 학회에 발표된 "Learning to Reweight Examples for Robust Deep Learning" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Learning to Reweight Examples for Robust Deep Learning Authors: Mengye Ren, Wenyuan Zeng, Bin Yang, and Raquel Urtasun Conference: International Conference on Machine Learning (ICML) 2018 Learning to Reweight Examples for Robust Deep Learning 딥러닝 기반의 모델들은 데이터를 고차원으로 투영하는 방식으로 복잡한 패턴의 입력에 대해서도 성공적으로 지도 학습이 가능함을 보여왔습니다. 하지만, 학습에 사용된 데이터를 기반으로 고차원으로 투영시키는 파라미터가 학습되기 때문에 생기는 문제가 존재합니다. 예를 들어, 학습 데이터에 노이즈가 포함되어 있어 평가 데이터와 차이가 존재한다면, 모델이 그 학습 데이터에 과적합되어 평가 데이터에 대한 성능이 떨어지는 현상이 존재할 수 있습니다. 이러한 학습 데이터 노이즈에서 가장 많이 거론되는 것으로는 클래스 불균형, 라벨 노이즈 두 가지가 존재합니다. 클래스 불균형은 데이터 내에서 클래스 별로 인스턴스 수가 균등히 배분 되어 있지 않고, 유명한 클래스의 인스턴스 수와 잘 보이지 않는 클래스의 인스턴스 수의 차이가 심한 경우입니다. 예를 들면 자동차의 이미지 데이터를 수집할 때, SUV 타입의 자동차는 많이 보이지만, 구급차의 경우 드물게 보이기 때문에 수집을 할 때 SUV 타입의 자동차보다 구급차의 이미지가 극단적으로 적을 수 있습니다. 라벨 노이즈는 데이터 내에서 잘못 라벨링 된 인스턴스들이 존재할 경우입니다. 데이터를 만들고 난 뒤 검...

Entity-Aware Generative Retrieval for Personalized Contexts

본 문서에서는 CIKM 2025 학회에서 발표될 "Entity-Aware Generative Retrieval for Personalized Contexts" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Entity-Aware Generative Retrieval for Personalized Contexts Authors: Jihyeong Jeon, Jiwon Lee, Cheol Ryu, and U Kang Conference: The 34th ACM International Conference on Information and Knowledge Management Personalized Information Retrieval 개인화 정보 검색(Personalized Information Retrieval, PIR)은 “어제 친구와 식사한 레스토랑 이름이 뭐였지?”처럼, 어떤 친구를 가리키는지 혹은 구체적으로 어느 시점을 의미하는지 모호한 표현이 포함된 질문에 대해, 관련 문서를 정확히 찾아내는 문제를 다룹니다. 하지만 기존 정보 검색(Information Retrieval) 기법에서 널리 사용된 BM25 같은 희소 검색(Sparse Retrieval)이나 Dense Retriever는 단어 일치나 임베딩 유사도에만 의존하기 때문에, 애칭·개인 장소·시간 표현 등 사용자 고유의 맥락을 처리하는 데 한계가 있습니다. 최근 생성 기반 검색(Generative Retrieval) 기법이 주목받고 있지만, 이 역시 엔티티 모호성(Entity Ambiguity)과 개인화 문제를 충분히 해결하지는 못했습니다. 본 논문에서는 이러한 “사용자의 질문에 모호성이 포함되어 있을 때도 어떻게 관련 문서를 정확히 찾을 수 있을까?”라는 물음에 답하기 위한 새로운 모델 구조를 제안합니다. Proposed Method 본 논문에서는 PEARL ( P ersonalized E nt...

Unifying Uniform and Binary-coding Quantization for Accurate Compression of Large Language Models

본 문서에서는 ACL ’25 Main Track에 채택된 “Unifying Uniform and Binary-coding Quantization for Accurate Compression of Large Language Models” 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Unifying Uniform and Binary-coding Quantization for Accurate Compression of Large Language Models Authors: Seungcheol Park, Jeongin Bae, Beomseok Kwon, Minjun Kim, Byeongwook Kim, Se Jung Kwon, U Kang, and Dongsoo Lee Conference: The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025) Large Language Model Quantization LLM(Large Language Model)은 뛰어난 성능을 보여주지만, 수십억 개의 파라미터로 인한 막대한 메모리 사용량과 연산 비용은 실제 서비스 배포에 큰 걸림돌이 됩니다. 이를 해결하기 위한 핵심 기술인 양자화(Quantization)는 크게 균일 양자화(Uniform Quantization, UQ)와 이진 코드 양자화(Binary-coding Quantization, BCQ)로 나뉩니다. UQ는 가중치를 균일한 간격으로 매핑하여 하드웨어 친화적이고 최적화가 쉽다는 장점이 있지만, 종 모양 분포를 가진 LLM 가중치를 표현하는 데에는 표현력이 부족합니다. 반면 BCQ는 binary basis의 선형 결합으로 가중치를 표현하여 비균일한 간격을 가질 수 있어 표현력이 매우 높지만, 이산적인 최적화 문제로 인해 학습이 어렵다는 단점이 있습니다. 기존 연구들은 이러한 UQ의 최적화 용이성과 BCQ의...

Accurate Graph Classification via Two-staged Contrastive Curriculum Learning

본 문서에서는 2023년 PLOS ONE 저널에 게재된 "Accurate Graph Classification via Two-staged Contrastive Curriculum Learning" 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title : Accurate Graph Classification via Two-staged Contrastive Curriculum Learning Authors: Sooyeon Shim, Junghun Kim, Ka Hyun Park, and U Kang Journal : PLOS ONE 2023 Graph Contrastive Learning 대조학습(Contrastive learning) 이란 객체들 간의 관계 정보를 포착해 임베딩을 학습하는 방법입니다. 예를 들어 어떤 객체에 대한 positive 와 negative 샘플을 선정한다면, 주어진 객체와 positive 샘플의 유사도는 증대되고, 객체와 negative 샘플의 유사도는 절감되는 것을 목표로 positive/negative 샘플을 정해야합니다. 이를 그래프에 적용하는 접근 방식을 그래프 대조 학습(Graph contrastive learning)이라고 하며, 기존의 그래프 대조 학습은 크게 노드 단위의 그래프 대조학습(Node-level graph contrastive learning) 그리고 그래프 단위의 그래프 대조학습(Graph-level graph contrastive learning)의 두 가지 갈래로 구분할 수 있습니다. 노드 단위의 그래프 대조학습 은 그래프가 주어졌을때, 주어진 그래프와 이를 변형한 그래프 간의 노드 임베딩을 비교하는 방식으로 전개되어 왔습니다. 두 그래프 상에서의 노드 페어(Pair)는 다음과 같이 정의합니다. 어떤 노드에 대해 다른 그래프 상에서 같은 위치에 있는 노드를 positive 페어로, positive 페어로 정의된 노드 이외의 다른 그래프 상의 모든 노드들은...

Attention-Based Autoregression for Accurate and Efficient Multivariate Time Series Forecasting

본 문서에서는 데이터 마이닝 분야의 SDM 2021 학회에서 발표될 예정인 Attention-Based Autoregression for Accurate and Efficient Multivariate Time Series Forecasting 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Attention-Based Autoregression for Accurate and Efficient Multivariate Time Series Forecasting Authors: Jaemin Yoo and U Kang Conference: SIAM International Conference on Data Mining (SDM) 2021 Multivariate Time Series Forecasting 시계열 예측(time series forecasting)은 기계 학습 및 데이터 마이닝 분야에서 활발히 연구되고 있는 문제로서, 많은 수의 실세계 데이터가 시계열 형태로 모델링되기 때문에 주가 예측, 날씨 예측, 전력 수요 예측 등 다양한 실세계 문제와 밀접히 연관되어 있습니다. 그중에서도 다변수(multivariate) 시계열 예측은 서로 연관되어 있는 여러 개의 시계열 변수를 동시에 예측하는 상황을 의미합니다. 위에서 언급한 시계열 예측 문제의 예시는 모두 다변수 예측에 해당됩니다. 즉, 예측 대상이 되는 주식 종목간 관계, 지역간 관계, 그리고 도시 구획별 관계를 모델링함으로써 시계열 예측 정확도를 크게 향상시킬 수 있습니다. 하지만, 각 변수에서 관측되는 패턴과 여러 변수간 관계를 동시에 고려하다 보니 다변수 시계열 예측을 위한 기존 모델은 지나치게 많은 파라미터를 갖는 경향을 보였습니다. 학습 데이터의 양이 충분하지 않고 과거 시점의 데이터에 과적합(overfitting)되기 쉬운 시계열 데이터의 특성상 파라미터 수가 많아질 경우 성능 재현과 하이퍼파라미터 튜닝(hyperparameter tuning)이 무척 어려워집...

Context-aware Sequential Bundle Recommendation via User-specific Representations

본 문서에서는 2025년 CIKM 에서 발표된 "Context-aware Sequential Bundle Recommendation via User-specific Representations" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다: Title: Context-aware Sequential Bundle Recommendation via User-specific Representations Authors: Jaeri Lee and U Kang Conference: CIKM (2025) Sequential Bundle Recommendation 온라인 쇼핑, 음식 배달, 콘텐츠 소비 플랫폼에서는 단일 아이템이 아니라 여러 아이템이 함께 묶인 번들(bundle) 형태의 소비가 점점 일반화되고 있습니다. 동시에 사용자 선호는 고정되어 있지 않고, 시간에 따라 빠르게 변화 하며 최근 행동일수록 다음 선택에 더 큰 영향을 미칩니다. 따라서 실제 서비스 환경에서 효과적인 추천을 위해서는, 아이템 간의 관계를 파악하는 번들 추천의 관점과 사용자의 과거 행동 순서와 최근 맥락을 반영하는 순차 추천 관점 모두가 필수적입니다. 그림 1. 순차 번들 추천 문제 하지만 기존의 추천 연구에서는 번들 추천과 순차 추천을 독립적인 문제로 두고 있습니다. 기존 번들 추천 기법들은 주로 사용자의 선호를 정적으로 가정하거나, 번들을 하나의 고정된 객체로 취급하여 번들 내부의 아이템 구성과 시간적 맥락을 충분히 고려하지 못합니다. 반면, 순차 추천 기법들은 사용자의 행동 순서를 모델링하는 데 강점을 가지지만, 대부분 단일 아이템 단위 에 초점을 맞추고 있어 번들 내부 구조의 다양성을 반영하기 어렵습니다. 따라서 본 논문에서는 번들을 고정된 객체로 취급하는 대신, 사용자의 과거 상호작용과 최근 행동 맥락에 따라 번들의 의미가 달라질 수 있다는 점에 주목하여 , 번들 추...

Accurate Graph-Based PU Learning without Class Prior

본 문서에서는 데이터 마이닝 분야의 ICDM 2021 학회에서 발표될 Accurate Graph-Based PU Learning without Class Prior 논문을 소개합니다. 논문의 상세한 정보는 다음과 같습니다. Title: Accurate Graph-Based PU Learning without Class Prior Authors: Jaemin Yoo*, Junghun Kim*, Hoyoung Yoon*, Geonsoo Kim, Changwon Jang, and U Kang (*equal contribution) Conference: IEEE International Conference on Data Mining (ICDM) 2021 Graph-Based PU Learning PU 학습(positive-unlabeled learning, PU learning)은 양성(positive) 데이터와 미분류(unlabeled) 데이터가 주어졌을 때 이진 분류기(binary classifier)를 학습하는 문제입니다. 일반적인 지도 학습(supervised learning)에서는 학습에 사용할 수 있도록 양성 및 음성(negative) 클래스 라벨이 모두 주어져 있다고 가정합니다. 반면, PU 학습에서는 미분류 데이터가 양성 및 음성 데이터를 모두 포함하고 있고, 음성 데이터에 대한 라벨은 주어져 있지 않다고 가정합니다. 그림 1은 일반적인 지도 학습 문제와 PU 학습 문제의 차이점을 보여줍니다. PU 학습에서는 양성 데이터와 음성 데이터 사이의 경계를 분명하게 알기 어렵기 때문에 정확한 분류기를 학습하는 것이 어렵습니다. 그림 1. PU 학습의 예시. PU 학습 문제는 실제 상황에서 흔히 나타납니다. 예를 들어 신용카드 거래 내역 중 사기 거래를 탐지하는 문제를 생각해볼 수 있습니다. 경찰에 의해 직접 검거된 사기의 경우에는 분명한 "사기" 라벨을 매길 수 있지만 나머지 모든 거래에 대해 "정상" 라벨을 붙이기는 ...

DART: Diversified and Accurate Long-Tail Recommendation

본 문서에서는 2025년 PAKDD 학회에서 발표된 " DART: Diversified and Accurate Long-Tail Recommendation " 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title : DART: Diversified and Accurate Long-Tail Recommendation Authors: Jeongin Yun, Jaeri Lee, and U Kang Conference: The 29th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD 2025) Long-tail Recommendation 비인기 아이템(tail items)을 사용자에게 추천하는 것은 재고의 균형 잡힌 관리 뿐만 아니라 사용자에게 예상치 못한 유용한 아이템을 발견하게 해주기 때문에 중요합니다. 그러나 이는 현실 세계의 구매 데이터가 long-tail 분포 를 따르기 때문에 쉽지 않습니다. 구매 이력 데이터가 long-tail 분포를 따른다는 것은 아래 그림과 같이 소수의 인기 아이템(head items)이 대부분의 거래를 차지하고, 나머지 대다수의 아이템들은 매우 적은 수의 구매 이력을 가진다는 것을 의미합니다. 그림 1. 구매 이력 데이터의 long-tail 분포 이러한 분포를 고려하지 않는 모델은 인기 아이템을 위주로 추천하고 비인기 아이템을 간과하는 문제가 발생합니다. 아래 그림 2 (a)를 보면, 대표적인 추천 모델인 SASRec 은 비인기 아이템을 거의 추천하지 않고, 인기 아이템만 과도하게 추천하는 경향이 있음을 확인할 수 있습니다. 게다가, 그림 2 (b)에서 이 모델은 정답이 tail 아이템일 경우 매우 낮은 정확도를 보입니다. 그림 2. (a) 아이템 인기도에 따른 추천 빈도, (b) 전체, head, tail 아이템에 대한 추천 정확도 비인기 아이템을 추천하는 것의 ...