Skip to main content

Data Mining Lab. Blog

Search This Blog

Pages

Showing posts from August, 2025

Posts

Accurate Sublayer Pruning for Large Language Models by Exploiting Latency and Tunability Information

Posted by Data Mining Lab. 날짜: 8/01/2025

Data Mining Lab.

Go to DMLAB Website

본 블로그에서는 서울대학교
컴퓨터공학부 데이터마이닝

연구실에서 진행하고 있는

최신 연구를 소개합니다.

Archive

2025 8

2024 12
2023 12
2022 12
2021 12
2020 12
2019 1
- December 2019 1

Show more Show less

Popular Posts

AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification

본 문서에서는 PAKDD '25 학회에서 발표된 " AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification " 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification Authors: Minjun Kim, Jaehyeon Choi, SeungJoo Lee, Jinhong Jung, and U Kang Conference: The Thirteenth International Conference on Learning Representations (ICLR 2025) Graph Classification 그래프 분류(graph classification)는 생물정보학(분자 특성 예측), 소셜 네트워크 분석, 금융 사기 탐지 등 다양한 분야에서 핵심적인 과제입니다. 해당 과제를 해결하는 대표적인 방법 중 하나는 GNN (Graph Neural Network)를 이용하는 것으로, 이는 그래프 데이터를 처리하기 위한 심층 학습 모델로서, 각 노드 사이에 메시지 전달 알고리즘을 이용하여 노드 및 그래프의 표현을 도출합니다. 하지만 단순히 GNN을 사용하는 것은 그래프 개수의 부족 등의 문제로 과적합 문제가 발생하기 때문에, 이런 GNN의 과적합을 방지하기 위해 그래프 증강(graph augmentation)이 도입되어, 현재 그래프 분류 기법들에 있어 중요한 요소로 자리잡고 있습니다. 하지만, 기존 방법들은 그래프 증강을 단순히 사용하여 GNN의 표현력을 제한시켜 부정확하며, 특히 아래와 같은 세 가지 문제점을 가지고 있습니다. (증강에 의해 유도된 차이 포착) 이전 접근법들은 인코더가 그래프 증강에 대해 불변적인 표현을 생성하도록 유도하여,...

Accurate Sublayer Pruning for Large Language Models by Exploiting Latency and Tunability Information

본 문서에서는 IJCAI'25 학회에서 발표될 " Accurate Sublayer Pruning for Large Language Models by Exploiting Latency and Tunability Information " 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Accurate Sublayer Pruning for Large Language Models by Exploiting Latency and Tunability Information Authors: Seungcheol Park, Sojin Lee, Jongjin Kim, Jinsik Lee, Hyunjik Jo, and U Kang Conference: The 34th International Joint Conference on Artificial Intelligence (IJCAI 2025) Sublayer Pruning for Large Language Models 최신 거대 언어 모델(large language model)들은 챗봇, 번역, 코드 생성 등 실생활의 다양한 작업을 수행하는 데에 있어서 뛰어난 성능을 보이고 있습니다. 하지만, 거대 언어 모델을 구성하는 방대한 양의 파라미터 수는 모델의 실질적인 운용을 어렵게 만드는 요소입니다. 서브레이어 가지치기(sublayer pruning)는 거대 언어 모델에서 불필요한 서브레이어를 삭제함으로써 모델의 크기로 인한 문제점을 효과적으로 해결합니다. 거대 언어 모델은 multi-head attention (MHA) 서브레이어와 multi-layer perceptron (MLP) 서브레이어가 번갈아서 층을 구성하고 있으며, 서브레이어들의 연산은 병렬적으로 수행할 수 없기 때문에 서브레이어 가지치기는 단순하지만 효과적으로 거대 언어 모델의 추론 속도를 극대화할 수 있습니다. 그림 1. 기존 가지치기 기법과 본 논문의 제안 기법 (SPRINT) 비교 서브레이어 가지치기의 핵심 목표...

DART: Diversified and Accurate Long-Tail Recommendation

본 문서에서는 2025년 PAKDD 학회에서 발표된 " DART: Diversified and Accurate Long-Tail Recommendation " 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title : DART: Diversified and Accurate Long-Tail Recommendation Authors: Jeongin Yun, Jaeri Lee, and U Kang Conference: The 29th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD 2025) Long-tail Recommendation 비인기 아이템(tail items)을 사용자에게 추천하는 것은 재고의 균형 잡힌 관리 뿐만 아니라 사용자에게 예상치 못한 유용한 아이템을 발견하게 해주기 때문에 중요합니다. 그러나 이는 현실 세계의 구매 데이터가 long-tail 분포 를 따르기 때문에 쉽지 않습니다. 구매 이력 데이터가 long-tail 분포를 따른다는 것은 아래 그림과 같이 소수의 인기 아이템(head items)이 대부분의 거래를 차지하고, 나머지 대다수의 아이템들은 매우 적은 수의 구매 이력을 가진다는 것을 의미합니다. 그림 1. 구매 이력 데이터의 long-tail 분포 이러한 분포를 고려하지 않는 모델은 인기 아이템을 위주로 추천하고 비인기 아이템을 간과하는 문제가 발생합니다. 아래 그림 2 (a)를 보면, 대표적인 추천 모델인 SASRec 은 비인기 아이템을 거의 추천하지 않고, 인기 아이템만 과도하게 추천하는 경향이 있음을 확인할 수 있습니다. 게다가, 그림 2 (b)에서 이 모델은 정답이 tail 아이템일 경우 매우 낮은 정확도를 보입니다. 그림 2. (a) 아이템 인기도에 따른 추천 빈도, (b) 전체, head, tail 아이템에 대한 추천 정확도 비인기 아이템을 추천하는 것의 ...

Sequentially Diversified and Accurate Recommendations in Chronological Order for a Series of Users

본 문서에서는 2025년 WSDM 학회에서 발표될 "Sequentially Diversified and Accurate Recommendations in Chronological Order for a Series of Users" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Sequentially Diversified and Accurate Recommendations in Chronological Order for a Series of Users Authors: Jongjin Kim and U Kang Conference: WSDM (2025) Sequentially Diversified Recommendation 상품의 종류가 늘어나고 정보가 범람함에 따라 오늘날 사용자들은 구매할 아이템을 찾기 위해 추천시스템에 크게 의존하곤 합니다 . 따라서 전자상거래 플랫폼 등에서 수익을 극대화하기 위한 기술이 점점 중요해지고 있습니다 . 다양화 추천은 플랫폼의 수익을 극대화하기 위한 대표적인 연구 주제입니다 . 다양화 추천에서는 사용자들에게 정확한 아이템을 추천하는 것을 넘어서 사용자 전체에 대해 다양한 아이템을 노출시키는 것을 목표로 합니다 . 이를 통해 플랫폼은 보유한 재고를 모두 소진하도록 사용자들을 유도할 수 있으며 또한 덜 유명한 아이템의 노출 횟수를 늘려 고른 수익을 얻을 수 있습니다 . 그러나 기존 다양화 추천 시스템(aggregately diversified recommendation)은 여러 사용자에 대한 추천이 동시에 일어난다고 가정하는 한계가 있었습니다 . 실제 전자상거래 플랫폼에서는 사용자가 한 번에 한 명씩 필요할 때마다 추천을 받아가므로 매 추천 시점에서 이후에 어떤 사용자가 추천을 받게 될지를 사전에 알지 못한 채 추천을 진행해야 합니다 . 본 논문은 이처럼 추천이 차례로 이루어지는 상황에서 다양화 추천을 수행하는 순차 다양화 추천(sequentially ...

Accurate Coupled Tensor Factorization with Knowledge Graph

본 문서에서는 BigData 2024에서 발표될 "Accurate Coupled Tensor Factorization with Knowledge Graph " 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title : Accurate Coupled Tensor Factorization with Knowledge Graph Authors : SeungJoo Lee, Yong-chan Park, and U Kang Conference : IEEE International Conference on Big Data (BigData) 2024 PARAFAC2 Decomposition & Knowledge Graph PARAF AC2 분해 ( PARAFAC2 Decomposition). PARAFAC2 분해는 실세계의 불규칙 텐서 데이터를 분석하는 데 널리 사용되는 도구로, 차원 축소, 이상 탐지 등 다양한 분야에서 활용되고 있습니다. 지식 그래프(Knowledge Graph). 지식 그래프는 관계형 데이터를 삼중항으로 표현하는 구조화된 데이터베이스로, 삼중항은 헤드(head) 엔티티, 테일(tail) 엔티티, 그리고 두 엔티티 간의 관계로 구성됩니다. 예를 들어, 삼중항 (" J.K. 롤링 ", "쓰다", " 해리포터 ")은 J.K. 롤링이 해리포터의 저자임을 명시적으로 나타냅니다. 또한, 지식 그래프는 3차원 텐서로 모델링될 수 있으며, 텐서의 각 요소는 삼중항의 진위 여부를 나타내어 참이면 1, 거짓 또는 불확실하면 0으로 표현됩니다. 엔티티 간의 복합적이고 의미론적인 관계를 효과적으로 모델링할 수 있다는 점에서, 지식 그래프는 정보 검색, 추천 시스템, 지식 추론 등 다양한 인공지능 응용 분야에서 중요한 역할을 하고 있습니다. 그림 1. PARAFAC2 Decomposition 그림 1의 예시처럼, PARAFAC2 분해는 주어진 불규칙 텐서를 요인 행렬로 ...

Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries

본 문서에서는 데이터 마이닝 분야 학회 중 하나인 KDD 2021에서 발표될 " Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries " 논문을 소개합니다. 논문의 상세한 정보는 다음과 같습니다. Title: Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries Authors: Jun-Gi Jang and U Kang Conference: The 27th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining ( KDD ), 2021 Temporal Dense Tensor 실세계에 존재하는 많은 데이터가 시간 밀도 텐서 (temporal dense tensor)로 표현될 수 있습니다. 시간 밀도 텐서는 한 차원이 시간과 관련이 있으며, 대부분의 값들이 관측된 데이터입니다. 예를 들어, 여러 위치에 설치된 센서들에서 매 시간마다 측정값들을 얻을 수 있습니다. 해당 데이터는 3차원 시간 밀도 텐서로 표현할 수 있습니다. 이 외에도, 주식 데이터, 비디오 데이터, 교통량 데이터 등도 시간 밀도 텐서로 표현할 수 있습니다. 그림 1. 시간 밀도 텐서 예시. 센서 데이터, 주식 데이터, 비디오 데이터, 교통량 데이터 등 다양한 실세계 데이터가 시간 밀도 텐서로 표현할 수 있다. 이렇듯 실세계에 존재하는 많은 데이터가 시간 밀도 텐서로 표현될 수 있으며 여러 차원을 가지는 텐서 특성상 데이터의 크기는 매우 큽니다. 그러므로, 시간 밀도 텐서를 효율적이고 효과적으로 분석하는 방법을 개발하는 것은 매우 중요합니다. Tucker Decomposition 터커 분해 (Tucker decomposition) 는 주어진 텐서를 분석할 수 있는 가장 핵심적인 ...

Sampling Subgraphs with Guaranteed Treewidth for Accurate and Efficient Graphical Inference

본 문서에서는 WSDM 2020에서 발표된 Sampling Subgraphs with Guaranteed Treewidth for Accurate and Efficient Graphical Inference 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Sampling Subgraphs with Guaranteed Treewidth for Accurate and Efficient Graphical Inference Authors: Jaemin Yoo, U Kang, Mauro Scanagatta, Giorgio Corani, and Marco Zaffalon ACM International Conference on Web Search and Data Mining (WSDM) 2020 Graph Sampling 그래프 샘플링(graph sampling)은 어떤 그래프가 주어졌을 때 해당 그래프의 특성을 보존하는 작은 서브그래프(subgraph)를 생성하는 문제입니다. 본 연구에서는 그래프 샘플링 중에서도 정점 집합을 유지하면서 간선 집합의 일부만을 선택하는 간선 샘플링(edge sampling) 문제를 다룹니다. 예를 들어 사용자간 관계를 설명하는 소셜 네트워크가 주어져 있다고 할 때, 간선 샘플링은 각 사용자의 정보는 유지한 채 사용자간 관계 정보만을 제거하여 서브그래프를 생성합니다. 간선 샘플링이 잘 이루어지면 그림 1 과 같은 결과를 생성하게 됩니다. 그림에 나타난 그래프는 여러 개의 블로그와 블로그간 하이퍼링크를 나타내는 웹 그래프로, 각 정점의 색은 블로그의 정치 성향을 나타냅니다. 이때, 그림 왼쪽의 그래프는 동일한 성향의 블로그끼리 간선을 생성하는 동종 친화성(homophily) 특성을 보이는데, 이 특성이 그림 오른쪽의 서브그래프에서도 잘 보존되는 것을 확인할 수 있습니다. 이렇게 생성된 서브그래프는 실제 그래프의 특성을 보다 효율적으로 파악하기 위해 사용...

Learning to Reweight Examples for Robust Deep Learning

본 문서에서는 2018년 ICML 학회에 발표된 "Learning to Reweight Examples for Robust Deep Learning" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Learning to Reweight Examples for Robust Deep Learning Authors: Mengye Ren, Wenyuan Zeng, Bin Yang, and Raquel Urtasun Conference: International Conference on Machine Learning (ICML) 2018 Learning to Reweight Examples for Robust Deep Learning 딥러닝 기반의 모델들은 데이터를 고차원으로 투영하는 방식으로 복잡한 패턴의 입력에 대해서도 성공적으로 지도 학습이 가능함을 보여왔습니다. 하지만, 학습에 사용된 데이터를 기반으로 고차원으로 투영시키는 파라미터가 학습되기 때문에 생기는 문제가 존재합니다. 예를 들어, 학습 데이터에 노이즈가 포함되어 있어 평가 데이터와 차이가 존재한다면, 모델이 그 학습 데이터에 과적합되어 평가 데이터에 대한 성능이 떨어지는 현상이 존재할 수 있습니다. 이러한 학습 데이터 노이즈에서 가장 많이 거론되는 것으로는 클래스 불균형, 라벨 노이즈 두 가지가 존재합니다. 클래스 불균형은 데이터 내에서 클래스 별로 인스턴스 수가 균등히 배분 되어 있지 않고, 유명한 클래스의 인스턴스 수와 잘 보이지 않는 클래스의 인스턴스 수의 차이가 심한 경우입니다. 예를 들면 자동차의 이미지 데이터를 수집할 때, SUV 타입의 자동차는 많이 보이지만, 구급차의 경우 드물게 보이기 때문에 수집을 할 때 SUV 타입의 자동차보다 구급차의 이미지가 극단적으로 적을 수 있습니다. 라벨 노이즈는 데이터 내에서 잘못 라벨링 된 인스턴스들이 존재할 경우입니다. 데이터를 만들고 난 뒤 검...

Accurate Stock Movement Prediction via Multi-Scale and Multi-Domain Modeling

본 문서에서는 BigData 2024 학회에 발표된 "Accurate Stock Movement Prediction via Multi-Scale and Multi-Domain Modeling" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title : Accurate Stock Movement Prediction via Multi-Scale and Multi-Domain Modeling Authors: JinGee Kim, Yong-chan Park, Jaemin Hong, and U Kang Conference: 2024 IEEE International Conference on Big Data Stock Movement Prediction 주가 예측은 금융 분야에서 핵심적인 역할을 하는 기술로, 투자자에게 잠재적인 이익 기회를 제공하고 시장 동향을 파악하는 데 큰 도움을 줍니다. 특히 최근에는 전통적인 단일 시계열 분석만으로는 주가가 지닌 복잡하고 비선형적인 변화를 충분히 포착하기 어려워졌습니다. 이에 따라 다양한 모델 구조가 제안되어 왔으며, 긴 시계열 의존성과 지역적 패턴을 모두 고려할 수 있는 새로운 접근들이 주목받고 있습니다. 기존의 여러 연구에서는 주가의 복잡한 의존성을 효과적으로 포착하기 위한 다양한 방법론을 제시하였습니다. 특히 주목할 만한 접근 중 하나는 어텐션 메커니즘을 활용한 방법으로, 장·단기 의존성을 동시에 모형화하고 섹터 간 상관관계 등을 파악하는 데에 유리하다는 점이 알려져 있습니다. 하지만 기존 어텐션 기반 기법들은 수개월 이상의 매우 장기적인 패턴을 파악하기에는 한계가 있으며, 시계열 데이터에 내재된 다중 스케일(multi-scale) 및 다중 도메인(multi-domain) 정보를 충분히 활용하지 못한다는 단점이 보고되고 있습니다. 이 밖에도 합성곱신경망(Convolutional Neural Network, C...

Attention-Based Autoregression for Accurate and Efficient Multivariate Time Series Forecasting

본 문서에서는 데이터 마이닝 분야의 SDM 2021 학회에서 발표될 예정인 Attention-Based Autoregression for Accurate and Efficient Multivariate Time Series Forecasting 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Attention-Based Autoregression for Accurate and Efficient Multivariate Time Series Forecasting Authors: Jaemin Yoo and U Kang Conference: SIAM International Conference on Data Mining (SDM) 2021 Multivariate Time Series Forecasting 시계열 예측(time series forecasting)은 기계 학습 및 데이터 마이닝 분야에서 활발히 연구되고 있는 문제로서, 많은 수의 실세계 데이터가 시계열 형태로 모델링되기 때문에 주가 예측, 날씨 예측, 전력 수요 예측 등 다양한 실세계 문제와 밀접히 연관되어 있습니다. 그중에서도 다변수(multivariate) 시계열 예측은 서로 연관되어 있는 여러 개의 시계열 변수를 동시에 예측하는 상황을 의미합니다. 위에서 언급한 시계열 예측 문제의 예시는 모두 다변수 예측에 해당됩니다. 즉, 예측 대상이 되는 주식 종목간 관계, 지역간 관계, 그리고 도시 구획별 관계를 모델링함으로써 시계열 예측 정확도를 크게 향상시킬 수 있습니다. 하지만, 각 변수에서 관측되는 패턴과 여러 변수간 관계를 동시에 고려하다 보니 다변수 시계열 예측을 위한 기존 모델은 지나치게 많은 파라미터를 갖는 경향을 보였습니다. 학습 데이터의 양이 충분하지 않고 과거 시점의 데이터에 과적합(overfitting)되기 쉬운 시계열 데이터의 특성상 파라미터 수가 많아질 경우 성능 재현과 하이퍼파라미터 튜닝(hyperparameter tuning)이 무척 어려워집...