Skip to main content

Data Mining Lab. Blog

Search This Blog

Pages

Showing posts from September, 2025

Posts

PuzzleTensor: A Method-Agnostic Data Transformation for Compact Tensor Factorization

Posted by Data Mining Lab. 날짜: 9/02/2025

Data Mining Lab.

Go to DMLAB Website

본 블로그에서는 서울대학교
컴퓨터공학부 데이터마이닝

연구실에서 진행하고 있는

최신 연구를 소개합니다.

Archive

2025 9

2024 12
2023 12
2022 12
2021 12
2020 12
2019 1
- December 2019 1

Show more Show less

Popular Posts

Accurate Sublayer Pruning for Large Language Models by Exploiting Latency and Tunability Information

본 문서에서는 IJCAI'25 학회에서 발표될 " Accurate Sublayer Pruning for Large Language Models by Exploiting Latency and Tunability Information " 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Accurate Sublayer Pruning for Large Language Models by Exploiting Latency and Tunability Information Authors: Seungcheol Park, Sojin Lee, Jongjin Kim, Jinsik Lee, Hyunjik Jo, and U Kang Conference: The 34th International Joint Conference on Artificial Intelligence (IJCAI 2025) Sublayer Pruning for Large Language Models 최신 거대 언어 모델(large language model)들은 챗봇, 번역, 코드 생성 등 실생활의 다양한 작업을 수행하는 데에 있어서 뛰어난 성능을 보이고 있습니다. 하지만, 거대 언어 모델을 구성하는 방대한 양의 파라미터 수는 모델의 실질적인 운용을 어렵게 만드는 요소입니다. 서브레이어 가지치기(sublayer pruning)는 거대 언어 모델에서 불필요한 서브레이어를 삭제함으로써 모델의 크기로 인한 문제점을 효과적으로 해결합니다. 거대 언어 모델은 multi-head attention (MHA) 서브레이어와 multi-layer perceptron (MLP) 서브레이어가 번갈아서 층을 구성하고 있으며, 서브레이어들의 연산은 병렬적으로 수행할 수 없기 때문에 서브레이어 가지치기는 단순하지만 효과적으로 거대 언어 모델의 추론 속도를 극대화할 수 있습니다. 그림 1. 기존 가지치기 기법과 본 논문의 제안 기법 (SPRINT) 비교 서브레이어 가지치기의 핵심 목표...

Sampling Subgraphs with Guaranteed Treewidth for Accurate and Efficient Graphical Inference

본 문서에서는 WSDM 2020에서 발표된 Sampling Subgraphs with Guaranteed Treewidth for Accurate and Efficient Graphical Inference 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Sampling Subgraphs with Guaranteed Treewidth for Accurate and Efficient Graphical Inference Authors: Jaemin Yoo, U Kang, Mauro Scanagatta, Giorgio Corani, and Marco Zaffalon ACM International Conference on Web Search and Data Mining (WSDM) 2020 Graph Sampling 그래프 샘플링(graph sampling)은 어떤 그래프가 주어졌을 때 해당 그래프의 특성을 보존하는 작은 서브그래프(subgraph)를 생성하는 문제입니다. 본 연구에서는 그래프 샘플링 중에서도 정점 집합을 유지하면서 간선 집합의 일부만을 선택하는 간선 샘플링(edge sampling) 문제를 다룹니다. 예를 들어 사용자간 관계를 설명하는 소셜 네트워크가 주어져 있다고 할 때, 간선 샘플링은 각 사용자의 정보는 유지한 채 사용자간 관계 정보만을 제거하여 서브그래프를 생성합니다. 간선 샘플링이 잘 이루어지면 그림 1 과 같은 결과를 생성하게 됩니다. 그림에 나타난 그래프는 여러 개의 블로그와 블로그간 하이퍼링크를 나타내는 웹 그래프로, 각 정점의 색은 블로그의 정치 성향을 나타냅니다. 이때, 그림 왼쪽의 그래프는 동일한 성향의 블로그끼리 간선을 생성하는 동종 친화성(homophily) 특성을 보이는데, 이 특성이 그림 오른쪽의 서브그래프에서도 잘 보존되는 것을 확인할 수 있습니다. 이렇게 생성된 서브그래프는 실제 그래프의 특성을 보다 효율적으로 파악하기 위해 사용...

DART: Diversified and Accurate Long-Tail Recommendation

본 문서에서는 2025년 PAKDD 학회에서 발표된 " DART: Diversified and Accurate Long-Tail Recommendation " 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title : DART: Diversified and Accurate Long-Tail Recommendation Authors: Jeongin Yun, Jaeri Lee, and U Kang Conference: The 29th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD 2025) Long-tail Recommendation 비인기 아이템(tail items)을 사용자에게 추천하는 것은 재고의 균형 잡힌 관리 뿐만 아니라 사용자에게 예상치 못한 유용한 아이템을 발견하게 해주기 때문에 중요합니다. 그러나 이는 현실 세계의 구매 데이터가 long-tail 분포 를 따르기 때문에 쉽지 않습니다. 구매 이력 데이터가 long-tail 분포를 따른다는 것은 아래 그림과 같이 소수의 인기 아이템(head items)이 대부분의 거래를 차지하고, 나머지 대다수의 아이템들은 매우 적은 수의 구매 이력을 가진다는 것을 의미합니다. 그림 1. 구매 이력 데이터의 long-tail 분포 이러한 분포를 고려하지 않는 모델은 인기 아이템을 위주로 추천하고 비인기 아이템을 간과하는 문제가 발생합니다. 아래 그림 2 (a)를 보면, 대표적인 추천 모델인 SASRec 은 비인기 아이템을 거의 추천하지 않고, 인기 아이템만 과도하게 추천하는 경향이 있음을 확인할 수 있습니다. 게다가, 그림 2 (b)에서 이 모델은 정답이 tail 아이템일 경우 매우 낮은 정확도를 보입니다. 그림 2. (a) 아이템 인기도에 따른 추천 빈도, (b) 전체, head, tail 아이템에 대한 추천 정확도 비인기 아이템을 추천하는 것의 ...

AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification

본 문서에서는 PAKDD '25 학회에서 발표된 " AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification " 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification Authors: Minjun Kim, Jaehyeon Choi, SeungJoo Lee, Jinhong Jung, and U Kang Conference: The Thirteenth International Conference on Learning Representations (ICLR 2025) Graph Classification 그래프 분류(graph classification)는 생물정보학(분자 특성 예측), 소셜 네트워크 분석, 금융 사기 탐지 등 다양한 분야에서 핵심적인 과제입니다. 해당 과제를 해결하는 대표적인 방법 중 하나는 GNN (Graph Neural Network)를 이용하는 것으로, 이는 그래프 데이터를 처리하기 위한 심층 학습 모델로서, 각 노드 사이에 메시지 전달 알고리즘을 이용하여 노드 및 그래프의 표현을 도출합니다. 하지만 단순히 GNN을 사용하는 것은 그래프 개수의 부족 등의 문제로 과적합 문제가 발생하기 때문에, 이런 GNN의 과적합을 방지하기 위해 그래프 증강(graph augmentation)이 도입되어, 현재 그래프 분류 기법들에 있어 중요한 요소로 자리잡고 있습니다. 하지만, 기존 방법들은 그래프 증강을 단순히 사용하여 GNN의 표현력을 제한시켜 부정확하며, 특히 아래와 같은 세 가지 문제점을 가지고 있습니다. (증강에 의해 유도된 차이 포착) 이전 접근법들은 인코더가 그래프 증강에 대해 불변적인 표현을 생성하도록 유도하여,...

Accurate Graph Classification via Two-staged Contrastive Curriculum Learning

본 문서에서는 2023년 PLOS ONE 저널에 게재된 "Accurate Graph Classification via Two-staged Contrastive Curriculum Learning" 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title : Accurate Graph Classification via Two-staged Contrastive Curriculum Learning Authors: Sooyeon Shim, Junghun Kim, Ka Hyun Park, and U Kang Journal : PLOS ONE 2023 Graph Contrastive Learning 대조학습(Contrastive learning) 이란 객체들 간의 관계 정보를 포착해 임베딩을 학습하는 방법입니다. 예를 들어 어떤 객체에 대한 positive 와 negative 샘플을 선정한다면, 주어진 객체와 positive 샘플의 유사도는 증대되고, 객체와 negative 샘플의 유사도는 절감되는 것을 목표로 positive/negative 샘플을 정해야합니다. 이를 그래프에 적용하는 접근 방식을 그래프 대조 학습(Graph contrastive learning)이라고 하며, 기존의 그래프 대조 학습은 크게 노드 단위의 그래프 대조학습(Node-level graph contrastive learning) 그리고 그래프 단위의 그래프 대조학습(Graph-level graph contrastive learning)의 두 가지 갈래로 구분할 수 있습니다. 노드 단위의 그래프 대조학습 은 그래프가 주어졌을때, 주어진 그래프와 이를 변형한 그래프 간의 노드 임베딩을 비교하는 방식으로 전개되어 왔습니다. 두 그래프 상에서의 노드 페어(Pair)는 다음과 같이 정의합니다. 어떤 노드에 대해 다른 그래프 상에서 같은 위치에 있는 노드를 positive 페어로, positive 페어로 정의된 노드 이외의 다른 그래프 상의 모든 노드들은...

Curved-Voxel Clustering for Accurate Segmentation of 3D LiDAR Point Clouds with Real-Time Performance

본 문서에서는 IROS 2019에서 발표된 Curved-Voxel Clustering for Accurate Segmentation of 3D LiDAR Point Clouds with Real-Time Performance 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Curved-Voxel Clustering for Accurate Segmentation of 3D LiDAR Point Clouds with Real-Time Performance [ link ] Authors: Seungcheol Park, Shuyu Wang, Hunjung Lim, and U Kang Conference: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2019 Segmentation of 3D LiDAR Point Clouds 3차원 라이다 센서 (3D LiDAR sensor)란 빛을 이용하여 주변 물체까지의 거리를 측정하여 센서 주변에 있는 물체들에 대한 위치 정보를 전달해주는 장치입니다. 라이다 센서는 실내에서 사용되는 안내 로봇부터 자율주행 차량까지 다양한 분야에서 사용되고 있습니다. 이때, 라이다 센서는 주로 주변에 물체가 있는지 없는지를 인식 (detection)하거나, 물체가 있다면 어떤 물체인지를 식별 (classification)하는 일을 주로 하게 됩니다. 특히 실내외에서 사람을 인식하는 보행자 식별 (pedestrian classification) 과정은 안전을 위해서도 중요하기 때문에 활발하게 연구되고 있는 분야입니다. 그림 1. 라이다 센서를 이용한 보행자 식별 과정의 예시 그림 1은 현관에 설치된 라이다 센서를 통해 보행자를 인식하는 예시를 보여주고 있습니다. 라이다 센서가 인식한 점 정보 (Input Data)를 전달받은 후 다음과 같은 네 단계를 통...

Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries

본 문서에서는 데이터 마이닝 분야 학회 중 하나인 KDD 2021에서 발표될 " Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries " 논문을 소개합니다. 논문의 상세한 정보는 다음과 같습니다. Title: Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries Authors: Jun-Gi Jang and U Kang Conference: The 27th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining ( KDD ), 2021 Temporal Dense Tensor 실세계에 존재하는 많은 데이터가 시간 밀도 텐서 (temporal dense tensor)로 표현될 수 있습니다. 시간 밀도 텐서는 한 차원이 시간과 관련이 있으며, 대부분의 값들이 관측된 데이터입니다. 예를 들어, 여러 위치에 설치된 센서들에서 매 시간마다 측정값들을 얻을 수 있습니다. 해당 데이터는 3차원 시간 밀도 텐서로 표현할 수 있습니다. 이 외에도, 주식 데이터, 비디오 데이터, 교통량 데이터 등도 시간 밀도 텐서로 표현할 수 있습니다. 그림 1. 시간 밀도 텐서 예시. 센서 데이터, 주식 데이터, 비디오 데이터, 교통량 데이터 등 다양한 실세계 데이터가 시간 밀도 텐서로 표현할 수 있다. 이렇듯 실세계에 존재하는 많은 데이터가 시간 밀도 텐서로 표현될 수 있으며 여러 차원을 가지는 텐서 특성상 데이터의 크기는 매우 큽니다. 그러므로, 시간 밀도 텐서를 효율적이고 효과적으로 분석하는 방법을 개발하는 것은 매우 중요합니다. Tucker Decomposition 터커 분해 (Tucker decomposition) 는 주어진 텐서를 분석할 수 있는 가장 핵심적인 ...

Attention-Based Autoregression for Accurate and Efficient Multivariate Time Series Forecasting

본 문서에서는 데이터 마이닝 분야의 SDM 2021 학회에서 발표될 예정인 Attention-Based Autoregression for Accurate and Efficient Multivariate Time Series Forecasting 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Attention-Based Autoregression for Accurate and Efficient Multivariate Time Series Forecasting Authors: Jaemin Yoo and U Kang Conference: SIAM International Conference on Data Mining (SDM) 2021 Multivariate Time Series Forecasting 시계열 예측(time series forecasting)은 기계 학습 및 데이터 마이닝 분야에서 활발히 연구되고 있는 문제로서, 많은 수의 실세계 데이터가 시계열 형태로 모델링되기 때문에 주가 예측, 날씨 예측, 전력 수요 예측 등 다양한 실세계 문제와 밀접히 연관되어 있습니다. 그중에서도 다변수(multivariate) 시계열 예측은 서로 연관되어 있는 여러 개의 시계열 변수를 동시에 예측하는 상황을 의미합니다. 위에서 언급한 시계열 예측 문제의 예시는 모두 다변수 예측에 해당됩니다. 즉, 예측 대상이 되는 주식 종목간 관계, 지역간 관계, 그리고 도시 구획별 관계를 모델링함으로써 시계열 예측 정확도를 크게 향상시킬 수 있습니다. 하지만, 각 변수에서 관측되는 패턴과 여러 변수간 관계를 동시에 고려하다 보니 다변수 시계열 예측을 위한 기존 모델은 지나치게 많은 파라미터를 갖는 경향을 보였습니다. 학습 데이터의 양이 충분하지 않고 과거 시점의 데이터에 과적합(overfitting)되기 쉬운 시계열 데이터의 특성상 파라미터 수가 많아질 경우 성능 재현과 하이퍼파라미터 튜닝(hyperparameter tuning)이 무척 어려워집...

Accurate Stock Movement Prediction via Multi-Scale and Multi-Domain Modeling

본 문서에서는 BigData 2024 학회에 발표된 "Accurate Stock Movement Prediction via Multi-Scale and Multi-Domain Modeling" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title : Accurate Stock Movement Prediction via Multi-Scale and Multi-Domain Modeling Authors: JinGee Kim, Yong-chan Park, Jaemin Hong, and U Kang Conference: 2024 IEEE International Conference on Big Data Stock Movement Prediction 주가 예측은 금융 분야에서 핵심적인 역할을 하는 기술로, 투자자에게 잠재적인 이익 기회를 제공하고 시장 동향을 파악하는 데 큰 도움을 줍니다. 특히 최근에는 전통적인 단일 시계열 분석만으로는 주가가 지닌 복잡하고 비선형적인 변화를 충분히 포착하기 어려워졌습니다. 이에 따라 다양한 모델 구조가 제안되어 왔으며, 긴 시계열 의존성과 지역적 패턴을 모두 고려할 수 있는 새로운 접근들이 주목받고 있습니다. 기존의 여러 연구에서는 주가의 복잡한 의존성을 효과적으로 포착하기 위한 다양한 방법론을 제시하였습니다. 특히 주목할 만한 접근 중 하나는 어텐션 메커니즘을 활용한 방법으로, 장·단기 의존성을 동시에 모형화하고 섹터 간 상관관계 등을 파악하는 데에 유리하다는 점이 알려져 있습니다. 하지만 기존 어텐션 기반 기법들은 수개월 이상의 매우 장기적인 패턴을 파악하기에는 한계가 있으며, 시계열 데이터에 내재된 다중 스케일(multi-scale) 및 다중 도메인(multi-domain) 정보를 충분히 활용하지 못한다는 단점이 보고되고 있습니다. 이 밖에도 합성곱신경망(Convolutional Neural Network, C...

Towards True Multi-interest Recommendation: Enhanced Scheme for Balanced Interest Training

본 문서에서는 2024년 BigData 학회에서 발표된 "Towards True Multi-interest Recommendation: Enhanced Scheme for Balanced Interest Training" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Towards True Multi-interest Recommendation: Enhanced Scheme for Balanced Interest Training Authors: Jaeri Lee, Jeongin Yun, and U Kang Conference: BigData (2024) Multi-interest Recommendation 추천 시스템은 사용자의 관심사를 기반으로 콘텐츠를 추천하는 기술로, 전자상거래, 동영상 스트리밍, 소셜 네트워크 등 다양한 분야에서 핵심적인 역할을 합니다. 최근에는 단일 관심사 추천(single-interest recommendation)의 한계를 보완하고자 다중 관심사 추천(multi-interest recommendation)이 도입되었습니다. 이러한 다중 관심사 추천 모델은 사용자의 복잡한 선호를 여러 벡터로 나타내어 더 정밀한 추천을 가능하게 합니다. 그러나 기존 다중 관심사 추천 연구는 주로 모델 아키텍처 설계에 초점을 맞추었으며, 학습 과정에서 나타나는 불균형 문제를 간과하는 경우가 많습니다. 특히, 하나의 주요 관심사에 학습이 집중되어 다른 관심사들은 충분히 반영되지 못하는 문제와 각각의 관심사를 독립적으로 학습한다는 문제가 존재합니다. 이는 다음과 같은 결과를 초래합니다: 추천의 편향 : 특정 관심사에 치우친 추천 결과. 그림 1. 관심사 학습과 각 관심사에서 도출된 추천의 비중. 그림 1은 기존 다중 관심사 추천 모델인 ComiRec에서 학습이 한 관심사에 치중되었을 때, 추천 결과 역시 한 관심사로 평향됨을 보여줍니다. 본 논문에서 제안한 기법인 Ba...