Skip to main content

Data Mining Lab. Blog

Search This Blog

Pages

Showing posts from August, 2026

Posts

Prune-then-Quantize or Quantize-then-Prune? Understanding the Impact of Compression Order in Joint Model Compression

Posted by Data Mining Lab. 날짜: 8/01/2026

Data Mining Lab.

Go to DMLAB Website

본 블로그에서는 서울대학교
컴퓨터공학부 데이터마이닝

연구실에서 진행하고 있는

최신 연구를 소개합니다.

Archive

2026 9

2025 12
2024 12
2023 12
2022 12
2021 12
2020 12
2019 1
- December 2019 1

Show more Show less

Popular Posts

Prune-then-Quantize or Quantize-then-Prune? Understanding the Impact of Compression Order in Joint Model Compression

본 글에서는 ICLR 2026에 채택된 “Prune-Then-Quantize or Quantize-Then-Prune? Understanding the Impact of Compression Order in Joint Model Compression” 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Prune-Then-Quantize or Quantize-Then-Prune? Understanding the Impact of Compression Order in Joint Model Compression Authors: Minjun Kim, Jaehyeon Choi, Hyunwoo Yang, Jongjin Kim, Jinho Song, and U Kang Conference: The Fourteenth International Conference on Learning Representations (ICLR 2026) Joint Model Compression and Compression Order 대규모 언어 모델과 비전 모델을 엣지 디바이스 또는 제한된 자원 환경에 배포하려면, 모델의 메모리 사용량과 연산량을 줄이는 모델 압축(model compression)이 필수적입니다. 대표적인 압축 기법으로는 pruning, quantization, knowledge distillation, parameter sharing, low-rank approximation 등이 있습니다. 최근에는 하나의 기법만 적용하는 대신 pruning과 quantization처럼 여러 압축 기법을 결합하는 joint model compression 이 더 높은 압축률과 성능 사이의 균형을 달성할 수 있다는 점에서 주목받고 있습니다. 그러나 여러 기법을 순차적으로 적용할 때 자연스럽게 한 가지 질문이 생깁니다. '같은 pruning과 quantization을 적용한다면, pruning을 먼저 해야 할까, quantization을 먼저 해...

A Masked Mixture Model for Compact and Accurate Matrix Factorization

본 문서에서는 KDD 2026 학회에 발표될 "A Masked Mixture Model for Compact and Accurate Matrix Factorization" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: A Masked Mixture Model for Compact and Accurate Matrix Factorization Authors: Yong-chan Park, Jeongyoung Lee, SeungJoo Lee, and U Kang Conference: ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD) 2026

LampQ: Towards Accurate Layer-wise Mixed Precision Quantization for Vision Transformers

본 문서에서는 AAAI 2026에 채택된 “LampQ: Towards Accurate Layer-wise Mixed Precision Quantization for Vision Transformers” 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: LampQ: Towards Accurate Layer-wise Mixed Precision Quantization for Vision Transformers Authors: Minjun Kim, Jaeri Lee, Jongjin Kim, Jeongin Yun, Yongmo Kwon, and U Kang Conference: The 40th Annual AAAI Conference on Artificial Intelligence (AAAI 2026) Vision Transformer Quantization Vision Transformer(ViT)는 이미지 분류, 객체 탐지 등 다양한 컴퓨터 비전 태스크에서 뛰어난 성능을 보여주지만, 복잡한 구조와 높은 메모리 및 연산 비용으로 인해 자원이 제한된 환경에 배포하기 어렵습니다. 이를 해결하기 위한 핵심 기술 중 하나인 양자화(Quantization)는 모델의 가중치와 활성값을 저비트 형식으로 변환하여 메모리 사용량과 연산 비용을 줄입니다. 특히 Vision Transformer에서는 추가 학습 비용이 큰 Quantization-Aware Training(QAT)보다, 사전 학습된 모델을 소량의 calibration 데이터만으로 압축하는 Post-Training Quantization(PTQ)이 실용적인 방법으로 널리 활용됩니다. 기존 ViT PTQ 연구들은 LayerNorm 이후 activation의 channel-wise variation, Softmax 이후 activation의 power-law distribution, block output의 outlier 등 ViT 특유의 문제를 해결하며 성능을 높여왔습니다. 하지만 대부분의 방...

Accurate Graph-Based PU Learning without Class Prior

본 문서에서는 데이터 마이닝 분야의 ICDM 2021 학회에서 발표될 Accurate Graph-Based PU Learning without Class Prior 논문을 소개합니다. 논문의 상세한 정보는 다음과 같습니다. Title: Accurate Graph-Based PU Learning without Class Prior Authors: Jaemin Yoo*, Junghun Kim*, Hoyoung Yoon*, Geonsoo Kim, Changwon Jang, and U Kang (*equal contribution) Conference: IEEE International Conference on Data Mining (ICDM) 2021 Graph-Based PU Learning PU 학습(positive-unlabeled learning, PU learning)은 양성(positive) 데이터와 미분류(unlabeled) 데이터가 주어졌을 때 이진 분류기(binary classifier)를 학습하는 문제입니다. 일반적인 지도 학습(supervised learning)에서는 학습에 사용할 수 있도록 양성 및 음성(negative) 클래스 라벨이 모두 주어져 있다고 가정합니다. 반면, PU 학습에서는 미분류 데이터가 양성 및 음성 데이터를 모두 포함하고 있고, 음성 데이터에 대한 라벨은 주어져 있지 않다고 가정합니다. 그림 1은 일반적인 지도 학습 문제와 PU 학습 문제의 차이점을 보여줍니다. PU 학습에서는 양성 데이터와 음성 데이터 사이의 경계를 분명하게 알기 어렵기 때문에 정확한 분류기를 학습하는 것이 어렵습니다. 그림 1. PU 학습의 예시. PU 학습 문제는 실제 상황에서 흔히 나타납니다. 예를 들어 신용카드 거래 내역 중 사기 거래를 탐지하는 문제를 생각해볼 수 있습니다. 경찰에 의해 직접 검거된 사기의 경우에는 분명한 "사기" 라벨을 매길 수 있지만 나머지 모든 거래에 대해 "정상" 라벨을 붙이기는 ...

Dual-level Reweighting for Positive-Unlabeled Graph Classification

본 문서에서는 WWW 2026 학회에 발표될 "Dual-level Reweighting for Positive-Unlabeled Graph Classification" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Dual-level Reweighting for Positive-Unlabeled Graph Classification Authors: Junghun Kim, Shihyung Park, and U Kang Conference: ACM The Web Conference (WWW) 2026 PU Learning & Graph Classification PU 학습 (Positive-Unlabeled Learning) 은 양성 (positive) 레이블이 붙은 데이터와 레이블이 없는 (unlabeled) 데이터만 존재하는 상황에서 분류기를 학습하는 문제입니다. 실제 환경에서는 음성 (negative) 레이블을 수집하기 어렵거나 비현실적인 경우가 많기 때문에, 이러한 PU 세팅은 매우 흔하게 발생합니다. 예를 들어, 약물 부작용 예측에서는 부작용이 관측된 약물만 양성으로 표기되고 나머지는 미확인 상태로 남아 있으며, 웹 도메인의 가짜 뉴스 탐지에서도 팩트체커가 허위로 보고한 기사만 양성으로 분류되고 나머지는 미검증 상태입니다. 그래프 분류 (graph classification) 는 분자 특성 예측, 의료 진단 등 다양한 실세계 응용에서 핵심적인 역할을 합니다. 각 그래프는 분자나 세포 같은 예시의 관계를 나타내며, 노드는 원자나 세포를, 엣지는 화학 결합이나 세포 간 상호작용을 표현합니다. 그러나 이러한 도메인에서 완전한 레이블을 얻기는 매우 어려우며, 특히 음성 레이블 수집이 어렵거나 불가능한 경우가 많습니다. 본 논문은 바로 이처럼 양성 레이블과 미표기 데이터만 주어진 PU 그래프 분류 (PU graph classification) 문제를 다룹니다. Goals & Limitati...

PiGLeT: Probabilistic Message Passing for Semi-supervised Link Sign Prediction

본 문서에서는 ICDM 2025 학회에 발표된 "Pi GLeT: Probabilistic Message Passing for Semi-supervised Link Sign Prediction" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Pi GLeT: Probabilistic Message Passing for Semi-supervised Link Sign Prediction Authors: Ka Hyun Park, Junghun Kim, Jinhong Jung and U Kang Conference: IEEE International Conference on Data Mining (ICDM) 2025 Signed Graph & Link Sign Prediction 부호 그래프(signed graph)는 노드 사이의 관계가 단순히 연결 여부만으로 표현되지 않고, 긍정 또는 부정의 부호까지 함께 가지는 그래프를 의미합니다. 예를 들어 사회 관계망에서는 신뢰와 불신, 거래 네트워크에서는 우호적 관계와 비우호적 관계, 생물학적 네트워크에서는 활성화와 억제 관계 등을 부호가 있는 간선으로 나타낼 수 있습니다. 이러한 그래프에서는 관측되지 않은 간선의 부호를 예측하는 링크 부호 예측(link sign prediction)이 중요한 문제로 다뤄집니다. 관계의 방향성과 성격을 정확하게 파악해야 추천, 이상 탐지, 관계 분석과 같은 다양한 응용에 활용할 수 있기 때문입니다. 하지만 실제 환경에서는 모든 간선의 부호가 명확히 주어지는 경우가 드물고, 상당수의 간선은 연결은 존재하지만 긍정인지 부정인지 알 수 없는 미표기 상태로 남아 있습니다. 본 논문은 바로 이러한 상황에 주목합니다. 그림 1. 일부 레이블만 주어진 부호 그래프 학습이 어려운 이유 Goal & Limitations of Previous Works 기존의 부호 그래프 신경망 (...

Fast and Accurate Element-Level Streaming CP Decomposition for Higher-Order Tensors

본 문서에서는 ICDE 2026 학회에 발표된 "Fast and Accurate Element-Level Streaming CP Decomposition for Higher-Order Tensors" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Fast and Accurate Element-Level Streaming CP Decomposition for Higher-Order Tensors Authors: Jeongyoung Lee, SeungJoo Lee, and U Kang Conference: IEEE International Conference on Data Engineering (ICDE) 2026 Element-Level Streaming Tensor Decomposition 교통량, 전력 사용량, 센서 측정값과 같은 많은 실제 데이터는 시간이 지남에 따라 지속적으로 새로운 값이 추가되는 스트리밍 시계열 데이터의 형태로 관측됩니다. 이러한 데이터에서는 매번 전체 데이터를 처음부터 다시 분석하는 대신, 새로운 데이터가 도착할 때마다 기존 모델을 효율적으로 갱신하는 것이 중요합니다. 텐서 분해(tensor decomposition)는 이러한 다차원 시계열 데이터를 압축적으로 표현하는 대표적인 방법입니다. 이에 따라 기존에도 새로운 데이터가 지속적으로 추가되는 상황에서 CP decomposition 등의 factor를 효율적으로 갱신하는 streaming tensor decomposition 기법들이 활발히 연구되어 왔습니다. 기존의 streaming tensor decomposition에서는 일반적으로 시간이 한 단계 진행될 때마다 텐서의 새로운 slice 전체가 한꺼번에 도착한다고 가정합니다. 예를 들어 (location)×(day) 텐서라면 새로운 하루가 시작될 때 모든 위치의 하루 데이터가 하나의 새로운 column 또는 slice로 주어지는 식입니다. 실제 streaming data에서는...

PuzzleTensor: A Method-Agnostic Data Transformation for Compact Tensor Factorization

본 문서에서는 KDD 2025 학회에 발표된 "PuzzleTensor: A Method-Agnostic Data Transformation for Compact Tensor Factorization" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: PuzzleTensor: A Method-Agnostic Data Transformation for Compact Tensor Factorization Authors: Yong-chan Park, Kisoo Kim, and U Kang Conference: ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD) 2025 Tensor Decomposition 효율적인 고차원 데이터 표현은 데이터 마이닝, 머신러닝, 추천 시스템, 신호 처리, 과학 계산 등 다양한 응용 분야에서 매우 중요합니다. CANDECOMP/PARAFAC(CP), Tucker, Tensor-Train(TT)과 같은 텐서 분해 알고리즘은 이러한 분야에서 핵심적인 도구로 자리 잡고 있으며, 계산 효율성과 데이터의 근본적인 구조에 대한 통찰을 제공합니다. 그러나 이러한 방법을 원시 다차원 데이터에 직접 적용하면 높은 목표 랭크가 요구되거나, 재구성 정확도가 낮아지거나, 계산 효율성이 저하되는 문제가 발생할 수 있습니다. 이는 실제 세계의 텐서가 많은 분해 기법들이 의존하는 엄격한 저랭크 또는 희소성 가정을 잘 따르지 않기 때문입니다. 예시로 그림 1을 살펴보겠습니다. 여기서 X X 는 원본 데이터를, X ^ \hat{X} 은 그것의 랭크-1 근사를 나타내며, 이 경우 비교적 큰 오차가 발생합니다. 그러나 X X 의 각 열(column)을 일정한 크기만큼 위로 이동시키면, 더 잘 정렬된 행렬 Z Z 를 얻을 수 있고, 이에 따라 랭크-1 근사 오차가 크게 ...

Learning to Walk across Time for Interpretable Temporal Knowledge Graph Completion

본 문서에서는 데이터 마이닝 분야 학회인 KDD 2021에서 발표 예정인 논문 " Learning to Walk across Time for Interpretable Temporal Knowledge Graph Completion "을 소개합니다. 논문의 상세한 정보는 아래와 같습니다. Title : Learning to Walk across Time for Interpretable Temporal Knowledge Graph Completion Authors : Jaehun Jung, Jinhong Jung and U Kang Conference : The 27th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining ( KDD ), 2021 Temporal Knowledge Graph Completion 통상적인 지식 그래프(knowledge graph)는 현실 세계의 다양한 개체들을 정점(node)로, 개체들 사이의 관계를 간선(edge)로 표현하는 그래프를 일컫습니다. 이들 지식 그래프는 요컨대 (Joe Biden, is_president_of, United States) 등과 같이 다양한 개체들에 대한 관계적 지식을 트리플(triple)로 표현할 수 있어 추천 시스템, 지식 기반 AI 등 여러 분야에서 활용됩니다. 다만, 기존의 지식 그래프는 개체들 사이의 관계를 실제 시간적인 유효성과 관계없이 영속적인 것으로 간주하기 때문에 현실의 지식을 온전히 표현하기 어렵다는 한계가 있습니다. 이러한 단점을 보완해 근래 새로 등장한 지식 저장 형태가 시간 지식 그래프(temporal knowledge graph)입니다. 시간 지식 그래프는 개체들 간의 관계에 더해 그 관계가 ...

SwaGNER: Leveraging Span-aware Grid Transformers for Accurate Nested Named Entity Recognition

본 문서에서는 2025년 CIKM 에서 발표된 "SwaGNER: Leveraging Span-aware Grid Transformers for Accurate Nested Named Entity Recognition" 논문을 소개합니다 . 논문에 대한 상세한 정보는 다음과 같습니다. Title : SwaGNER: Leveraging Span-aware Grid Transformers for Accurate Nested Named Entity Recognition Authors : SeungJoo Lee, Yong-chan Park, and U Kang Conference : ACM International Conference on Information and Knowledge Management (CIKM) 2025 Nested NER & Span-based Methods 중첩 개체명 인식(Nested NER). 자연어 처리(NLP)의 다양한 응용 분야에서 그 중요성이 대두되고 있는 과제입니다. 현실 세계의 텍스트 데이터에서 개체명은 하나의 개체가 다른 개체 내부에 포함되는 복잡한 중첩 구조(nested structure)를 보이는 경우가 많습니다. 예를 들어, 그림 1에서 보이듯이, "Professor Jane Smith"라는 문구에서 "Professor"는 직함(TITLE), "Smith"는 사람(PER)으로 각각 분류되면서도, 이 단어들이 모두 합쳐진 "Professor Jane Smith" 전체 역시 하나의 거대한 사람(PER) 개체로 묶이게 됩니다. 이처럼 텍스트 내에서 하나의 토큰이 여러 개체에 속하거나 서로 겹치는(overlapping) 개체 스팬들을 정확하게 식별하고 분류하는 작업이 바로 중첩 개체명 인식입니다. 스팬 기반 방법(Span-based Methods). 문장 내에서 가능한 모든 연속 토큰 구간(스팬)을 후보로 생성한 후, 각 스팬...