Skip to main content

Data Mining Lab. Blog

Search This Blog

Pages

Showing posts from September, 2026

Posts

Fast and Accurate Element-Level Streaming CP Decomposition for Higher-Order Tensors

Posted by Data Mining Lab. 날짜: 9/01/2026

Data Mining Lab.

Go to DMLAB Website

본 블로그에서는 서울대학교
컴퓨터공학부 데이터마이닝

연구실에서 진행하고 있는

최신 연구를 소개합니다.

Archive

2026 10

2025 12
2024 12
2023 12
2022 12
2021 12
2020 12
2019 1
- December 2019 1

Show more Show less

Popular Posts

Fast and Accurate Element-Level Streaming CP Decomposition for Higher-Order Tensors

본 문서에서는 ICDE 2026 학회에 발표된 "Fast and Accurate Element-Level Streaming CP Decomposition for Higher-Order Tensors" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Fast and Accurate Element-Level Streaming CP Decomposition for Higher-Order Tensors Authors: Jeongyoung Lee, SeungJoo Lee, and U Kang Conference: IEEE International Conference on Data Engineering (ICDE) 2026 Element-Level Streaming Tensor Decomposition 교통량, 전력 사용량, 센서 측정값과 같은 많은 실제 데이터는 시간이 지남에 따라 지속적으로 새로운 값이 추가되는 스트리밍 시계열 데이터의 형태로 관측됩니다. 이러한 데이터에서는 매번 전체 데이터를 처음부터 다시 분석하는 대신, 새로운 데이터가 도착할 때마다 기존 모델을 효율적으로 갱신하는 것이 중요합니다. 텐서 분해(tensor decomposition)는 이러한 다차원 시계열 데이터를 압축적으로 표현하는 대표적인 방법입니다. 이에 따라 기존에도 새로운 데이터가 지속적으로 추가되는 상황에서 CP decomposition 등의 factor를 효율적으로 갱신하는 streaming tensor decomposition 기법들이 활발히 연구되어 왔습니다. 기존의 streaming tensor decomposition에서는 일반적으로 시간이 한 단계 진행될 때마다 텐서의 새로운 slice 전체가 한꺼번에 도착한다고 가정합니다. 예를 들어 (location)×(day) 텐서라면 새로운 하루가 시작될 때 모든 위치의 하루 데이터가 하나의 새로운 column 또는 slice로 주어지는 식입니다. 실제 streaming data에서는...

A Masked Mixture Model for Compact and Accurate Matrix Factorization

본 문서에서는 KDD 2026 학회에 발표될 "A Masked Mixture Model for Compact and Accurate Matrix Factorization" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: A Masked Mixture Model for Compact and Accurate Matrix Factorization Authors: Yong-chan Park, Jeongyoung Lee, SeungJoo Lee, and U Kang Conference: ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD) 2026

Prune-then-Quantize or Quantize-then-Prune? Understanding the Impact of Compression Order in Joint Model Compression

본 글에서는 ICLR 2026에 채택된 “Prune-Then-Quantize or Quantize-Then-Prune? Understanding the Impact of Compression Order in Joint Model Compression” 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Prune-Then-Quantize or Quantize-Then-Prune? Understanding the Impact of Compression Order in Joint Model Compression Authors: Minjun Kim, Jaehyeon Choi, Hyunwoo Yang, Jongjin Kim, Jinho Song, and U Kang Conference: The Fourteenth International Conference on Learning Representations (ICLR 2026) Joint Model Compression and Compression Order 대규모 언어 모델과 비전 모델을 엣지 디바이스 또는 제한된 자원 환경에 배포하려면, 모델의 메모리 사용량과 연산량을 줄이는 모델 압축(model compression)이 필수적입니다. 대표적인 압축 기법으로는 pruning, quantization, knowledge distillation, parameter sharing, low-rank approximation 등이 있습니다. 최근에는 하나의 기법만 적용하는 대신 pruning과 quantization처럼 여러 압축 기법을 결합하는 joint model compression 이 더 높은 압축률과 성능 사이의 균형을 달성할 수 있다는 점에서 주목받고 있습니다. 그러나 여러 기법을 순차적으로 적용할 때 자연스럽게 한 가지 질문이 생깁니다. '같은 pruning과 quantization을 적용한다면, pruning을 먼저 해야 할까, quantization을 먼저 해...

DART: Diversified and Accurate Long-Tail Recommendation

본 문서에서는 2025년 PAKDD 학회에서 발표된 " DART: Diversified and Accurate Long-Tail Recommendation " 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title : DART: Diversified and Accurate Long-Tail Recommendation Authors: Jeongin Yun, Jaeri Lee, and U Kang Conference: The 29th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD 2025) Long-tail Recommendation 비인기 아이템(tail items)을 사용자에게 추천하는 것은 재고의 균형 잡힌 관리 뿐만 아니라 사용자에게 예상치 못한 유용한 아이템을 발견하게 해주기 때문에 중요합니다. 그러나 이는 현실 세계의 구매 데이터가 long-tail 분포 를 따르기 때문에 쉽지 않습니다. 구매 이력 데이터가 long-tail 분포를 따른다는 것은 아래 그림과 같이 소수의 인기 아이템(head items)이 대부분의 거래를 차지하고, 나머지 대다수의 아이템들은 매우 적은 수의 구매 이력을 가진다는 것을 의미합니다. 그림 1. 구매 이력 데이터의 long-tail 분포 이러한 분포를 고려하지 않는 모델은 인기 아이템을 위주로 추천하고 비인기 아이템을 간과하는 문제가 발생합니다. 아래 그림 2 (a)를 보면, 대표적인 추천 모델인 SASRec 은 비인기 아이템을 거의 추천하지 않고, 인기 아이템만 과도하게 추천하는 경향이 있음을 확인할 수 있습니다. 게다가, 그림 2 (b)에서 이 모델은 정답이 tail 아이템일 경우 매우 낮은 정확도를 보입니다. 그림 2. (a) 아이템 인기도에 따른 추천 빈도, (b) 전체, head, tail 아이템에 대한 추천 정확도 비인기 아이템을 추천하는 것의 ...

PiGLeT: Probabilistic Message Passing for Semi-supervised Link Sign Prediction

본 문서에서는 ICDM 2025 학회에 발표된 "Pi GLeT: Probabilistic Message Passing for Semi-supervised Link Sign Prediction" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Pi GLeT: Probabilistic Message Passing for Semi-supervised Link Sign Prediction Authors: Ka Hyun Park, Junghun Kim, Jinhong Jung and U Kang Conference: IEEE International Conference on Data Mining (ICDM) 2025 Signed Graph & Link Sign Prediction 부호 그래프(signed graph)는 노드 사이의 관계가 단순히 연결 여부만으로 표현되지 않고, 긍정 또는 부정의 부호까지 함께 가지는 그래프를 의미합니다. 예를 들어 사회 관계망에서는 신뢰와 불신, 거래 네트워크에서는 우호적 관계와 비우호적 관계, 생물학적 네트워크에서는 활성화와 억제 관계 등을 부호가 있는 간선으로 나타낼 수 있습니다. 이러한 그래프에서는 관측되지 않은 간선의 부호를 예측하는 링크 부호 예측(link sign prediction)이 중요한 문제로 다뤄집니다. 관계의 방향성과 성격을 정확하게 파악해야 추천, 이상 탐지, 관계 분석과 같은 다양한 응용에 활용할 수 있기 때문입니다. 하지만 실제 환경에서는 모든 간선의 부호가 명확히 주어지는 경우가 드물고, 상당수의 간선은 연결은 존재하지만 긍정인지 부정인지 알 수 없는 미표기 상태로 남아 있습니다. 본 논문은 바로 이러한 상황에 주목합니다. 그림 1. 일부 레이블만 주어진 부호 그래프 학습이 어려운 이유 Goal & Limitations of Previous Works 기존의 부호 그래프 신경망 (...

Diversely Regularized Matrix Factorization for Accurate and Aggregately Diversified Recommendation

본 문서에서는 PAKDD'23 학회에서 발표된 "Diversely Regularized Matrix Factorization for Accurate and Aggregately Diversified Recommendation" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Diversely Regularized Matrix Factorization for Accurate and Aggregately Diversified Recommendation Authors: Jongjin Kim, Hyunsik Jeon, Jaeri Lee, and U Kang Conference: PAKDD (2023) Aggregately Diversified Recommendation 오늘날 소비자들은 수많은 상품들 중 자신이 원하는 상품을 찾기 위해 추천 시스템(recommender system)에 크게 의존합니다. 때문에 전자 상거래 플랫폼은 자신이 보유한 상품을 최대한 빠짐없이 다양하게 추천함으로써 기대 수익을 크게 향상시킬 수 있습니다. 다양화 추천 시스템(diversified recommender system)은 이와 같은 상황에서 일반적인 추천 시스템에 비해 더욱 다양한 아이템을 추천하는데 주안점을 둔 추천 시스템으로 관련 학계에서 큰 관심을 받고 있는 연구 분야이기도 합니다. 본 논문은 다양화 추천 시스템의 한 분야인 종합 수준 다양화 추천(aggregately diversified recommendation)을 가장 널리 쓰이는 협업 필터링 (collaborative filtering) 기법 중 하나인 행렬 분해(matrix factorization)을 통해 해결하는 방법을 다룹니다. 종합 수준 다양화 추천 문제는 추천 결과의 높은 정확도를 유지하는 것과 동시에 높은 커버리지(coverage)와 낮은 편향성(skewness)을 (혹은 높은 비편향성(non-skewness)을) 모두 만족시키는 것을 ...

LampQ: Towards Accurate Layer-wise Mixed Precision Quantization for Vision Transformers

본 문서에서는 AAAI 2026에 채택된 “LampQ: Towards Accurate Layer-wise Mixed Precision Quantization for Vision Transformers” 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: LampQ: Towards Accurate Layer-wise Mixed Precision Quantization for Vision Transformers Authors: Minjun Kim, Jaeri Lee, Jongjin Kim, Jeongin Yun, Yongmo Kwon, and U Kang Conference: The 40th Annual AAAI Conference on Artificial Intelligence (AAAI 2026) Vision Transformer Quantization Vision Transformer(ViT)는 이미지 분류, 객체 탐지 등 다양한 컴퓨터 비전 태스크에서 뛰어난 성능을 보여주지만, 복잡한 구조와 높은 메모리 및 연산 비용으로 인해 자원이 제한된 환경에 배포하기 어렵습니다. 이를 해결하기 위한 핵심 기술 중 하나인 양자화(Quantization)는 모델의 가중치와 활성값을 저비트 형식으로 변환하여 메모리 사용량과 연산 비용을 줄입니다. 특히 Vision Transformer에서는 추가 학습 비용이 큰 Quantization-Aware Training(QAT)보다, 사전 학습된 모델을 소량의 calibration 데이터만으로 압축하는 Post-Training Quantization(PTQ)이 실용적인 방법으로 널리 활용됩니다. 기존 ViT PTQ 연구들은 LayerNorm 이후 activation의 channel-wise variation, Softmax 이후 activation의 power-law distribution, block output의 outlier 등 ViT 특유의 문제를 해결하며 성능을 높여왔습니다. 하지만 대부분의 방...

SwaGNER: Leveraging Span-aware Grid Transformers for Accurate Nested Named Entity Recognition

본 문서에서는 2025년 CIKM 에서 발표된 "SwaGNER: Leveraging Span-aware Grid Transformers for Accurate Nested Named Entity Recognition" 논문을 소개합니다 . 논문에 대한 상세한 정보는 다음과 같습니다. Title : SwaGNER: Leveraging Span-aware Grid Transformers for Accurate Nested Named Entity Recognition Authors : SeungJoo Lee, Yong-chan Park, and U Kang Conference : ACM International Conference on Information and Knowledge Management (CIKM) 2025 Nested NER & Span-based Methods 중첩 개체명 인식(Nested NER). 자연어 처리(NLP)의 다양한 응용 분야에서 그 중요성이 대두되고 있는 과제입니다. 현실 세계의 텍스트 데이터에서 개체명은 하나의 개체가 다른 개체 내부에 포함되는 복잡한 중첩 구조(nested structure)를 보이는 경우가 많습니다. 예를 들어, 그림 1에서 보이듯이, "Professor Jane Smith"라는 문구에서 "Professor"는 직함(TITLE), "Smith"는 사람(PER)으로 각각 분류되면서도, 이 단어들이 모두 합쳐진 "Professor Jane Smith" 전체 역시 하나의 거대한 사람(PER) 개체로 묶이게 됩니다. 이처럼 텍스트 내에서 하나의 토큰이 여러 개체에 속하거나 서로 겹치는(overlapping) 개체 스팬들을 정확하게 식별하고 분류하는 작업이 바로 중첩 개체명 인식입니다. 스팬 기반 방법(Span-based Methods). 문장 내에서 가능한 모든 연속 토큰 구간(스팬)을 후보로 생성한 후, 각 스팬...

Zoom-SVD: Fast and Memory Efficient Method for Extracting Key Patterns in an Arbitrary Time Range

본 문서에서는 CIKM 2018에서 발표된 " Zoom-SVD: Fast and Memory Efficient Method for Extracting Key Patterns in an Arbitrary Time Range " 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Zoom-SVD: Fast and Memory Efficient Method for Extracting Key Patterns in an Arbitrary Time Range Authors: Jun-Gi Jang, Dongjin Choi, Jinhong Jung, and U Kang Conference: 27th ACM International Conference on Information and Knowledge Management (CIKM 2018) Singular Value Decomposition 센서 데이터, 기상 데이터 등과 같이 여러 시계열 데이터 (multiple time series data)는 행이 시간 축, 열이 속성 (예를 들어, 센서 타입) 축인 행렬들로 표현 될 수 있습니다. Singular Value Decomposition (SVD)는 행렬로 표현된 실세계 데이터를 분석하는 가장 유명한 도구 중 하나입니다. SVD는 차원 축소, 클러스터링, 주성분 분석 등 데이터 마이닝 응용에서 많이 활용되고 있습니다. 아래 그림은 SVD 방식에 대한 예제를 나타냅니다. 그림 1. Singular Value Decomposition (SVD) - 출처[ link ] SVD는 주어진 행렬 A 를 세 개의 행렬들 U , 𝝨, V 로 분해합니다. 행렬 U 와 V 는 직교행렬이며, 𝝨는 대각행렬이고, 대각의 값은 내림차순으로 정렬되어 있습니다. 실세계 데이터는 중복이 많으며, 저차원 구조를 가지고 있으므로 작은 행렬들로 입력 데이터 행렬 A 를 표현할 수 있습니다. Problem Definition 해당 논...

Fast and Accurate Temporal Super-Resolution via Residual-Aware Coupled Tensor Factorization

본 문서에서는 ICASSP 2026 학회에 발표된 " Fast and Accurate Temporal Super-Resolution via Residual-Aware Coupled Tensor Factorization " 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Fast and Accurate Temporal Super-Resolution via Residual-Aware Coupled Tensor Factorization Authors: Nam Kyu Kang, Yong-chan Park, and U Kang Conference: IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 2026 Temporal Super-Resolution 제조 설비에는 온도, 압력, 진동 등을 측정하는 다양한 센서가 설치되어 있습니다. 이러한 센서가 기록한 시계열 데이터를 분석하면 설비의 상태와 공정의 변화를 파악할 수 있습니다. 하지만 모든 센서의 값을 짧은 간격으로 기록하려면 저장 공간과 장비 성능에 부담이 생깁니다. 따라서 실제 환경에서는 서로 다른 측정 간격을 갖는 센서 데이터가 함께 존재합니다. 예를 들어 어떤 센서는 1초마다, 다른 센서는 0.1초마다 값을 기록한다고 생각해 보겠습니다. 두 센서가 같은 시간 동안 작동하더라도 데이터의 촘촘함, 즉 시간 해상도(temporal resolution)는 다릅니다. Temporal super-resolution은 드문드문 측정된 신호를 더 촘촘한 시간 간격의 신호로 복원하는 문제입니다. 이때 같은 시간대에 관측된 관련 센서의 고해상도 데이터가 복원에 필요한 단서를 제공할 수 있습니다. 가장 간단한 복원 방법은 관측값 사이를 직선으로 연결하는 선형 보간(linear interpolation)입니다. 값이 거의 변하지 않는 안정적인 구간에서는 이 방법만으로도 충분할 수 ...