Skip to main content

Data Mining Lab. Blog

Search This Blog

Pages

Showing posts from May, 2025

Posts

SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning

Posted by Data Mining Lab. 날짜: 5/01/2025

Data Mining Lab.

Go to DMLAB Website

본 블로그에서는 서울대학교
컴퓨터공학부 데이터마이닝

연구실에서 진행하고 있는

최신 연구를 소개합니다.

Archive

2025 5

2024 12
2023 12
2022 12
2021 12
2020 12
2019 1
- December 2019 1

Show more Show less

Popular Posts

SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning

본 문서에서는 ICLR '25 학회에서 발표된 "SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning" 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title : SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning Authors: Minjun Kim, Jongjin Kim, and U Kang Conference: The Thirteenth International Conference on Learning Representations (ICLR 2025) Zero-shot Quantization CNN (Convolutional Neural Network) 모델들은 이미지 분류, 객체 탐지를 포함한 컴퓨터 비전 분야에서 핵심적인 기술로, 다양한 응용 분야에서 높은 성능을 보이고 있습니다. 그러나 CNN 모델들의 크기와 높은 연산량은 컴퓨팅 자원이 제한되어있는 환경에서 큰 제약이 됩니다. 그래서, 모바일 기기와 IoT 환경과 같은 자원이 제한된 환경에서 이러한 모델들을 사용하려면 모델 압축 기술이 필수적입니다. 특히, 의료, 군사, 금융, 안보 등 보안 및 프라이버시로 인해 데이터가 제한된 환경에서도 딥러닝 모델을 도입하기 위해서는 데이터가 제한된 환경에서 모델을 압축하는 기술이 요구됩니다. 그러므로, 해당 논문은 데이터가 제한된 환경에서 기학습된 CNN 모델을 성능을 유지하면서 압축하는 것을 목표로 합니다. 모델을 압축하는 방법에는 양자화 ( quantization ), 가지치기 ( pruning ), 가중치 공유 ( weight sharing ), 지식 증류 ( knowledge distillation ) 등이 있습니다. 이 중 quantization은 고비트의 모델을 저비트의 숫자로 표현하여 높은 압축률과 빠른 추론 속도를 달성하면서, 성능 저하를 최소화하...

Learning to Reweight Examples for Robust Deep Learning

본 문서에서는 2018년 ICML 학회에 발표된 "Learning to Reweight Examples for Robust Deep Learning" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Learning to Reweight Examples for Robust Deep Learning Authors: Mengye Ren, Wenyuan Zeng, Bin Yang, and Raquel Urtasun Conference: International Conference on Machine Learning (ICML) 2018 Learning to Reweight Examples for Robust Deep Learning 딥러닝 기반의 모델들은 데이터를 고차원으로 투영하는 방식으로 복잡한 패턴의 입력에 대해서도 성공적으로 지도 학습이 가능함을 보여왔습니다. 하지만, 학습에 사용된 데이터를 기반으로 고차원으로 투영시키는 파라미터가 학습되기 때문에 생기는 문제가 존재합니다. 예를 들어, 학습 데이터에 노이즈가 포함되어 있어 평가 데이터와 차이가 존재한다면, 모델이 그 학습 데이터에 과적합되어 평가 데이터에 대한 성능이 떨어지는 현상이 존재할 수 있습니다. 이러한 학습 데이터 노이즈에서 가장 많이 거론되는 것으로는 클래스 불균형, 라벨 노이즈 두 가지가 존재합니다. 클래스 불균형은 데이터 내에서 클래스 별로 인스턴스 수가 균등히 배분 되어 있지 않고, 유명한 클래스의 인스턴스 수와 잘 보이지 않는 클래스의 인스턴스 수의 차이가 심한 경우입니다. 예를 들면 자동차의 이미지 데이터를 수집할 때, SUV 타입의 자동차는 많이 보이지만, 구급차의 경우 드물게 보이기 때문에 수집을 할 때 SUV 타입의 자동차보다 구급차의 이미지가 극단적으로 적을 수 있습니다. 라벨 노이즈는 데이터 내에서 잘못 라벨링 된 인스턴스들이 존재할 경우입니다. 데이터를 만들고 난 뒤 검...

Sampling Subgraphs with Guaranteed Treewidth for Accurate and Efficient Graphical Inference

본 문서에서는 WSDM 2020에서 발표된 Sampling Subgraphs with Guaranteed Treewidth for Accurate and Efficient Graphical Inference 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Sampling Subgraphs with Guaranteed Treewidth for Accurate and Efficient Graphical Inference Authors: Jaemin Yoo, U Kang, Mauro Scanagatta, Giorgio Corani, and Marco Zaffalon ACM International Conference on Web Search and Data Mining (WSDM) 2020 Graph Sampling 그래프 샘플링(graph sampling)은 어떤 그래프가 주어졌을 때 해당 그래프의 특성을 보존하는 작은 서브그래프(subgraph)를 생성하는 문제입니다. 본 연구에서는 그래프 샘플링 중에서도 정점 집합을 유지하면서 간선 집합의 일부만을 선택하는 간선 샘플링(edge sampling) 문제를 다룹니다. 예를 들어 사용자간 관계를 설명하는 소셜 네트워크가 주어져 있다고 할 때, 간선 샘플링은 각 사용자의 정보는 유지한 채 사용자간 관계 정보만을 제거하여 서브그래프를 생성합니다. 간선 샘플링이 잘 이루어지면 그림 1 과 같은 결과를 생성하게 됩니다. 그림에 나타난 그래프는 여러 개의 블로그와 블로그간 하이퍼링크를 나타내는 웹 그래프로, 각 정점의 색은 블로그의 정치 성향을 나타냅니다. 이때, 그림 왼쪽의 그래프는 동일한 성향의 블로그끼리 간선을 생성하는 동종 친화성(homophily) 특성을 보이는데, 이 특성이 그림 오른쪽의 서브그래프에서도 잘 보존되는 것을 확인할 수 있습니다. 이렇게 생성된 서브그래프는 실제 그래프의 특성을 보다 효율적으로 파악하기 위해 사용...

Towards True Multi-interest Recommendation: Enhanced Scheme for Balanced Interest Training

본 문서에서는 2024년 BigData 학회에서 발표된 "Towards True Multi-interest Recommendation: Enhanced Scheme for Balanced Interest Training" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Towards True Multi-interest Recommendation: Enhanced Scheme for Balanced Interest Training Authors: Jaeri Lee, Jeongin Yun, and U Kang Conference: BigData (2024) Multi-interest Recommendation 추천 시스템은 사용자의 관심사를 기반으로 콘텐츠를 추천하는 기술로, 전자상거래, 동영상 스트리밍, 소셜 네트워크 등 다양한 분야에서 핵심적인 역할을 합니다. 최근에는 단일 관심사 추천(single-interest recommendation)의 한계를 보완하고자 다중 관심사 추천(multi-interest recommendation)이 도입되었습니다. 이러한 다중 관심사 추천 모델은 사용자의 복잡한 선호를 여러 벡터로 나타내어 더 정밀한 추천을 가능하게 합니다. 그러나 기존 다중 관심사 추천 연구는 주로 모델 아키텍처 설계에 초점을 맞추었으며, 학습 과정에서 나타나는 불균형 문제를 간과하는 경우가 많습니다. 특히, 하나의 주요 관심사에 학습이 집중되어 다른 관심사들은 충분히 반영되지 못하는 문제와 각각의 관심사를 독립적으로 학습한다는 문제가 존재합니다. 이는 다음과 같은 결과를 초래합니다: 추천의 편향 : 특정 관심사에 치우친 추천 결과. 그림 1. 관심사 학습과 각 관심사에서 도출된 추천의 비중. 그림 1은 기존 다중 관심사 추천 모델인 ComiRec에서 학습이 한 관심사에 치중되었을 때, 추천 결과 역시 한 관심사로 평향됨을 보여줍니다. 본 논문에서 제안한 기법인 Ba...

Curved-Voxel Clustering for Accurate Segmentation of 3D LiDAR Point Clouds with Real-Time Performance

본 문서에서는 IROS 2019에서 발표된 Curved-Voxel Clustering for Accurate Segmentation of 3D LiDAR Point Clouds with Real-Time Performance 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Curved-Voxel Clustering for Accurate Segmentation of 3D LiDAR Point Clouds with Real-Time Performance [ link ] Authors: Seungcheol Park, Shuyu Wang, Hunjung Lim, and U Kang Conference: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2019 Segmentation of 3D LiDAR Point Clouds 3차원 라이다 센서 (3D LiDAR sensor)란 빛을 이용하여 주변 물체까지의 거리를 측정하여 센서 주변에 있는 물체들에 대한 위치 정보를 전달해주는 장치입니다. 라이다 센서는 실내에서 사용되는 안내 로봇부터 자율주행 차량까지 다양한 분야에서 사용되고 있습니다. 이때, 라이다 센서는 주로 주변에 물체가 있는지 없는지를 인식 (detection)하거나, 물체가 있다면 어떤 물체인지를 식별 (classification)하는 일을 주로 하게 됩니다. 특히 실내외에서 사람을 인식하는 보행자 식별 (pedestrian classification) 과정은 안전을 위해서도 중요하기 때문에 활발하게 연구되고 있는 분야입니다. 그림 1. 라이다 센서를 이용한 보행자 식별 과정의 예시 그림 1은 현관에 설치된 라이다 센서를 통해 보행자를 인식하는 예시를 보여주고 있습니다. 라이다 센서가 인식한 점 정보 (Input Data)를 전달받은 후 다음과 같은 네 단계를 통...

Accurate Coupled Tensor Factorization with Knowledge Graph

본 문서에서는 BigData 2024에서 발표될 "Accurate Coupled Tensor Factorization with Knowledge Graph " 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title : Accurate Coupled Tensor Factorization with Knowledge Graph Authors : SeungJoo Lee, Yong-chan Park, and U Kang Conference : IEEE International Conference on Big Data (BigData) 2024 PARAFAC2 Decomposition & Knowledge Graph PARAF AC2 분해 ( PARAFAC2 Decomposition). PARAFAC2 분해는 실세계의 불규칙 텐서 데이터를 분석하는 데 널리 사용되는 도구로, 차원 축소, 이상 탐지 등 다양한 분야에서 활용되고 있습니다. 지식 그래프(Knowledge Graph). 지식 그래프는 관계형 데이터를 삼중항으로 표현하는 구조화된 데이터베이스로, 삼중항은 헤드(head) 엔티티, 테일(tail) 엔티티, 그리고 두 엔티티 간의 관계로 구성됩니다. 예를 들어, 삼중항 (" J.K. 롤링 ", "쓰다", " 해리포터 ")은 J.K. 롤링이 해리포터의 저자임을 명시적으로 나타냅니다. 또한, 지식 그래프는 3차원 텐서로 모델링될 수 있으며, 텐서의 각 요소는 삼중항의 진위 여부를 나타내어 참이면 1, 거짓 또는 불확실하면 0으로 표현됩니다. 엔티티 간의 복합적이고 의미론적인 관계를 효과적으로 모델링할 수 있다는 점에서, 지식 그래프는 정보 검색, 추천 시스템, 지식 추론 등 다양한 인공지능 응용 분야에서 중요한 역할을 하고 있습니다. 그림 1. PARAFAC2 Decomposition 그림 1의 예시처럼, PARAFAC2 분해는 주어진 불규칙 텐서를 요인 행렬로 ...

Knowledge Extraction with No Observable Data

본 문서에서는 NeurIPS 2019에서 발표된 Knowledge Extraction with No Observable Data 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Knowledge Extraction with No Observable Data Authors: Jaemin Yoo, Minyong Cho, Taebum Kim, and U Kang Conference on Neural Information Processing Systems (NeurIPS) 2019 Knowledge Extraction 지식 증류(knowledge distillation)는 한 모델의 학습된 지식을 다른 모델에 전달하는 방법입니다. 예를 들면 모델 A와 B가 주어져 있는데 A는 파라미터의 수도 많고 학습 능력이 뛰어난 반면 B는 그렇지 않다고 합시다. 그러면 주어진 데이터로부터 모델 B를 직접 훈련하는 것보다 모델 A를 훈련한 다음에 A가 학습한 지식을 모델 B에 이용하는 것이 더 좋은 성능을 이끌어낼 수 있습니다. 지식 증류 알고리즘의 구체적인 동작 방식을 요약하자면 다음과 같습니다 ( 참고 ). 훈련된 모델 A가 주어져 있다고 가정합니다. 데이터(피처)를 모델 A에 입력으로 주어 예측값을 저장합니다. 저장한 예측값을 정답으로 하여 모델 B를 학습합니다. 그러나 훈련된 모델 A는 주어져 있으나 데이터가 없는 상황이라면 지식 증류 방법을 활용해 A의 지식을 다른 모델로 전달할 수 없습니다. 모델 A에 입력할 데이터가 없기 때문에 예측값을 얻을 수도 없기 때문입니다. 입력 형식이 같은 임의의 데이터를 생성할 수는 있지만, 그런 데이터는 실제 데이터와 전혀 다른 분포를 갖게 될 가능성이 높아 모델 B의 성능을 오히려 저하시킬 수도 있습니다. 이러한 상황에서, 본 논문은 모델 A로부터 가짜 데이터를 생성하여 이를 지식 증류에 활용하는 새로운 딥 러닝 구조를 제안합니다. 이때 모델의 지식을 증류하기 위해서는 먼...

Accurate Link Prediction for Edge-Incomplete Graphs via PU Learning

본 문서에서는 AAAI '25 학회에서 발표된 " Accurate Link Prediction for Edge-Incomplete Graphs via PU Learning " 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title : Accurate Link Prediction for Edge-Incomplete Graphs via PU Learning Authors: Junghun Kim, Ka Hyun Park, Hoyoung Yoon, and U Kang Conference: AAAI Conference on Artificial Intelligence (AAAI) 2025 Introduction 그래프 데이터는 소셜 네트워크, 추천 시스템, 논문 인용 네트워크 등 다양한 분야에서 활용됩니다. 하지만 현실 세계의 그래프는 불완전 (edge-incomplete) 한 경우가 많으며, 존재해야 할 링크가 관측되지 않은 경우가 많습니다. 그래프 링크 예측 (Link Prediction) 은 주어진 그래프에서 연결될 가능성이 높은 링크를 찾아내는 문제 입니다. 예를 들어, 소셜 네트워크에서 사용자에게 친구를 제안하거나, 추천 시스템에서 사용자에게 아이템을 추천하거나, 논문 인용 네트워크에서 인용할 논문을 제안하는 것 모두 실생활에서 쉽게 찾아볼 수 있는 그래프 링크 예측 문제들입니다. 이 문제를 다른 관점에서 바라보면, 그래프 링크 예측은 어떠한 노드 쌍 (node pair) 가 연결되었을지 (positive), 연결되지 않았을지 (negative) 를 분류하는 이진 분류 문제입니다. 그러나 기존 링크 예측 기법 (GCN, GAT, GAE 등) 은 주어진 그래프에서 연결되지 않은 노드 쌍을 무조건 연결되지 않았다고 (negative 샘플로) 간주 하는 문제가 있습니다. 하지만, 실제로 연결이...

Accurate Graph Classification via Two-staged Contrastive Curriculum Learning

본 문서에서는 2023년 PLOS ONE 저널에 게재된 "Accurate Graph Classification via Two-staged Contrastive Curriculum Learning" 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title : Accurate Graph Classification via Two-staged Contrastive Curriculum Learning Authors: Sooyeon Shim, Junghun Kim, Ka Hyun Park, and U Kang Journal : PLOS ONE 2023 Graph Contrastive Learning 대조학습(Contrastive learning) 이란 객체들 간의 관계 정보를 포착해 임베딩을 학습하는 방법입니다. 예를 들어 어떤 객체에 대한 positive 와 negative 샘플을 선정한다면, 주어진 객체와 positive 샘플의 유사도는 증대되고, 객체와 negative 샘플의 유사도는 절감되는 것을 목표로 positive/negative 샘플을 정해야합니다. 이를 그래프에 적용하는 접근 방식을 그래프 대조 학습(Graph contrastive learning)이라고 하며, 기존의 그래프 대조 학습은 크게 노드 단위의 그래프 대조학습(Node-level graph contrastive learning) 그리고 그래프 단위의 그래프 대조학습(Graph-level graph contrastive learning)의 두 가지 갈래로 구분할 수 있습니다. 노드 단위의 그래프 대조학습 은 그래프가 주어졌을때, 주어진 그래프와 이를 변형한 그래프 간의 노드 임베딩을 비교하는 방식으로 전개되어 왔습니다. 두 그래프 상에서의 노드 페어(Pair)는 다음과 같이 정의합니다. 어떤 노드에 대해 다른 그래프 상에서 같은 위치에 있는 노드를 positive 페어로, positive 페어로 정의된 노드 이외의 다른 그래프 상의 모든 노드들은...

Graph-based PU Learning for Binary and Multiclass Classification without Class Prior

본 문서에서는 2022년 KAIS 저널에 발표된 " Graph-based PU Learning for Binary and Multiclass Classification without Class Pior " 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Graph-based PU Learning for Binary and Multiclass Classification without Class Prior Authors: Jaemin Yoo*, Junghun Kim*, Hoyoung Yoon*, Geonsoo kim, Chanwon Jang, and U Kang (*equal contribution) Journal: Knowledge and Information Systems (KAIS) 2022 Graph-Based MPU Learning without Class Prior MPU 학습(multi-positive-unlabeled learning, MPU learning)은 여러 클래스의 양성(positive) 데이터와 미분류(unlabeled) 데이터가 주어졌을 때, 데이터를 각 양성 클래스 및 음성(negative) 클래스로 분류하는 분류기(classifier)를 학습하는 문제입니다. 일반적인 PU 학습(positive-unlabeled learning, PU learning)은 양성 데이터와 음성 데이터를 분류하는 이진 분류(binary classification)를 수행하는데, MPU 학습은 이에 더해 각 양성 데이터 각각의 양성 클래스로 분류하는 다항 분류(multiclass classification)를 수행하기 때문에, MPU 학습이 일반적으로 PU 학습보다 어렵습니다. 그림 1. PU 학습, MPU 학습의 예시. MPU 학습 문제는 실생활에서 어렵지 않게 찾아볼 수 있습니다. 예를 들어 MMORPG(massively multiplayer online role-playin...