Skip to main content

Data Mining Lab. Blog

Search This Blog

Pages

Showing posts from 2024

Posts

FreQuant: A Reinforcement-Learning based Adaptive Portfolio Optimization with Multi-frequency Decomposition

Posted by Data Mining Lab. 날짜: 7/01/2024

Fast Multidimensional Partial Fourier Transform with Automatic Hyperparameter Selection

Posted by Data Mining Lab. 날짜: 6/01/2024

Learning to Reweight Examples for Robust Deep Learning

Posted by Data Mining Lab. 날짜: 5/01/2024

Accurate Semi-Supervised Automatic Speech Recognition via Multi-hypotheses-based Curriculum Learning

Posted by Data Mining Lab. 날짜: 4/03/2024

Cold-start Bundle Recommendation via Popularity-based Coalescence and Curriculum Heating

Posted by Data Mining Lab. 날짜: 3/01/2024

Accurate Retraining-free Pruning for Pretrained Encoderbased Language Models

Posted by Data Mining Lab. 날짜: 2/01/2024

Accurate Graph Classification via Two-staged Contrastive Curriculum Learning

Posted by Data Mining Lab. 날짜: 1/01/2024

Data Mining Lab.

Go to DMLAB Website

본 블로그에서는 서울대학교
컴퓨터공학부 데이터마이닝

연구실에서 진행하고 있는

최신 연구를 소개합니다.

Archive

2024 7

2023 12
2022 12
2021 12
2020 12
2019 1
- December 2019 1

Show more Show less

Popular Posts

FreQuant: A Reinforcement-Learning based Adaptive Portfolio Optimization with Multi-frequency Decomposition

본 문서에서는 KDD 2024 학회에 발표될 "FreQuant: A Reinforcement-Learning based Adaptive Portfolio Optimization with Multi-frequency Decomposition" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title : FreQuant: A Reinforcement-Learning based Adaptive Portfolio Optimization with Multi-frequency Decomposition Authors: Jihyeong Jeon, Jiwon Park, Chanhee Park, and U Kang Conference: ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD) 2024 Introduction 최근 연구에서는 강화 학습 (RL) 과 딥러닝을 결합하여 자산의 시간적 패턴을 포착하고, 이를 통해 포트폴리오를 최적화하는 것의 효과가 입증되었습니다. 현존하는 대부분의 모델은 시간 도메인에서 자산의 패턴 분석을 중점으로 두었으며, 시간 축을 기준으로 변동에 대한 평준화를 진행하는 연산을 수행하였습니다. 그러나 이러한 평준화 연산은 때때로 시장 및 자산에 중대한 영향을 주는 갑작스러운 사건에 따른 급격한 가격 변동에 둔감해진다는 단점이 있습니다. 따라서, 기존 모델의 경우 시장 혹은 자산이 방향성이 있는 일관적 패턴을 보일 때 좋은 성능을 보이지만, 갑작스러운 사건에 의하여 시장이 요동칠 때는 모델이 변화를 감지하지 못하여 큰 손실을 초래하게 됩니다. 이러한 한계를 극복하려는 방법의 하나는 시간 도메인에서 주파수 도메인 분석으로 변화를 주어 자산의 패턴 분석을 진행하는 것입니다. 이를 위한 이산 푸리에 변환 (DFT) 은 시간 도메인의 신호를 주파수 도메인의 특성으로 변환함으로써 해석하기 어려운 시간적 패턴을 다양한 주기성을

Fast Multidimensional Partial Fourier Transform with Automatic Hyperparameter Selection

본 문서에서는 KDD 2024 학회에 발표될 "Fast Multidimensional Partial Fourier Transform with Automatic Hyperparameter Selection" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title : Fast Multidimensional Partial Fourier Transform with Automatic Hyperparameter Selection Authors: Yong-chan Park, Jongjin Kim, and U Kang Conference: ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD) 2024 Partial Fourier Transform 이산 푸리에 변환(Discrete Fourier Transform, DFT)은 이상 탐지, 잠재 패턴 추출, 이미지 처리 등 많은 데이터 마이닝 작업에서 중요한 알고리즘입니다. 최근에는 데이터의 에너지 응집 특성을 활용하여 일부 푸리에 계수만 효율적으로 계산하는 것에 대한 관심이 높아지고 있습니다. 시계열, 이미지, 비디오와 같은 대부분의 실제 데이터는 주파수 도메인에서 매우 응집된 형태로 표현됩니다. 예를 들어, 그림 1은 ImageNet의 이미지의 푸리에 계수를 시각화한 것으로, 대부분의 계수가 0이며 일부 저주파 영역에서만 계수가 존재하는 것을 보여줍니다. 이는 불필요한 계수의 계산을 생략하고, non-zero 계수에만 집중함으로써 상당한 계산상의 이점을 얻을 수 있음을 의미합니다. 그림 1. 입력 이미지와 해당 푸리에 맵을 로그 진폭으로 표시한 예시. 중앙 근처의 일부 저주파 영역을 제외하면, 푸리에 계수는 대부분 0에 가깝습니다. 그러나 Goertzel Algorithm, Subband DFT, Pruned FFT 등 기존의 부분 푸리에 변환 방법들은 효율성이 낮다는 문제가 있습니다

Time-Aware Tensor Decomposition for Missing Entry Prediction

본 문에서는 Arxiv에 기재된 Time-Aware Tensor Decomposition for Missing Entry Prediction 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Time-Aware Tensor Decomposition for Missing Entry Prediction Authors: Dawon Ahn, Jun-Gi Jang, U Kang Arixv: https://arxiv.org/pdf/2012.08855.pdf CANDECOMP/PARAFAC (CP) Decomposition 그림 1. 3차원 시간 텐서의 CP 분해 다차원 배열을 의미하는 텐서는 시간에 따라 변화하는 다중적인 관계를 표현할 수 있습니다. 예를 들어, 센서에서 수집된 대기 오염 데이터는 오염 물질의 측정 값을 포함하는 3차원 시간 텐서(장소, 오염 물질, 시간)로 표현됩니다. 텐서 분해(Tensor Decomposition)는 텐서 데이터를 효과적으로 분석하는 방법으로, 클러스터링 및 이상 탐지를 포함한 다양한 응용 프로그램에서 광범위하게 활용되고 있습니다. CANDECOMP / PARAFAC (CP) 분해는 가장 대표적인 텐서 분해 모델 중 하나로, 그림 1과 같이 텐서를 각 차원의 벡터들의 외적의 합으로 나타낼 수 있습니다. 위와 같은 시간 텐서에는 대표적인 특성 2가지를 관측할 수 있습니다. 첫번째는 텐서의 시간 차원은 인접한 값들끼리는 서로 연관성이 있는 특징이 있습니다. 예를 들어, t번째 시간에서 관측된 오염 데이터는 t-1, t+1번째 시간에서 관측된 오염 데이터와 비슷한 값을 갖을 것입니다. 두번째로는 데이터를 수집하는 센서 및 기계 오류 및 고장으로 인해 텐서는 많은 결측치로 포함하고, 이는 시간 조각(Time Slice) 별로 다른 희소성(혹은 밀도)을 갖게 합니다. 그러나 표준적인 CP 분해 방법을 포함한 기존 분해 방법들은 위 두 가지 특성 모두 고려하지 않았습니다. 본 논문의 목표는 결측치 예측을 위

D-Tucker: Fast and Memory-Efficient Tucker Decomposition for Dense Tensors

본 문서에서는 ICDE 2020에서 발표된 " D-Tucker: Fast and Memory-Efficient Tucker Decomposition for Dense Tensors " 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Jun-Gi Jang et al., D-Tucker: Fast and Memory-Efficient Tucker Decomposition for Dense Tensors , ICDE 2020 Tucker Decomposition 동영상 (가로, 세로, 시간), 기상 데이터 (오염물질, 위치, 시간) 등과 같이 다양한 데이터들이 밀도 높은 텐서 (Dense tensor)로 표현됩니다. 터커 분해 (Tucker Decomposition) 은 텐서 데이터를 분석하는 가장 유명한 모델 중 하나이며 차원 축소, 클러스터링, 추천 시스템 등과 같이 다양한 응용들에서 활용하고 있습니다. 그림 1. 3차원 텐서에 대한 터커 분해 예시 터커 분해는 그림 1의 예시와 같이 주어진 텐서를 각 차원의 저계수 요인행렬 (low-rank factor matrix)과 관계간의 강도를 표현하는 코어 텐서 (core tensor)로 분해합니다. 터커 분해는 요인 행렬들과 코어 텐서로 복원한 재복원 텐서와 입력 텐서간의 차이를 줄이는 방향으로 요인 행렬들과 코어 텐서를 학습합니다. ALS (Alternating Least Square) 는 터커 분해의 요인 행렬들과 코어 텐서를 학습할 때 사용하는 접근법 중 하나입니다. 해당 방법은 임의의 요인 행렬 하나를 제외한 나머지 모두를 고정시키고, 고정되지 않은 하나의 요인 행렬을 업데이트하며, 요인 행렬들을 순서대로 업데이트합니다. 그림 1의 예에서는 행렬 B와 C를 고정시키고 A를 업데이트합니다. 그 다음, A와 C를 고정시키고 B를 업데이트하며, C도 마찬가지로 A와 B를 고정시켜 업데이트합니다. 요인 행렬들과 코어 텐서로 복원한 재복원 텐서와

Curved-Voxel Clustering for Accurate Segmentation of 3D LiDAR Point Clouds with Real-Time Performance

본 문서에서는 IROS 2019에서 발표된 Curved-Voxel Clustering for Accurate Segmentation of 3D LiDAR Point Clouds with Real-Time Performance 논문을 소개합니다. 논문에 대한 상세 정보는 다음과 같습니다. Title: Curved-Voxel Clustering for Accurate Segmentation of 3D LiDAR Point Clouds with Real-Time Performance [ link ] Authors: Seungcheol Park, Shuyu Wang, Hunjung Lim, and U Kang Conference: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2019 Segmentation of 3D LiDAR Point Clouds 3차원 라이다 센서 (3D LiDAR sensor)란 빛을 이용하여 주변 물체까지의 거리를 측정하여 센서 주변에 있는 물체들에 대한 위치 정보를 전달해주는 장치입니다. 라이다 센서는 실내에서 사용되는 안내 로봇부터 자율주행 차량까지 다양한 분야에서 사용되고 있습니다. 이때, 라이다 센서는 주로 주변에 물체가 있는지 없는지를 인식 (detection)하거나, 물체가 있다면 어떤 물체인지를 식별 (classification)하는 일을 주로 하게 됩니다. 특히 실내외에서 사람을 인식하는 보행자 식별 (pedestrian classification) 과정은 안전을 위해서도 중요하기 때문에 활발하게 연구되고 있는 분야입니다. 그림 1. 라이다 센서를 이용한 보행자 식별 과정의 예시 그림 1은 현관에 설치된 라이다 센서를 통해 보행자를 인식하는 예시를 보여주고 있습니다. 라이다 센서가 인식한 점 정보 (Input Data)를 전달받은 후 다음과 같은 네 단계를 통해 보행자 인식이

Cold-start Bundle Recommendation via Popularity-based Coalescence and Curriculum Heating

본 문서에서는 2024년 WWW 학회에 발표될 " Cold-start Bundle Recommendation via Popularity-based Coalescence and Curriculum Heating " 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title : Cold-start Bundle Recommendation via Popularity-based Coalescence and Curriculum Heating Authors: Hyunsik Jeon, Jong-eun Lee, Jeongin Yun, and U Kang Conference: The Web Conference (WWW) 2024 Cold-start Bundle Recommendation 추천 시스템(recommender system)은 사용자가 관심 가질 만한 아이템을 제안함으로써 사용자 만족도 제고와 비즈니스 목표 달성에 중요한 역할을 합니다. 최근 추천 시스템 분야에서 번들 추천(bundle recommendation)은 개별 아이템 대신 아이템의 묶음을 사용자에게 추천하는 그 특성 때문에 산업계와 학계에서 상당한 주목을 받고 있습니다. 특히 사용자에게 새로운 번들을 추천하는 콜드스타트(cold-start) 번들 추천은 새로운 번들이 끊임없이 만들어지는 실제 세계에서 중요한 문제로 간주됩니다. 그러나 기존의 번들 추천 기법들은 모든 번들이 과거 상호 작용 정보를 가지고 있는 웜스타트(warm-start) 상황에 맞게 설계되었습니다. 이러한 기법들은 번들 표현을 학습하기 위해 과거 상호 작용 정보에 의존하기 때문에, 과거 사용자-번들 상호 작용이 없는 콜드 번들의 표현에 한계가 있습니다. 한편, 아이템 추천을 위한 콜드스타트 기법들은 번들 추천에서 겪는 상호 작용의 고도로 편중된 분포 문제를 명시적으로 고려하지 못하여 콜드스타트 번들 추천 상황에 효과적이지 못한 한계가 있습니다. 본 논문에서는 기존 기법들이 해결하지 못한 콜드스타트 번

Accurate Semi-Supervised Automatic Speech Recognition via Multi-hypotheses-based Curriculum Learning

본 문서에서는 2024년 PAKDD에서 발표될 " Accurate Semi-Supervised Automatic Speech Recognition via Multi-hypotheses-based Curriculum Learning " 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title : Accurate Semi-Supervised Automatic Speech Recognition via Multi-hypotheses-based Curriculum Learning Authors : Junghun Kim*, Ka Hyun Park*, and U Kang (*equal contribution) Conference: The Pacific-Asia Conference on Knowledge Discovery and Data Mining ( PAKDD ) 2024 Hypothesis in Automatic Speech Recognition 온라인 상에 매 순간 새로운 데이터가 업로드되어 사용할 수 있는 음성 데이터가 끊임없이 생성되고 있으며, 이에 따라 음성을 텍스트로 바꿔주는 자동 음성 인식 (Automatic Speech Recognition, ASR) 기술이 온라인 상의 방대한 음성 및 동영상 데이터를 활용하기 위한 방안으로 각광받고 있습니다. 가용 음성 데이터에 대해 사람이 직접 레이블을 생성하는 것은 비용이 많이 들고, 데이터가 추가되는 속도를 따라 잡을 수 없다는 한계가 존재합니다. 이러한 이유로 이미 레이블이 되어있는 음성 데이터를 활용해 새로운 음성 데이터에 대한 자동적인 텍스트 변환이 이루어질 수 있도록 하는 반지도학습 기반 음성 인식 기술에 대한 연구가 활발하게 진행되고 있습니다. 기존 반지도학습 기반 음성 인식 기술은 레이블이 있는, 적은 양의 음성 데이터를 이용해 초기 ASR 모델을 학습시킨 후 레이블이 없는 음성 데이터에 대한 레이블을 만들어내는 방식을 사용해왔습니다. ASR 모델은

Learning to Reweight Examples for Robust Deep Learning

본 문서에서는 2018년 ICML 학회에 발표된 "Learning to Reweight Examples for Robust Deep Learning" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Learning to Reweight Examples for Robust Deep Learning Authors: Mengye Ren, Wenyuan Zeng, Bin Yang, and Raquel Urtasun Conference: International Conference on Machine Learning (ICML) 2018 Learning to Reweight Examples for Robust Deep Learning 딥러닝 기반의 모델들은 데이터를 고차원으로 투영하는 방식으로 복잡한 패턴의 입력에 대해서도 성공적으로 지도 학습이 가능함을 보여왔습니다. 하지만, 학습에 사용된 데이터를 기반으로 고차원으로 투영시키는 파라미터가 학습되기 때문에 생기는 문제가 존재합니다. 예를 들어, 학습 데이터에 노이즈가 포함되어 있어 평가 데이터와 차이가 존재한다면, 모델이 그 학습 데이터에 과적합되어 평가 데이터에 대한 성능이 떨어지는 현상이 존재할 수 있습니다. 이러한 학습 데이터 노이즈에서 가장 많이 거론되는 것으로는 클래스 불균형, 라벨 노이즈 두 가지가 존재합니다. 클래스 불균형은 데이터 내에서 클래스 별로 인스턴스 수가 균등히 배분 되어 있지 않고, 유명한 클래스의 인스턴스 수와 잘 보이지 않는 클래스의 인스턴스 수의 차이가 심한 경우입니다. 예를 들면 자동차의 이미지 데이터를 수집할 때, SUV 타입의 자동차는 많이 보이지만, 구급차의 경우 드물게 보이기 때문에 수집을 할 때 SUV 타입의 자동차보다 구급차의 이미지가 극단적으로 적을 수 있습니다. 라벨 노이즈는 데이터 내에서 잘못 라벨링 된 인스턴스들이 존재할 경우입니다. 데이터를 만들고 난 뒤 검수를 최대한 정확하게 하더라도, 완벽히 라벨링이 된

Learning to Walk across Time for Interpretable Temporal Knowledge Graph Completion

본 문서에서는 데이터 마이닝 분야 학회인 KDD 2021에서 발표 예정인 논문 " Learning to Walk across Time for Interpretable Temporal Knowledge Graph Completion "을 소개합니다. 논문의 상세한 정보는 아래와 같습니다. Title : Learning to Walk across Time for Interpretable Temporal Knowledge Graph Completion Authors : Jaehun Jung, Jinhong Jung and U Kang Conference : The 27th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining ( KDD ), 2021 Temporal Knowledge Graph Completion 통상적인 지식 그래프(knowledge graph)는 현실 세계의 다양한 개체들을 정점(node)로, 개체들 사이의 관계를 간선(edge)로 표현하는 그래프를 일컫습니다. 이들 지식 그래프는 요컨대 (Joe Biden, is_president_of, United States) 등과 같이 다양한 개체들에 대한 관계적 지식을 트리플(triple)로 표현할 수 있어 추천 시스템, 지식 기반 AI 등 여러 분야에서 활용됩니다. 다만, 기존의 지식 그래프는 개체들 사이의 관계를 실제 시간적인 유효성과 관계없이 영속적인 것으로 간주하기 때문에 현실의 지식을 온전히 표현하기 어렵다는 한계가 있습니다. 이러한 단점을 보완해 근래 새로 등장한 지식 저장 형태가 시간 지식 그래프(temporal knowledge graph)입니다. 시간 지식 그래프는 개체들 간의 관계에 더해 그 관계가

Knowledge Extraction with No Observable Data

본 문서에서는 NeurIPS 2019에서 발표된 Knowledge Extraction with No Observable Data 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다. Title: Knowledge Extraction with No Observable Data Authors: Jaemin Yoo, Minyong Cho, Taebum Kim, and U Kang Conference on Neural Information Processing Systems (NeurIPS) 2019 Knowledge Extraction 지식 증류(knowledge distillation)는 한 모델의 학습된 지식을 다른 모델에 전달하는 방법입니다. 예를 들면 모델 A와 B가 주어져 있는데 A는 파라미터의 수도 많고 학습 능력이 뛰어난 반면 B는 그렇지 않다고 합시다. 그러면 주어진 데이터로부터 모델 B를 직접 훈련하는 것보다 모델 A를 훈련한 다음에 A가 학습한 지식을 모델 B에 이용하는 것이 더 좋은 성능을 이끌어낼 수 있습니다. 지식 증류 알고리즘의 구체적인 동작 방식을 요약하자면 다음과 같습니다 ( 참고 ). 훈련된 모델 A가 주어져 있다고 가정합니다. 데이터(피처)를 모델 A에 입력으로 주어 예측값을 저장합니다. 저장한 예측값을 정답으로 하여 모델 B를 학습합니다. 그러나 훈련된 모델 A는 주어져 있으나 데이터가 없는 상황이라면 지식 증류 방법을 활용해 A의 지식을 다른 모델로 전달할 수 없습니다. 모델 A에 입력할 데이터가 없기 때문에 예측값을 얻을 수도 없기 때문입니다. 입력 형식이 같은 임의의 데이터를 생성할 수는 있지만, 그런 데이터는 실제 데이터와 전혀 다른 분포를 갖게 될 가능성이 높아 모델 B의 성능을 오히려 저하시킬 수도 있습니다. 이러한 상황에서, 본 논문은 모델 A로부터 가짜 데이터를 생성하여 이를 지식 증류에 활용하는 새로운 딥 러닝 구조를 제안합니다. 이때 모델의 지식을 증류하기 위해서는 먼