본 문서에서는 ICASSP 2026 학회에 발표된 "Fast and Accurate Temporal Super-Resolution via Residual-Aware Coupled Tensor Factorization" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다.
- Title: Fast and Accurate Temporal Super-Resolution via Residual-Aware Coupled Tensor Factorization
- Authors: Nam Kyu Kang, Yong-chan Park, and U Kang
- Conference: IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 2026
Temporal Super-Resolution
제조 설비에는 온도, 압력, 진동 등을 측정하는 다양한 센서가 설치되어 있습니다. 이러한 센서가 기록한 시계열 데이터를 분석하면 설비의 상태와 공정의 변화를 파악할 수 있습니다. 하지만 모든 센서의 값을 짧은 간격으로 기록하려면 저장 공간과 장비 성능에 부담이 생깁니다. 따라서 실제 환경에서는 서로 다른 측정 간격을 갖는 센서 데이터가 함께 존재합니다.
예를 들어 어떤 센서는 1초마다, 다른 센서는 0.1초마다 값을 기록한다고 생각해 보겠습니다. 두 센서가 같은 시간 동안 작동하더라도 데이터의 촘촘함, 즉 시간 해상도(temporal resolution)는 다릅니다. Temporal super-resolution은 드문드문 측정된 신호를 더 촘촘한 시간 간격의 신호로 복원하는 문제입니다. 이때 같은 시간대에 관측된 관련 센서의 고해상도 데이터가 복원에 필요한 단서를 제공할 수 있습니다.
가장 간단한 복원 방법은 관측값 사이를 직선으로 연결하는 선형 보간(linear interpolation)입니다. 값이 거의 변하지 않는 안정적인 구간에서는 이 방법만으로도 충분할 수 있습니다. 그러나 공정 상태가 바뀌거나 신호가 급격하게 변하는 구간에서는 복잡한 움직임을 표현하기 어렵습니다. 반대로 정교한 복원 모델을 전체 시간 구간에 적용하면 긴 센서 로그를 처리하는 데 많은 계산이 필요합니다.
본 논문은 제조 로그에 오래 지속되는 안정적인 구간과 짧지만 복잡한 변화 구간이 함께 존재한다는 점에 주목합니다.
따라서 본 논문은 다음과 같은 질문을 다룹니다.
“서로 다른 해상도로 수집된 긴 센서 로그에서, 불필요한 계산을 줄이면서 고해상도 신호를 빠르고 정확하게 복원할 수 있을까?”
이를 위해 본 논문에서는 RA-CTF(Residual-Aware Coupled Tensor Factorization)를 제안합니다.
Proposed Method
RA-CTF의 핵심 아이디어는 서로 다른 해상도의 센서 신호를 복원할 때, 각 시간 구간의 복원 난이도를 고려하여 잔차가 큰 구간에는 정교한 복원을 적용하고, 나머지 구간은 가벼운 선형 보간으로 처리한다는 것입니다. 선택된 구간에서는 관련 센서들이 공유하는 시간 패턴을 함께 활용하여 복원 정확도를 높입니다.
이를 통해 시간축이 매우 긴 센서 로그에서도 전체 구간에 정교한 복원 모델을 적용하는 계산 부담을 줄일 수 있습니다.
그림 1. RA-CTF의 전체구조
그림 1과 같이 RA-CTF는 정교한 복원이 필요한 구간을 선택하고, 신호를 세 성분으로 나누어 모델링합니다.
- Trend: 천천히 변하는 전체적인 추세
- Dynamic: 여러 센서가 공유하는 시간 변화 패턴
- Sparse: 일부 시점에 집중되는 급격한 변동
이러한 분해는 센서 신호에 함께 존재하는 완만한 흐름, 공통 변화 패턴, 국소적인 변동을 각각 모델링할 수 있도록 합니다. 특히 그림의 Shared Temporal Factor는 저해상도와 고해상도 데이터가 공유하는 시간 패턴을 나타냅니다. 이를 통해 고해상도 센서에서 관측한 세밀한 변화를 저해상도 신호의 복원에 활용하면서, 센서와 공정별 특성은 각각 유지할 수 있습니다.
Residual-Based Segment Selection
RA-CTF에서 가장 중요한 출발점은 간단한 보간으로 충분한 구간과 정교한 복원이 필요한 구간을 구분하는 것입니다.
긴 센서 로그 전체에 정교한 복원 모델을 적용하면 안정적인 구간에서도 불필요한 계산이 발생합니다. RA-CTF는 관측 신호에서 일부 측정값만 남긴 뒤 선형 보간으로 복원하고, 원래 관측값과의 차이인 잔차(residual)를 계산합니다. 잔차가 클수록 단순한 보간으로 설명하기 어려운 시점으로 판단합니다.
이후 각 신호에서 잔차가 상대적으로 큰 시점을 표시하고, 이를 공통 시간축에 맞춰 다수결로 통합하여 복원 대상 구간을 선택합니다. 따라서 여러 센서에서 복원이 어렵다고 판단한 구간에 정교한 계산을 집중하고, 나머지 구간은 가벼운 선형 보간으로 처리할 수 있습니다.
이러한 구간 선택이 시간축이 매우 긴 센서 로그에서 불필요한 계산을 줄이고, 중요한 변화 구간의 복원에 집중할 수 있게 하는 핵심입니다.
Joint Reconstruction
선택된 구간에는 서로 다른 성격의 변화가 함께 존재할 수 있습니다. 예를 들어 온도가 천천히 상승하는 흐름, 여러 센서에서 공통으로 나타나는 반복 패턴, 특정 시점에만 발생하는 급격한 변동은 각각 다른 방식으로 표현하는 것이 적절합니다. RA-CTF는 이러한 특징을 고려하여 신호를 trend, dynamic, sparse의 세 성분으로 나누어 복원합니다.
먼저 trend 성분은 신호의 완만한 흐름을 표현합니다. 관측 신호에 Gaussian smoothing을 적용하여 부드러운 추세를 추출하고, 선형 보간을 통해 이를 고해상도 시간축에 배치합니다. 이를 통해 전체적인 신호 수준과 천천히 변하는 구조를 반영합니다.
Dynamic 성분은 여러 센서에 공통으로 나타나는 시간 변화 패턴을 표현합니다. 이를 위해 본 논문은 데이터를 (sensor) × (time) × (process) 형태의 텐서로 구성합니다. 텐서는 여러 축을 갖는 표라고 생각할 수 있으며, 텐서 분해는 이 큰 표를 소수의 기본 패턴과 그 조합으로 표현하는 방법입니다.
RA-CTF는 Coupled Tensor Factorization을 이용하여 서로 다른 해상도의 텐서가 공통 시간 패턴(shared temporal factor)을 공유하도록 연결합니다. 예를 들어 같은 공정 변화에 반응하는 센서들이 있다면, 고해상도 센서에서 관측한 세밀한 시간 패턴이 저해상도 센서의 복원을 도울 수 있습니다. 센서와 공정별 factor는 각각 유지하므로, 공통된 시간 변화를 활용하면서도 개별 신호의 특성을 표현할 수 있습니다.
Sparse 성분은 일부 시점에 집중되는 불규칙한 변동을 표현합니다. 추세와 공통 패턴으로 충분히 설명되지 않는 국소적인 변화를 별도로 모델링하며, sparsity 제약을 적용하여 이 성분이 일부 위치에 집중되도록 유도합니다.
최종 고해상도 신호는 세 성분을 합쳐 구성합니다. 이때 복원한 신호를 평활화하고 낮은 해상도로 샘플링했을 때 실제 관측값과 잘 맞도록 최적화합니다. 추세 성분은 고정한 상태에서 dynamic 성분의 factor와 sparse 성분을 번갈아 갱신합니다. 이러한 설계는 완만한 흐름, 센서 간 공통 패턴, 국소적인 변동을 함께 반영하여 복원 정확도를 높이기 위한 것입니다.
Experiments
본 논문에서는 ETTm1, MHealth, GasTemp의 세 가지 실제 데이터셋을 사용하여 RA-CTF의 실행 시간과 복원 정확도를 평가합니다. ETTm1은 전력 관련 시계열 데이터, MHealth는 웨어러블 센서 데이터, GasTemp는 가스 센서의 온도 변조 데이터입니다.
실험에서는 고해상도 데이터를 기준으로 측정 시점을 각각 2개, 3개마다 하나씩 남겨 중간 해상도와 저해상도 데이터를 구성합니다. 각 데이터는 센서, 시간, 공정의 세 축을 갖는 텐서로 표현하며, 서로 다른 해상도의 데이터를 함께 이용하여 고해상도 신호를 복원합니다.
비교 대상으로는 TimeMixer, ATOM, TraceBase, STEREO, Blind-STEREO를 사용합니다. 실행 시간은 초 단위로 측정하고, 복원 정확도는 RMSE, MAE, R²로 평가합니다. RMSE와 MAE는 복원값과 정답 사이의 오차를 나타내므로 낮을수록 좋으며, R²는 신호의 변화를 얼마나 잘 설명하는지 나타내는 지표로 높을수록 좋습니다.
표 1. RA-CTF 와 기존방법의 성능 비교
표 1에서 RA-CTF는 세 데이터셋 모두에서 비교한 기법 중 가장 짧은 실행 시간을 기록합니다. ETTm1, MHealth, GasTemp에서 각각 7.99초, 6.37초, 129.32초가 소요됩니다. 특히 ETTm1에서는 가장 빠른 비교 기법인 TraceBase의 46.89초에 비해 약 5.9배 빠른 실행 속도를 보입니다. 이는 정교한 복원을 선택된 구간에 집중하는 접근이 긴 시계열의 처리 비용을 줄이는 데 효과적임을 보여줍니다.
복원 정확도에서도 경쟁력 있는 결과를 보입니다. ETTm1에서 RA-CTF의 RMSE는 0.2196으로, 가장 낮은 RMSE를 기록한 ATOM의 0.2194와 거의 같은 수준입니다. MHealth에서는 RMSE 0.1093을 기록하여, 비교 기법 중 가장 좋은 TimeMixer의 0.1190보다 약 8% 낮은 오차를 보입니다.
GasTemp에서는 TimeMixer가 RMSE 0.1934로 가장 높은 복원 정확도를 보이며, RA-CTF는 0.2017을 기록합니다. RA-CTF는 이 데이터에서도 가장 짧은 실행 시간을 유지하면서 비교적 근접한 복원 성능을 제공합니다.
그림 2는 실행 시간과 RMSE를 함께 비교하여 이러한 관계를 보여줍니다. 전체 결과는 RA-CTF가 복원이 어려운 구간에 계산을 집중하고 센서 간 공통 정보를 활용함으로써, 복원 정확도와 계산 효율 사이에서 유용한 균형을 제공한다는 점을 뒷받침합니다.
Conclusion
본 글에서는 ICASSP 2026에 발표된 “Fast and Accurate Temporal Super-Resolution via Residual-Aware Coupled Tensor Factorization” 논문을 소개하였습니다.
본 논문은 서로 다른 해상도로 수집된 긴 센서 로그에서 고해상도 신호를 빠르고 정확하게 복원하는 문제를 다룹니다.
논문의 핵심은 복원이 어려운 구간에 계산을 집중하는 것입니다. RA-CTF는 잔차가 큰 구간을 선택하여 관련 센서의 공통 시간 패턴을 활용한 정교한 복원을 수행하고, 나머지 구간은 가벼운 선형 보간으로 처리합니다. 이를 통해 시간축이 긴 데이터의 계산 부담을 줄이면서 경쟁력 있는 복원 정확도를 유지합니다.
이러한 접근은 제조 설비의 공정 변화 분석, 전력 사용 패턴 분석, 웨어러블 센서 데이터 통합 등에 활용될 수 있습니다. 서로 다른 측정 간격으로 이미 수집된 데이터를 함께 활용하고, 중요한 변화 구간에 분석 자원을 집중할 수 있다는 점에서 실용적인 의의가 있습니다.
본 논문에 대한 자세한 정보는 [링크]에서 확인할 수 있습니다.