Accurate Open-set Recognition for Memory Workload

Posted by 날짜:

 본 문서에서는 Arxiv에 게재된 "Accurate Open-set Recognition for Memory Workload" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다.

  • Title: Accurate Open-set Recognition for Memory Workload
  • Authors: Jun-Gi Jang, Sooyeon Shim, Vladimir Egay, Jeeyong Lee, Jongmin Park, Suhyun Chae, and U Kang
  • Arxiv: https://arxiv.org/pdf/2212.08817.pdf

Memory Workload

DRAM (Dynamic Random Access Memory)은 모바일 장치, 컴퓨터, 자율주행 자동차 등 여러 산업에서 널리 사용되는 메모리 장치입니다. 워크로드 시퀀스 (workload sequence)는 메모리 장치 내에서 데이터를 읽거나 쓰는 등의 행위를 지정하는 명령어와 주어진 명령을 수행하는 위치 정보를 보여주는 데이터입니다. 워크로드 시퀀스는 총 5개의 필드 (command, rank, bank group, bank, address fields)로 구성되며 명령어 필드 (command field)를 제외한 4개의 필드들은 계층 구조를 이루고 있습니다. 그림 1은 DRAM의 구조와 워크로드 시퀀스의 예시를 보여줍니다.
그림 1. DRAM의 구조와 워크로드 시퀀스 예시.

Open-set Recognition for Memory Workload

열린 집합 인지 (open-set recognition)는 테스트 데이터가 주어졌을 때, 해당 데이터가 알려진 클래스 (known classes)에 속한다면 그 중 하나로 분류하고, 속하지 않는다면 새로운 클래스 (unknown class)로 구분하는 문제입니다. DRAM의 수요가 증가함에 따라 DRAM의 품질을 검증하고 보증하는 것이 중요하지만, 기존에 존재하는 워크로드 시퀀스를 이용하는 것에는 한계가 있습니다. 따라서, 기존과 다른 패턴을 갖는 새로운 워크로드 시퀀스를 감지하고 활용하는 과정이 필요합니다. 본 논문에서는 워크로드 부분시퀀스 (workload subsequence)가 주어졌을 때, 부분시퀀스의 소속을 정확히 예측하는 열린 집합 인지 (open-set recognition) 문제를 다룹니다. 구체적인 문제 정의는 다음과 같습니다.
  • 주어진 정보
    • 워크로드 부분시퀀스
    • 알려진 워크로드 클래스
      • 워크로드 클래스 수는 워크로드 시퀀스의 수와 동일하며, 각 부분시퀀스는 해당 부분시퀀스를 생성한 워크로드 시퀀스에 속함
  • 목표
    • 주어진 워크로드 부분시퀀스가 알려진 클래스에 속한다면 부분시퀀스를 알려진 클래스 중 하나로 정확히 분류하고, 속하지 않는다면 새로운 클래스로 구분함

Proposed Method

본 논문에서는 워크로드 시퀀스의 특징을 활용하여 알려진 클래스 분류와 새로운 클래스 감지를 정확히 수행하는 모델인 ACORN (ACcurate Open-set recognition method for woRkload sequeNces)을 제안합니다. ACORN의 핵심 아이디어는 다음과 같이 요약될 수 있습니다.
  • ACORN 모델은 워크로드 시퀀스 내 서로 다른 5개의 필드가 내포하고 있는 정보를 활용하여 전처리를 수행합니다. 구체적으로, 5개의 필드가 나타내는 정보에 따라 명령어 필드 (command field)와 주소 관련 필드들 (address-related fields)로 구분하여 전처리를 수행합니다.
  • ACORN 모델은 워크로드 시퀀스로부터 순차적인 패턴과 공간적인 패턴을 추출하여 두 종류의 특징 벡터 (feature vector)를 생성합니다. 명령어 필드로부터 명령어의 순서에 따른 순차적 패턴을 추출하여 CMD 특징 벡터를 생성하고, 주소 관련 필드들로부터 명령 수행 위치에 따른 공간적 패턴을 추출하여 ADDRESS 특징 벡터를 생성합니다.
  • ACORN 모델은 SVD 기반의 새로운 클래스 감지기를 구성합니다. 감지기는 주어진 워크로드 부분시퀀스와 알려진 클래스 사이의 재구성 오류 (reconstruction error)를 계산하여 새로운 클래스 감지를 수행합니다.
ACORN 모델의 전반적인 과정은 그림 2와 같습니다.

그림 2. ACORN 모델의 전반적인 과정.

Feature Extraction

워크로드 시퀀스는 길이가 매우 길기 때문에 이를 분류 모델의 입력으로 바로 사용하는 것에는 어려움이 있습니다. 따라서, 워크로드 시퀀스의 특징을 반영하여 CMD 특징 벡터와 ADDRESS 특징 벡터를 생성하고, 이를 분류 모델의 입력으로 사용합니다. CMD 특징 벡터는 n-gram 모델을 활용하여 명령어 필드 (command field)의 순차적인 패턴을 찾고 부분시퀀스 내에서 각 패턴의 등장 횟수를 세어서 표현합니다. ADDRESS 특징 벡터는 뱅크 필드 (bank field)를 최하위 단계로 갖는 뱅크 단위 필드들 (bank-level fields)과 주소 필드 (address field)를 별도로 처리합니다. 뱅크 단위 필드들은 각 뱅크에 접근한 횟수를 세어서 벡터로 표현합니다. 주소 필드는 뱅크의 행 또는 열 주소를 나타내므로 각 뱅크를 여러 개의 메모리 블록 영역으로 나누고 각 영역에 접근한 횟수를 세어서 벡터로 표현합니다. ADDRESS 특징 벡터는 뱅크 단위 필드들과 주소 필드에 대한 특징 벡터를 합친 벡터로 정의하며, 최종 특징 벡터는 CMD 특징 벡터와 ADDRESS 특징 벡터를 합쳐서 사용합니다.

Classification Model & Unknown Class Detector

알려진 클래스 분류는 딥러닝 기반의 모델을 활용하며 머신러닝 기반의 모델 역시 사용이 가능합니다. 새로운 클래스 감지기는 SVD를 활용하며 각 알려진 클래스에 대해 별도로 생성됩니다. 감지기는 각 알려진 클래스에 속하는 학습 데이터를 활용하여 구성되며, 학습 데이터와 감지기 사이의 재구성 오류 (reconstruction error)를 측정하여 한계점 (threshold)을 정의합니다. 테스트 데이터가 주어졌을 때, 학습된 분류 모델을 통해 알려진 클래스 중 하나로 분류가 되면, 해당 클래스의 감지기를 이용하여 재구성 오류를 측정하고, 정의된 한계점과 비교하여 새로운 클래스인지 아닌지 판별합니다.

Experiments

본 논문은 제안하는 모델의 우수성을 입증하기 위해 두 가지 실험 결과를 제시합니다. 첫번째 실험은 알려진 클래스 분류와 새로운 클래스 감지를 정확히 수행하는지 평가합니다. 그림 3은 ACORN과 경쟁 방법들의 열린 집합 인지 (open-set recognition) 성능을 비교합니다. 실험은 두 개의 실세계 워크로드 데이터셋을 사용하여 진행했습니다. 알려진 클래스 분류 정확도와 새로운 클래스 감지에 대한 정밀도 (precision), 재현율 (recall)을 측정한 결과, 모든 경우에 ACORN이 경쟁 방법에 비해 좋은 성능을 보였습니다.
그림 3. ACORN과 경쟁 방법들의 열린 집합 인지 (open-set recognition) 성능 비교.

두번째 실험은 전처리 과정을 통해 생성된 특징 벡터가 모델의 성능을 높이는데 기여하는지 확인하는 것입니다. 표 1은 추출된 특징 벡터 조합에 따른 알려진 클래스 분류 정확도를 보여줍니다. CMD 특징 벡터와 ADDRESS 특징 벡터를 모두 사용할 때 가장 좋은 성능을 보이고, 이는 특징 벡터가 효과적으로 생성됨을 의미합니다.
표 1. CMD 특징 벡터와 ADDRESS 특징 벡터 조합에 따른 알려진 클래스 분류 성능 비교.

Conclusion

본 문서에서는 Arxiv에 게재된 Accurate Open-set Recognition for Memory Workload 논문을 소개하였습니다. 해당 논문은 워크로드 시퀀스에 대하여 열린 집합 인지 (open-set recognition)를 정확히 수행하는 모델인 ACORN (ACcurate Open-set recognition method for woRkload sequeNces)을 제안하였습니다. ACORN은 실세계 워크로드 데이터에서 경쟁 방법들보다 더 정확하게 알려진 클래스 분류와 새로운 클래스 감지를 수행했습니다. 본 논문은 메모리 장치의 품질을 검증하고 개선하는 분야에서 유용하게 활용될 수 있습니다. 또한, 악성 코드 검출과 같이 이상치 탐지 분야로의 확장도 고려할 수 있습니다. 본 논문에 대한 더 자세한 정보는 다음 링크에서 확인할 수 있습니다 (링크).