본 문서에서는 2022년 CIKM 학회에서 발표된 "Accurate Action Recommendation for Smart Home via Two-Level Encoders and Commonsense Knowledge" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다.
- Title: Accurate Action Recommendation for Smart Home via Two-Level Encoders and Commonsense Knowledge
- Authors: Hyunsik Jeon, Jongjin Kim, Hoyoung Yoon, Jaeri Lee, and U Kang
- Conference: ACM International Conference on Information and Knowledge Management (CIKM) 2022
Action Recommendation for Smart Home
추천 시스템 (recommender system)은 수많은 아이템 중 각 사용자에게 적합한 일부의 아이템을 선별해주는 것을 목표로 합니다. 이는 사용자에게 편의를 제공하여 만족도를 향상시키고, 장기적으로 판매자의 수익을 증가시키기 때문에 다양한 온라인 플랫폼에서 필수적입니다. 예를 들어 아마존, 유튜브, 넷플릭스, 스포티파이 등의 온라인 플랫폼에서는 추천 시스템을 적극적으로 활용하여 큰 수익을 창출하고 있습니다.
한편, 행동 추천 시스템 (action recommender system)은 스마트 홈 (smart home)에 있어서 필수적입니다. 이는 일반적인 추천 시스템과 다르게 사용자의 행동을 돕는데에 초점이 맞춰져 있습니다. 예를 들어 사용자가 가스 밸브를 잠그는 것과 같이 중요한 행동을 잊었을 때 이를 추천하여 사용자의 안전을 확보하고, 사용자가 매번 알람을 맞추는 것과 같이 성가신 행동을 할 때 이를 추천하여 사용자의 귀찮음을 덜어줍니다. 정확한 행동 추천 시스템은 가상 비서 (virtual assistant)나 IoT (Internet of Things) 시장에서 잠재적으로 큰 영향력을 지니고 있습니다.
본 논문에서는 스마트 홈을 위한 행동 추천 (action recommendation for smart home) 문제를 다룹니다. 구체적인 문제 정의는 다음과 같고, 그림 1에서 예시화 합니다.
- t 시점 이전의 사용자의 순차적인 행동, t 시점의 시간 정보
- 각 행동은 기기 제어와 해당 시간 정보를 포함함
- t 시점에서의 기기 제어를 정확히 예측
그림 1. 스마트 홈을 위한 행동 추천 문제 정의.
Challenges
정확한 행동 추천 시스템을 고안하기 위해서는 다음과 같은 핵심 챌린지 세 가지를 고려해야 합니다.
1. 행동 내의 복잡한 상관 관계
사용자의 행동은 시간 정보와 기기 제어의 복잡한 상관 관계를 포함합니다. 예를 들어 사람들은 보통 주말 낮에 빨래를 하는데, 이는 그림 2와 같이 "주말 낮"이라는 시간 정보와 "세탁기 가동"이라는 기기 제어의 복잡한 상관 관계를 파악해야 합니다.
그림 2. 행동 내의 복잡한 상관 관계.
2. 과거 행동 및 현재 시간 정보 의존성
사용자의 현재 행동은 과거 다른 행동들에 대해 영향을 받습니다. 예를 들어 사용자들은 창문을 열기 전에 블라인드를 많이 열고 에어컨을 켜기 전에 창문을 많이 닫습니다. 한편, 사용자의 현재 행동은 현재 시간 정보에 대해서도 영향을 받습니다. 예를 들어 사용자들은 새벽에 에어컨을 많이 조작하고 낮에 블라인드나 커튼을 많이 조작합니다. 이처럼 사용자의 행동을 예측하기 위해서는 과거 행동과 현재 시간 정보에 대한 의존성을 모두 고려해야 합니다.
3. 변덕스러운 의도
사용자의 순차적 행동은 변덕스러운 의도를 포함합니다. 예를 들어 그림 3은 실제 스마트싱스 사용자의 순차적 행동을 보여줍니다. 사용자는 세탁과 관련된 행동을 하는 도중에 세탁과 관련 없는 행동들도 합니다. 일반적인 추천 모델은 연속된 행동들이 높은 연관성을 지니도록 학습되기 때문에, 이처럼 변덕스러운 의도를 가진 행동들은 행동 예측에 있어서 성능 하락을 가져올 수 있습니다.
그림 3. 변덕스러운 의도를 포함하는 일련의 행동들.
Proposed Method
본 논문에서는 사용자의 행동을 정확히 추천하는 모델인 SmartSense를 제안합니다. SmartSense의 핵심 아이디어는 다음과 같이 요약될 수 있습니다.
- SmartSense는 각 행동 내의 중요한 상관 관계를 파악하기 위해 자기 주의 (self-attention)와 쿼리 주의 (query-attention) 기능을 모델링합니다.
- SmartSense는 과거 행동 및 현재 시간 정보 의존성을 다루기 위해 자기 주의 (self-attention)와 문맥 주의 (context-attention) 기능을 모델링합니다.
- SmartSense는 기기 간의 유사성을 학습하기 위해 루틴 (routine)으로부터 지식을 전이합니다.
SmartSense의 전반적인 모델 구조는 그림 4와 같습니다.
그림 4. SmartSense의 전반적인 모델 구조.
SmartSense의 핵심 아이디어인 행동 인코더, 순차 인코더, 상식 전이 모듈에 대해 각각 간단히 설명합니다. 먼저 행동 인코더에 대해 간단히 알아보겠습니다. 각 행동은 기기, 기기 제어, 요일, 시간 정보로 표현됩니다. 자기 주의와 쿼리 주의 기능을 지닌 행동 인코더는 각 행동의 정보 벡터들을 종합하여 하나의 벡터로 인코딩합니다. 이때, 쿼리 주의 기능에 사용되는 쿼리 벡터는 각 행동에서 중요한 상관 관계를 찾아내는 역할을 하며, 이에 대한 사전 정보가 없기 때문에 모델 학습시 같이 학습됩니다. 액션 인코더의 구체적인 모델링 방식은 논문을 참고하시기 바랍니다.
다음으로 순차 인코더에 대해 간단히 알아보겠습니다. 행동 인코더에 의해 인코딩된 일련의 벡터들이 주어지면, 자기 주의와 문맥 주의 기능을 지닌 순차 인코더는 이를 종합하여 하나의 벡터로 인코딩합니다. 이때, 문맥 주의 기능에 사용되는 문맥 벡터는 예측 타겟 시점인 t 시점에 대해 중요한 정보를 찾아내는 역할을 하며, t 시점의 시간 정보에 대한 벡터를 사용합니다. 순차 인코더의 구체적인 모델링 방식은 논문을 참고하시기 바랍니다.
마지막으로 상식 전이 모듈에 대해 간단히 알아보겠습니다. 상식 전이 모듈은 기기 간의 유사성을 더 잘 학습하도록 합니다. 저자들은 이를 위해 루틴 데이터를 활용하는데, 루틴 데이터는 다양한 사용자들이 통일된 의도로 일련의 기기 제어를 모은 정보입니다. SmartSense는 같은 루틴 내의 기기가 비슷한 벡터를 갖도록 정규화 (regularization) 식을 제안합니다. 상식 전이에 대한 구체적인 식은 논문을 참고하시기 바랍니다.
Experiments
본 논문은 제안하는 모델의 우수성을 입증하기 위해 기존 기법들과 비교 실험 결과를 제시합니다. 표 1은 SmartSense와 경쟁 방법들의 행동 추천에 대한 성능을 비교합니다. 더 높은 수치일수록 더 좋은 성능을 의미합니다. 네 가지 데이터 세트에 대해 모두 SmartSense가 경쟁 방법들보다 좋은 성능을 보였고, 이는 SmartSense가 경쟁 방법들에 비해 행동 추천 문제가 갖는 챌린지를 더 잘 해결한다는 것을 의미합니다.
표 1. SmartSense와 경쟁 방법들의 성능 비교.
Conclusion
본 문서에서는 CIKM 22에서 발표된 Accurate Action Recommendation for Smart Home via Two-Level Encoders and Commonsense Knowledge 논문을 소개하였습니다. 해당 논문은 스마트 홈을 위해 정확하게 행동을 추천하는 SmartSense 모델을 제안하였습니다. SmartSense는 실세계 데이터에서 경쟁 방법들보다 더 정확하게 행동을 추천하였습니다. 본 논문은 실제 스마트 홈 환경에서 매우 유용하게 활용될 수 있습니다. 예를 들어 알렉사 (Alexa)나 시리 (Siri)와 같은 인공지능 비서에 적용되어 사용자가 귀가할 때나 취침할 때 적절한 행동을 미리 추천할 수 있습니다. 또한, 가정 뿐만 아니라 회사나 차량 등에 맞는 행동 추천 시스템으로의 확장도 고려할 수 있습니다. 이처럼 본 논문은 실세계 환경에서 정확한 행동을 추천하는데 활용될 수 있을 것으로 기대됩니다. 본 논문에 대한 더 자세한 정보는 다음 링크에서 확인할 수 있습니다 (링크).