본 문서에서는 CIKM 2025 학회에서 발표될 "Entity-Aware Generative Retrieval for Personalized Contexts" 논문을 소개합니다. 논문에 대한 상세한 정보는 다음과 같습니다.
- Title: Entity-Aware Generative Retrieval for Personalized Contexts
- Authors: Jihyeong Jeon, Jiwon Lee, Cheol Ryu, and U Kang
- Conference: The 34th ACM International Conference on Information and Knowledge Management
Personalized Information Retrieval
개인화 정보 검색(Personalized Information Retrieval, PIR)은 “어제 친구와 식사한 레스토랑 이름이 뭐였지?”처럼, 어떤 친구를 가리키는지 혹은 구체적으로 어느 시점을 의미하는지 모호한 표현이 포함된 질문에 대해, 관련 문서를 정확히 찾아내는 문제를 다룹니다.
하지만 기존 정보 검색(Information Retrieval) 기법에서 널리 사용된 BM25 같은 희소 검색(Sparse Retrieval)이나 Dense Retriever는 단어 일치나 임베딩 유사도에만 의존하기 때문에, 애칭·개인 장소·시간 표현 등 사용자 고유의 맥락을 처리하는 데 한계가 있습니다. 최근 생성 기반 검색(Generative Retrieval) 기법이 주목받고 있지만, 이 역시 엔티티 모호성(Entity Ambiguity)과 개인화 문제를 충분히 해결하지는 못했습니다.
본 논문에서는 이러한 “사용자의 질문에 모호성이 포함되어 있을 때도 어떻게 관련 문서를 정확히 찾을 수 있을까?”라는 물음에 답하기 위한 새로운 모델 구조를 제안합니다.
Proposed Method
본 논문에서는 PEARL (Personalized Entity-Aware Generative RetrievaL)이라는 엔티티 인식 기반(Personalized Entity-Aware) 생성 검색(Generative Retrieval) 기법을 제안합니다. Figure 2는 PEARL의 전체적인 구조를 보여주며, 질의와 문서를 엔티티 단위로 변환하고, 대조 학습과 데이터 다양화를 통해 개인화된 모호한 검색 상황에서도 정확한 검색을 가능하게 함을 나타냅니다.
PEARL의 개요
a) 문서를 자연어화(verbalization)하여 계층적 식별자(prefix-tree)로 변환
b) 질의와 문서를 엔티티 단위로 주석(annotation) 처리
c) 부정 샘플링을 통한 Trie 기반 대조 학습
d) 동일 엔티티 타입 교환(transposition)을 통한 문맥 다양화
본 연구의 핵심 과제와 아이디어는 다음의 세 가지 측면으로 요약됩니다.
Semantic Expansion with Annotation (엔티티 주석을 통한 의미 확장)
개인화 질의에는 흔히 사용자만 이해할 수 있는 표현이 등장합니다. 예를 들어, “Jellybean”이란 단어가 가족의 애칭일 수도 있고, 반려동물의 이름일 수도 있으며, 특정 가게의 이름일 수도 있습니다. 기존 검색 모델은 이런 단어를 “일반 명사” 수준에서만 처리하기 때문에, 문맥을 잘못 이해하고 엉뚱한 결과를 반환하기 쉽습니다.
PEARL은 이러한 문제를 해결하기 위해 NER 모델을 활용하여 질의와 문서에 엔티티 태그를 주석(annotation)하는 방식을 도입합니다. 사람 이름은 <PER>, 장소는 <LOC>, 이벤트는 <EVT>, 시간은 <TIM>처럼 구체적으로 표시하는 것입니다.
-
원문 질의: “When is the dinner with Jellybean at her favorite place?”
-
변환 후: “When is the <EVT> dinner </EVT> with <PER> Jellybean </PER> at <LOC> her favorite place </LOC> ?”
이 과정을 통해 모델은 단어 그 자체보다는 단어가 맡고 있는 의미적 역할(예: 사람, 장소, 시간)을 이해할 수 있게 됩니다.
여기서 한 단계 더 나아가, PEARL은 학습 과정에서 Entity-Span Regularization을 적용합니다. 이는 모델이 특정 엔티티(예: “Jellybean”)에만 과도하게 집중하지 않고, 주변 맥락까지 함께 고려하도록 유도하는 정규화 기법입니다. 즉, “Jellybean”이라는 단어 하나에 의존하는 것이 아니라, “저녁 식사”, “좋아하는 장소”라는 주변 정보와 함께 이해하도록 만드는 것입니다.
이 방식은 기존 검색 모델들이 빠지기 쉬운 표면적 단어 의존성 문제를 줄이고, 보다 구조적이고 일반화 가능한 의미 표현을 학습할 수 있게 해줍니다.
Hard-Negative Prefix Contrastive Learning (Trie 기반 부정 대조 학습)
개인화 검색에서는 질의와 문서의 구조는 비슷하지만 의미는 전혀 다른 경우가 자주 발생합니다. 예를 들어:
-
질의: “When did I meet Mr. J at school?”
-
정답 문서: “School Project Meeting at Mr. Johnson’s Office”
-
혼동 문서(하드 네거티브): “Orientation with Mr. Jackson at HQ Office”
위 예시에서 두 문서 모두 사람 + 장소라는 유사한 구조를 가지고 있지만, 실제 의미는 완전히 다릅니다. 기존의 단순한 생성 기반 학습이나 단어 임베딩 유사도 기반 학습은 이런 차이를 구분하는 데 어려움을 겪습니다.
PEARL은 이를 해결하기 위해 프리픽스 트리(prefix-tree) 기반의 문서 식별자를 활용합니다. 각 문서에는 계층적 의미를 반영한 식별자(ID)가 부여되며, 이 ID들은 공통된 경로(prefix)를 공유하다가 특정 지점에서 갈라집니다. 예를 들어, Johnson 관련 문서와 Jackson 관련 문서는 초반 몇 단계는 동일하지만, 후반부에서 분기합니다.
PEARL은 이 트리 구조를 활용해 하드 네거티브 샘플 (부정 샘플)을 효과적으로 뽑아냅니다. 즉, 표면적으로는 매우 유사해 보이지만, 실제로는 다른 의미를 가진 문서를 의도적으로 대비시켜 학습시키는 것입니다.
또한 PEARL은 단순 텍스트 임베딩이 아니라 엔티티 구조 정보가 반영된 임베딩을 사용합니다. 즉, 문장 전체의 의미뿐만 아니라, 문장 속 엔티티들의 역할과 배치까지 고려하여 임베딩을 형성합니다. 이를 통해 모델은 “비슷한 구조”와 “다른 의미”를 동시에 구별할 수 있는 능력을 얻게 됩니다.
결과적으로, 이 기법은 모델이 모호한 엔티티를 단순히 비슷한 단어로 치환하는 오류를 줄이고, 실제 의미적 일치 여부를 더 정확히 판단하도록 돕습니다.
Context Diversification via Transposition (전치 기반 문맥 다양화)
마지막으로, PEARL은 같은 의미를 다른 표현으로 말하는 경우에 대응하기 위해 문맥 다양화를 도입합니다. 사람들은 동일한 의미를 다양한 방식으로 표현합니다. 예를 들어:
- “What is my sister’s email?”
- “What is my sibling’s email?”
두 질의는 사실상 같은 질문이지만, 단어가 다르기 때문에 단순한 키워드 매칭이나 일반적인 임베딩 기반 검색 모델은 이를 별개로 취급할 수 있습니다.
PEARL은 이 문제를 해결하기 위해 Transposition(전치)이라는 데이터 증강 방식을 활용합니다. 구체적으로는, 질의와 문서에서 동일한 타입의 엔티티(예: <PER>, <LOC>)를 서로 바꿔치기하여 새로운 학습 샘플을 만듭니다. 예를 들어,
질의에 있던 <PER> Sister </PER>와 문서에 있던 <PER> Sibling </PER>를 서로 교환하여 새로운 질의-문서 쌍을 생성합니다.
이렇게 하면 학습 데이터는 같은 의미를 가지지만 표현은 다양한 예시들로 풍부해집니다. 모델은 학습 과정에서 이런 변형들을 반복적으로 접하면서, 결국 같은 의미를 가진 다양한 표현을 동일하게 인식할 수 있는 능력을 얻게 됩니다.
이는 실제 개인화 검색에서 매우 중요한데, 사용자가 같은 질문을 매번 똑같은 방식으로 표현하지 않기 때문입니다. 예를 들어 어떤 날은 “Mom”이라 하고, 다른 날은 “Ma”이라고 부를 수도 있습니다. PEARL의 문맥 다양화 기법은 바로 이런 표현 차이에 강건하게 대응할 수 있도록 모델을 훈련시킵니다. 그림 4. 전치 기반 문맥 다양화의 예시
그림 4. 전치 기반 문맥 다양화의 예시
Experiments
PEARL의 성능을 검증하기 위해 저자들은 기존의 전통적 검색 기법(Sparse retrieval, Dense retrieval)뿐만 아니라 최근 주목받고 있는 생성 기반 검색(Generative retrieval)과도 포괄적으로 비교 실험을 수행하였습니다. 특히, 개인화된 모호한 질의 상황을 충분히 반영할 수 있도록 새로운 데이터셋을 설계하고 다양한 지표로 평가를 진행하였습니다.
우선, 평가에는 두 가지 데이터셋이 사용됩니다. 첫 번째는 LiHuaWorld로, 기존 연구에서 자주 사용되는 퍼블릭 개인화 검색 벤치마크입니다. 두 번째는 본 논문에서 새롭게 구축한 PAIR (Personalized Ambiguous Information Retrieval) 데이터셋으로, 실제 사용자가 질의하는 상황에 가까운 모호한 표현, 애칭, 시간·장소 참조 등이 풍부하게 포함되어 있습니다. PAIR 데이터셋은 다양한 사용자 맥락을 포함하여 엔티티 인식 기반 검색 기법의 장점을 효과적으로 검증할 수 있는 환경을 제공합니다.
평가 지표로는 검색 성능을 정량적으로 나타내는 Hits@k와 MRR@10 (Mean Reciprocal Rank at 10)가 사용되었습니다. Hits@k는 올바른 문서가 상위 k개 후보 안에 포함되는지를 측정하며, MRR@10은 정답 문서가 상위 10개 결과 중 몇 번째에 위치하는지를 반영하여 모델이 얼마나 정확하게 문서를 평가하는지를 보여줍니다.
표 1은 다양한 기법들을 비교한 PEARL의 성능 결과를 요약한 것입니다. 표에서 볼 수 있듯이, PEARL은 Sparse Retriever (BM25)나 Dense Retriever (DPR, ANCE 등)와 비교했을 때 일관되게 높은 성능을 기록하였습니다. 더 나아가 최근 각광받고 있는 Generative Retrieval 계열(DSI, NCI 등)보다도 성능이 향상되었음을 확인할 수 있습니다. 특히, Hits@1과 MRR@10 지표에서 PEARL은 두 데이터셋 모두에서 최고 성능을 기록하여, 개인화 검색 시 발생하는 엔티티 모호성을 효과적으로 해결함을 입증했습니다.
저자들은 또한 ablation study를 통해 각 구성 요소의 기여도를 정량적으로 분석하였습니다. 표 2는 엔티티 주석(EMR), Trie 기반 대조 학습(PCL), 문맥 다양화(CDT) 모듈을 제거했을 때 성능이 어떻게 변화하는지를 보여줍니다. 결과는 명확합니다. 세 모듈 중 하나라도 제거하면 성능이 유의미하게 저하되며, 세 가지가 결합될 때 비로소 최적의 성능이 발휘됩니다. 이는 PEARL의 설계가 단일 기법의 단순 결합이 아니라, 상호 보완적인 효과를 발휘하도록 정교하게 설계되었음을 의미합니다.
마지막으로, 그림 5는 PEARL의 하이퍼파라미터 민감도 분석 결과를 보여줍니다. 저자들은 네 가지 주요 하이퍼파라미터, 즉 엔티티 스팬 질량 정규화의 임계값(𝛿), 엔티티-구조 임베딩의 가중치(𝛾), 엔티티 정규화 손실 항의 가중치(𝜆₁), 그리고 프리픽스 대조 손실의 가중치(𝜆₂)에 대해 모델 성능 변화를 측정하였습니다. 분석 결과, 네 파라미터 모두 일정한 범위 내에서는 성능 변동이 거의 없었으며, Hits@1과 Hits@5 지표가 안정적으로 유지되었습니다. 특히 𝛿=5×10⁻³, 𝛾=0.5, 𝜆₁=𝜆₂=1.0 근처에서 가장 일관되고 우수한 성능을 보였으며, 이는 기본 설정값으로 채택되었습니다. 이러한 결과는 PEARL이 하이퍼파라미터 설정에 크게 의존하지 않고 견고하게 작동함을 보여줍니다. 따라서 실제 응용 환경에서도 파라미터 조정에 대한 부담을 줄이고 안정적인 검색 성능을 제공할 수 있다는 점에서 중요한 의미를 가집니다.
Conclusion
본 문서에서는 CIKM 2025에 발표된 “PEARL: Entity-Aware Generative Retrieval for Personalized Contexts” 논문을 소개하였습니다. PEARL은 개인화 검색에서 가장 큰 난제인 모호한 엔티티 참조 문제를 해결하기 위해 제안된 새로운 접근법입니다. 기존의 희소/밀집 검색 모델이나 생성 기반 검색 모델은 사용자의 맥락에 의존하는 모호한 표현을 효과적으로 처리하지 못했지만, PEARL은 이를 세 가지 아이디어로 극복합니다.
첫째, 엔티티 주석을 통한 의미 확장을 통해 질의와 문서에 엔티티 주석을 추가하여 구조적 의미를 학습할 수 있도록 하였습니다. 둘째, Trie 기반 부정 대조 학습을 통해 표면적으로는 유사하지만 실제로는 다른 문서들을 구분할 수 있게 하였습니다. 셋째, 전치 기반 문맥 다양화을 통해 동일 의미의 다양한 표현에 강건한 모델을 만들었습니다. 실험 결과, PEARL은 LiHuaWorld와 새롭게 구축된 PAIR 데이터셋 모두에서 Hits@1과 MRR@10 기준으로 최고 성능을 달성하였으며, ablation 실험을 통해 세 가지 모듈이 모두 필수적임을 증명했습니다.
궁극적으로, PEARL은 개인 비서 서비스(예: 일정 관리, 메시지 검색), 프라이빗 검색 엔진, 디지털 메모리 시스템 등 사용자 고유 맥락을 필요로 하는 응용 분야에서 큰 잠재적 가치를 지닙니다. 본 논문은 개인화 검색의 난제를 해결하기 위한 중요한 이정표가 될 것이며, 향후 연구자와 산업계 모두에 깊은 영감을 줄 수 있을 것으로 기대됩니다.
본 논문에 대한 자세한 정보는 [링크]에서 확인할 수 있습니다.