[https://arxiv.org/abs/2305.13731]
논문 요약
문제 정의
순차 추천 시스템은 사용자의 역사적 상호작용을 시간 순서대로 모델링하여 사용자가 관심을 가질만한 아이템을 추천하는 것을 목표로 합니다. 기존의 방법들은 명시적인 아이템 ID나 일반적인 텍스트 특징을 사용하여 시퀀스를 모델링하지만, 차가운 시작(cold-start) 아이템을 모델링하거나 새로운 데이터셋으로 지식을 전이하는 데 어려움을 겪습니다.
해결하려는 문제
기존의 추천 시스템은 새로운 아이템(차가운 시작 아이템)이나 새로운 데이터셋에 적응하는 데 어려움을 겪습니다. 이러한 문제는 아이템을 고유 ID로만 인식하여 모델이 학습된 지식을 새로운 상황에 적용하기 어렵게 만듭니다.
제안하는 방법
논문에서는 사용자 선호도와 아이템 특징을 언어 표현으로 모델링하여 새로운 아이템과 데이터셋에도 일반화할 수 있는 방법을 제안합니다. 이를 위해 Recformer라는 새로운 프레임워크를 제시하였으며, 아이템을 텍스트로 된 “문장”으로 표현하고, 사용자 시퀀스를 문장들의 시퀀스로 변환하여 모델링합니다. Recformer는 Longformer 구조를 기반으로 한 양방향 Transformer 모델을 사용하여 아이템 시퀀스를 인코딩합니다. 또한, 효과적인 표현 학습을 위해 언어 이해와 추천 작업을 결합한 새로운 사전 학습 및 미세 조정 방법을 제안합니다.
방법론
- 아이템 표현: 아이템의 키-값 쌍 속성을 문장으로 평탄화하여 아이템 시퀀스를 문장 시퀀스로 변환합니다.
- 모델 구조: Longformer를 기반으로 한 양방향 Transformer 구조를 사용하여 아이템 시퀀스를 인코딩합니다.
- 학습 프레임워크: 언어 이해와 추천 작업을 결합하여 사전 학습을 수행하고, 두 단계의 미세 조정 방법을 통해 모델을 최적화합니다.
결과
6개의 실제 데이터셋을 사용한 실험에서 Recformer는 순차 추천에 효과적이며, 특히 저자원 및 차가운 시작 설정에서 우수한 성능을 보였습니다. Recformer는 완전 감독 및 제로샷 순차 추천 설정에서 각각 15.83%와 39.78%의 성능 향상을 보였습니다.
한계점
- 데이터셋 의존성: 사전 학습된 언어 모델은 일반적인 언어 코퍼스(예: Wikipedia)에서 학습되었기 때문에 아이템 텍스트와의 도메인 차이가 존재할 수 있습니다.
- 세밀한 사용자 선호도 학습의 한계: 사전 학습된 언어 모델은 문장 수준의 특징만 제공할 수 있으며, 세밀한(단어 수준의) 사용자 선호도를 학습하는 데 한계가 있습니다.
- 학습 단계와 성능 간의 관계: 사전 학습 단계가 지나치게 길어지면 다운스트림 작업에서의 성능 전이 가능성이 저하될 수 있습니다.