Co-clustering for Federated Recommender System - 리뷰

https://dl.acm.org/doi/10.1145/3589334.3645626

Co-clustering for Federated Recommender System | Proceedings of the ACM on Web Conference 2024

 

 

논문 요약 및 분석

문제 정의

이 논문은 연합 추천 시스템(Federated Recommender System, FRS)에서의 프라이버시 보호와 데이터 이질성을 해결하기 위한 새로운 접근법을 제안합니다. 기존의 중앙집중형 추천 시스템은 많은 사용자 데이터를 중앙 서버에 통합하여 처리하는 반면, FRS는 사용자 데이터를 로컬에서 처리하고 필요한 모델 업데이트만 중앙 서버로 전송하여 개인 정보를 보호합니다 .

연구 목표

연합 추천 시스템에서 데이터가 분산되어 있고 각 사용자에 대한 정보가 비일관적인 상황에서, 효과적인 추천을 제공하기 위한 사용자 및 아이템의 공동 클러스터링(co-clustering) 방법을 제안하는 것이 주요 목표입니다. 이를 통해 사용자의 데이터 특성에 맞는 맞춤형 추천을 강화하고, 프라이버시를 보호하면서도 협력적인 학습을 촉진하려고 합니다 .

사용한 방법

1. 사용자 공동 클러스터링(User Co-clustering): 사용자를 특정 아이템 카테고리별로 그룹화하여 비슷한 관심을 가진 사용자들끼리 클러스터를 형성합니다. 이를 통해 비슷한 취향을 가진 사용자들 간의 지식을 공유하고 개인화된 추천을 강화합니다 .
2. 로컬 감독 대조 학습(Local Supervised Contrastive Learning): 글로벌 아이템 통찰을 포함한 손실 함수를 로컬 학습 단계에 통합하여 아이템 간의 글로벌 관계를 고려합니다. 이를 통해 로컬 아이템 표현 학습을 향상시킵니다 .
3. 서버-클라이언트 업데이트 절차: 서버는 초기 글로벌 모델을 생성하고, 각 라운드에서 참여 클라이언트의 아이템 임베딩을 수집하여 글로벌 통합을 수행합니다. 이후, 사용자 클러스터링을 통해 그룹 특화 모델을 생성하고 이를 다시 클라이언트로 전송하여 로컬 업데이트를 수행합니다.

주요 결과

1. 성능 향상: CoFedRec 모델은 기존의 중앙집중형 방법 및 다른 연합 학습 모델보다 뛰어난 성능을 보였습니다. 특히 MovieLens-100K 및 MovieLens-1M 데이터셋에서 Hit Ratio (HR)와 Normalized Discounted Cumulative Gain (NDCG)에서 최고 점수를 기록하며, 우수한 성능을 입증했습니다 .
2. 일반화 가능성: 다양한 백본 모델과의 결합에서 일관된 성능 향상을 보였으며, 이는 CoFedRec 모델이 특정 로컬 모델에 의존하지 않고 광범위한 응용 가능성을 가짐을 시사합니다 .

한계점 및 향후 연구 방향

1. 고차원 데이터의 클러스터링 한계: K-Means와 같은 전형적인 클러스터링 방법은 고차원 데이터에서 효과적이지 않을 수 있으며, 이는 연합 추천 환경에서 데이터 포인트 간의 거리가 균등해지는 경향이 있기 때문입니다 .
2. 추가 연구 방향: 향후 연구에서는 더욱 발전된 백본 모델을 도입하고, 단일 통신 라운드에서 더 많은 아이템 카테고리를 고려한 네스티드 클라이언트 파티셔닝을 시도할 예정입니다. 이를 통해 CoFedRec의 적응성을 향상시킬 계획입니다 .

이 논문은 연합 추천 시스템에서 사용자 프라이버시를 보호하면서도 개별 사용자에게 최적화된 추천을 제공하는 데 중요한 기여를 합니다. 공동 클러스터링과 감독 대조 학습의 결합을 통해, 연합 학습의 한계를 극복하고 성능을 극대화하는 방안을 제시했습니다.

사용한 방법?

1. 사용자 공동 클러스터링 (User Co-clustering)

과정 설명

1. 아이템 카테고리 선택:
   • 각 통신 라운드마다, 서버는 특정 아이템 카테고리를 선택합니다. 예를 들어, 영화 추천 시스템에서 "코미디"라는 카테고리가 선택될 수 있습니다.
2. 사용자-아이템 네트워크 생성:
   • 각 사용자 클라이언트는 자신이 평가하거나 상호작용한 아이템에 대한 정보를 서버에 전송합니다. 이러한 정보는 사용자가 특정 아이템에 대해 가지는 선호도를 나타내는 벡터로 표현됩니다.
3. 유사도 계산:
   • 서버는 선택된 아이템 카테고리에 대해 모든 사용자 클라이언트의 유사도를 계산합니다. 여기서 사용된 유사도 척도는 코사인 유사도입니다. 코사인 유사도는 두 벡터 사이의 각도를 측정하여 유사도를 판단합니다. 예를 들어, 두 사용자가 동일한 영화 카테고리에 대해 비슷한 평가를 했다면, 그들의 유사도는 높게 나올 것입니다.
4. 엘보우 기법(Elbow Method)을 이용한 그룹화:
   • 서버는 계산된 유사도를 바탕으로 유사도가 급격히 변하는 지점을 찾습니다. 이를 통해 사용자를 두 그룹으로 나눕니다: 유사 그룹과 비유사 그룹. 유사 그룹에 속하는 사용자는 해당 아이템 카테고리에 대해 비슷한 취향을 공유하는 사용자들로 구성됩니다.
5. 그룹 모델 생성:
   • 유사 그룹에 속하는 사용자들의 아이템 임베딩을 평균내어 그룹 모델을 생성합니다. 이 그룹 모델은 유사 그룹 사용자가 선호하는 아이템 특징을 종합적으로 나타냅니다.

목적

이 과정을 통해, 비슷한 취향을 가진 사용자들 간의 협력적 필터링을 강화하고, 개별 사용자에게 더 정확한 추천을 제공합니다. 이는 데이터의 비일관성을 줄이고, 노이즈를 최소화하여 더 나은 모델 성능을 제공합니다.

2. 로컬 감독 대조 학습 (Local Supervised Contrastive Learning)

과정 설명

1. 글로벌 아이템 임베딩:
   • 서버는 모든 사용자 클라이언트에서 수집된 아이템 임베딩을 통합하여 글로벌 아이템 임베딩을 생성합니다. 이는 각 아이템의 전반적인 특징을 나타냅니다.
2. 아이템 클러스터링:
   • 글로벌 아이템 임베딩을 K-Means 알고리즘을 이용해 클러스터링합니다. 이를 통해 아이템을 여러 카테고리로 분류하고, 각 카테고리에 속한 아이템들을 그룹화합니다.
3. 로컬 학습 강화:
   • 클라이언트는 로컬 학습 과정에서 글로벌 클러스터 정보를 활용합니다. 감독 대조 학습(Supervised Contrastive Learning) 기법을 사용하여 같은 클러스터에 속한 아이템들을 가깝게, 다른 클러스터에 속한 아이템들을 멀리 두도록 학습합니다. 이는 아이템 간의 관계를 더 명확히 구분하고, 각 아이템의 특징을 명확히 합니다.

목적

글로벌 정보를 로컬 학습 과정에 통합함으로써, 사용자는 보다 풍부한 정보를 활용하여 개인화된 모델을 업데이트할 수 있습니다. 이는 단순한 로컬 정보만을 사용하는 것보다 더욱 정교한 추천을 가능하게 합니다.

3. 서버-클라이언트 업데이트 절차

과정 설명

1. 초기 글로벌 모델 생성:
   • 서버는 처음에 모든 클라이언트에서 수집된 데이터로 초기 글로벌 모델을 생성합니다. 이 모델은 모든 클라이언트에게 배포됩니다.
2. 통신 라운드:
   • 각 통신 라운드마다 서버는 랜덤으로 참여 클라이언트를 선택하여 업데이트를 요청합니다.
   • 클라이언트는 로컬에서 데이터를 이용해 모델을 학습하고, 학습된 모델의 업데이트를 서버에 전송합니다.
3. 글로벌 통합 및 업데이트:
   • 서버는 모든 클라이언트의 업데이트를 받아 글로벌 통합을 수행하고, 최신 글로벌 모델을 생성합니다.
   • 이 과정에서 클라이언트 간의 협력적 필터링 효과를 극대화하며, 최신 모델은 다시 클라이언트에게 배포됩니다.

목적

이 절차를 통해, 클라이언트 간의 데이터 공유 없이 협력적 학습을 수행하고, 각 클라이언트의 모델을 지속적으로 개선하여 최적의 추천 성능을 유지합니다.

이러한 방법들은 개인화된 추천을 제공하면서도 사용자 프라이버시를 보호하고, 분산된 데이터의 비일관성을 극복하기 위해 고안된 것입니다. 이로 인해 사용자에게 더욱 정확하고 관련성 높은 추천을 제공할 수 있습니다.

 

그럼 위 과정은 사용자의 특성을 반영해서 유사한 그룹들을 클러스터링하고, 그 클러스터링 마다 평균 그룹 모델을 생성하는거야?
그럼 많은 수의 모델이 생성되겠네?

네, 맞습니다. 논문에서 제안된 방법에서는 사용자들의 특성을 반영하여 유사한 그룹을 클러스터링하고, 각 그룹에 대해 평균 그룹 모델을 생성합니다. 이를 통해 유사한 취향을 가진 사용자들에게 더 맞춤화된 추천을 제공할 수 있습니다.

모델 생성 과정 설명

1. 유사 그룹 정의: 특정 아이템 카테고리에 대해 유사한 선호도를 가진 사용자들을 클러스터링합니다. 이 때, 코사인 유사도를 사용하여 유사성을 측정하고, 유사도가 높은 사용자들끼리 그룹을 형성합니다.
2. 그룹 모델 생성: 각 유사 그룹 내의 사용자들이 제공한 데이터를 기반으로 평균 그룹 모델을 생성합니다. 이는 그룹 내 모든 사용자의 모델 업데이트를 평균내어 계산되며, 해당 그룹의 대표 모델로 사용됩니다.

결과

이 방법은 통신 라운드마다 다수의 그룹 모델을 생성합니다. 각 라운드에서 선택된 특정 아이템 카테고리에 대해 유사한 사용자들만을 그룹화하고, 그에 맞는 그룹 모델을 생성하기 때문입니다.

이러한 접근 방식은 데이터의 비일관성을 줄이고, 개별 사용자의 특성을 보다 잘 반영할 수 있도록 설계되었습니다. 다수의 그룹 모델이 생성되지만, 각 모델은 특정 그룹에 맞춘 맞춤형 정보를 담고 있기 때문에, 전체 시스템의 성능을 향상시키는 데 기여합니다.

추가 설명

이 방식은 중앙에서 모든 데이터를 모아 하나의 모델을 학습하는 전통적인 방법과는 다릅니다. 대신, 여러 개의 그룹 모델을 생성하여 다양한 사용자 취향을 반영하고, 이를 통해 개인화된 추천을 강화하는 것이 목표입니다. 하지만, 여러 모델을 생성하고 관리해야 하기 때문에, 시스템 복잡성이 증가할 수 있습니다. 따라서, 이러한 방식은 계산 비용과 자원 관리 측면에서도 신중한 고려가 필요합니다.

 

그럼 여기선 모든 사용자들의 데이터를 가지고 글로벌 아이템 임베딩을 새롭게 생성하는 거네?
그리고 그 임베딩 내부에서 k-means를 통해 클러스터링하고, 그 결과를 통해 카테고리를 분류하는거고.
그럼 로컬 학습 과정에선 이 클러스터를 통해 1번에서 생성한 각각의 모델을 대조적으로 학습하도록 만드는거야...?

맞습니다. 논문에서 제안된 방법은 다음과 같은 절차를 통해 글로벌 아이템 임베딩과 클러스터를 생성하고, 이를 로컬 학습에 활용합니다.

1. 글로벌 아이템 임베딩 생성

서버는 모든 사용자 클라이언트에서 수집된 아이템 임베딩을 통합하여 글로벌 아이템 임베딩을 생성합니다. 여기서 아이템 임베딩은 각 아이템의 특징을 벡터 형태로 표현한 것입니다. 이러한 글로벌 임베딩은 각 아이템에 대한 전반적인 특징을 나타내며, 전체 사용자의 선호도나 상호작용 데이터를 반영합니다.

2. 아이템 클러스터링

글로벌 아이템 임베딩을 바탕으로 K-Means 알고리즘을 사용하여 아이템들을 여러 클러스터로 그룹화합니다. K-Means는 주어진 데이터 포인트를 k개의 클러스터로 나누는 비지도 학습 알고리즘으로, 여기서는 아이템을 유사한 특성을 가진 그룹으로 분류하는 데 사용됩니다. 이 과정을 통해 아이템들은 특정 카테고리(예: 장르)로 분류됩니다.

3. 로컬 학습 과정에서의 대조 학습

클라이언트는 로컬 학습 과정에서 글로벌 클러스터 정보를 활용합니다. 여기서 감독 대조 학습(Supervised Contrastive Learning) 기법이 사용됩니다. 이 기법은 다음과 같은 방법으로 동작합니다:

• 양성 쌍(Positive Pairs): 같은 클러스터에 속한 아이템들. 예를 들어, 같은 장르의 영화들.
• 음성 쌍(Negative Pairs): 다른 클러스터에 속한 아이템들. 예를 들어, 서로 다른 장르의 영화들.

로컬 학습 시, 클라이언트는 같은 클러스터에 속한 아이템들을 가깝게 학습하고, 다른 클러스터에 속한 아이템들은 멀어지도록 학습합니다. 이는 클라이언트가 아이템 간의 관계를 명확히 구분하도록 돕고, 로컬 모델이 글로벌 정보를 더 잘 반영할 수 있도록 합니다.

요약

이 방식은 글로벌 아이템 임베딩을 생성하고, 이를 바탕으로 아이템 클러스터링을 수행하여 아이템을 여러 카테고리로 나눈 후, 각 클라이언트가 로컬 학습 과정에서 이 정보를 활용해 대조적으로 학습하도록 합니다. 이를 통해 각 사용자의 로컬 모델이 보다 정교하게 학습되고, 전반적인 추천 성능을 향상시킬 수 있습니다.

 

그럼 이 과정에서는 글로벌 모델을 생성한 후 사용자의 데이터를 통해 로컬에서 업데이트 후 이 정보를 서버에 보내서 서버의 모델을 변경하는거야?
그럼 그 글로벌 모델을 통해 아까 진행했던 클러스터링을 진행하여 각각의 선호도에 맞는 사용자의 모델이 만들어지고, 그 모델을 통해 추천을 진행하는거야?

네, 정확히 이해하셨습니다. 논문에서 설명하는 과정은 연합 학습(federated learning) 기반의 시스템으로, 글로벌 모델과 로컬 모델을 함께 사용하여 사용자 개인화 추천을 최적화합니다. 이 과정은 다음과 같이 진행됩니다:

1. 초기 글로벌 모델 생성

서버는 초기 통신 라운드에서 각 클라이언트로부터 아이템 임베딩을 수집하여 초기 글로벌 모델을 생성합니다. 이 글로벌 모델은 초기 상태에서 모든 클라이언트에게 공통으로 배포됩니다.

2. 로컬 학습 및 업데이트

클라이언트는 자신의 로컬 데이터(즉, 사용자의 개인 데이터)를 사용하여 로컬 모델을 학습합니다. 로컬 학습 과정에서는 로컬 데이터에 맞춰 글로벌 모델을 업데이트하고, 이 과정에서 로컬 감독 대조 학습(Supervised Contrastive Learning) 을 통해 글로벌 클러스터 정보를 반영하여 더욱 정교한 학습이 이루어집니다.

3. 글로벌 통합 및 재생성

로컬 학습이 완료된 후, 각 클라이언트는 학습된 로컬 모델의 업데이트(즉, 모델 가중치 변화)를 서버에 전송합니다. 서버는 이러한 업데이트를 통합하여 최신 글로벌 모델을 생성합니다. 이 최신 글로벌 모델은 다시 모든 클라이언트에게 배포되어 다음 라운드에서 사용됩니다.

4. 클러스터링 및 그룹 모델 생성

서버는 최신 글로벌 모델을 기반으로 글로벌 아이템 임베딩을 재생성하고, 이를 통해 K-Means 클러스터링을 수행하여 아이템을 여러 카테고리로 분류합니다. 이 클러스터링 결과를 통해 사용자들의 선호도에 맞는 클러스터가 형성되고, 해당 클러스터에 속한 사용자들의 그룹 모델이 생성됩니다. 그룹 모델은 유사한 취향을 가진 사용자들로부터 수집된 정보를 종합하여 만들어지며, 각 클라이언트는 해당 그룹 모델을 활용하여 개인화된 추천을 받습니다.

5. 추천 및 개선

각 클라이언트는 최종적으로 얻어진 로컬 모델과 그룹 모델을 기반으로 사용자에게 맞춤형 추천을 제공합니다. 이는 클라이언트 간의 데이터를 공유하지 않고도 개별 사용자의 특성을 반영한 추천을 가능하게 합니다. 또한, 통신 라운드가 반복될수록 글로벌 모델과 로컬 모델이 점점 더 개선되어 더욱 정확한 추천이 이루어집니다.

전문가적 분석

이 방법론은 연합 학습의 장점을 극대화하여 데이터 프라이버시를 보호하면서도 개인화된 추천을 최적화하는 것을 목표로 합니다. 각 클라이언트의 데이터는 로컬에서 처리되고, 서버에는 모델 업데이트 정보만 전송되기 때문에, 데이터 유출의 위험이 적습니다. 또한, 클라이언트 간의 데이터 이질성을 고려한 클러스터링 및 그룹 모델 생성은 협력적 필터링의 효과를 강화하여 사용자 경험을 극대화할 수 있습니다. 이러한 접근법은 개인화된 추천 시스템의 한계를 극복하고, 다양한 사용자의 취향을 정확하게 반영할 수 있는 강력한 방법입니다.

 

여기 로컬 감독 대조 학습 쪽이 잘 이해가 안가네

로컬 감독 대조 학습 (Local Supervised Contrastive Learning)

로컬 감독 대조 학습은 머신 러닝에서 최근 각광받고 있는 대조 학습(Contrastive Learning)의 한 종류입니다. 이 기법은 학습 데이터 간의 유사성과 차이점을 명확히 구분하여 모델의 표현 능력을 향상시키는 데 사용됩니다. 여기서는 연합 학습 환경에서 사용자 개인화 모델을 학습하는 과정에서 사용됩니다.

기초 개념 이해

1. 대조 학습(Contrastive Learning):
   • 대조 학습은 데이터 쌍(positive pair와 negative pair)을 이용하여 모델이 유사한 데이터는 가깝게, 다른 데이터는 멀리 위치시키도록 학습하는 기법입니다.
   • Positive pair는 서로 비슷한 데이터, negative pair는 서로 다른 데이터를 의미합니다. 예를 들어, 같은 영화 장르에 속하는 영화들이 positive pair가 될 수 있습니다.
2. 감독 대조 학습(Supervised Contrastive Learning):
   • 대조 학습의 한 형태로, 데이터를 레이블로 구분하여 positive pair와 negative pair를 구분합니다.
   • 같은 레이블(예: 같은 장르의 영화)에 속하는 데이터들은 positive pair로, 다른 레이블에 속하는 데이터들은 negative pair로 정의됩니다.

로컬 감독 대조 학습의 과정

1. 글로벌 클러스터 정보 활용:
   • 먼저, 서버는 글로벌 모델을 통해 모든 아이템을 클러스터링하여 여러 카테고리로 분류합니다. 예를 들어, 영화 데이터라면 코미디, 드라마, 액션 등으로 분류할 수 있습니다.
   • 이 클러스터링 정보는 모든 클라이언트에게 전달되며, 각 클라이언트는 자신이 가진 로컬 데이터에서 어떤 아이템이 어느 클러스터에 속하는지 알게 됩니다.
2. 로컬 데이터 학습:
   • 클라이언트는 자신의 로컬 데이터를 사용하여 로컬 모델을 학습합니다. 이때, 로컬 감독 대조 학습을 통해 같은 클러스터에 속하는 아이템은 가깝게, 다른 클러스터에 속하는 아이템은 멀리 위치시키도록 학습합니다.
   • 예를 들어, A 사용자가 코미디 영화와 드라마 영화를 선호한다면, 로컬 모델은 코미디 영화 간의 거리를 가깝게, 코미디와 드라마 영화 간의 거리를 적절히 유지하며 학습됩니다.
3. 손실 함수의 구성:
   • 로컬 학습에서는 일반적인 예측 오류를 최소화하는 손실 함수에 더해, 대조 학습을 위한 추가적인 손실 항이 포함됩니다.
   • 감독 대조 손실(Supervised Contrastive Loss) 항은 같은 클러스터에 속하는 아이템들 간의 유사도를 높이고, 다른 클러스터 간의 유사도를 낮추는 방향으로 작용합니다.

학습의 효과

• 개인화 강화: 로컬 데이터에 맞춘 감독 대조 학습은 사용자의 개인화된 선호도를 더욱 잘 반영할 수 있도록 돕습니다. 같은 클러스터에 속한 아이템을 더 잘 구별하고, 사용자가 좋아할 가능성이 높은 아이템을 더 정확하게 추천할 수 있습니다.
• 정보 손실 방지: 글로벌 클러스터 정보를 활용함으로써, 로컬 데이터만으로는 파악하기 어려운 전반적인 아이템 간 관계를 유지할 수 있습니다. 이는 글로벌 아이템 클러스터 정보를 로컬 학습에 통합하여 모델이 다양한 아이템 간의 관계를 이해하도록 돕습니다.

이러한 로컬 감독 대조 학습은 연합 학습 환경에서 각 클라이언트의 데이터에 대한 개별적인 모델 성능을 높이고, 사용자 맞춤형 추천을 개선하는 데 중요한 역할을 합니다. 이를 통해 데이터의 분산성과 비일관성을 극복하고, 높은 수준의 추천 정확도를 달성할 수 있습니다.