model merging에는 학습 스텝마다, 아니면 언어 마다, task 마다 등등 다양하네요
모델의 성능을 보여줍니다.
다양한 모델중에서도 SOTA를 달성했으며 0.4B 모델도 gte-Qwen 7B 모델을 이기는 것을 보여준다.
영어, 중국어, 코드 모델에서도 강한 모습을 보여준다.
합성 데이터의 성과를 보여준다.
model merge도 단순해보이지만 성능 차이가 있었으며, 단순 합성 데이터 만으로도 성능 향상이 어려운 것을 보여준다.
📌 문제 상황
- 기존 embedding/reranking 모델은 instruction 이해력, 다국어 처리력, 다양한 task에 제한적 - GTE, BGE 등은 open-source weak data 중심으로 품질/다양성 한계 존재
🛠 방법론
3단계 multi-stage 학습 ① 약지도 학습: Qwen3-32B로 생성한 synthetic pair (retrieval, STS 등)로 학습 (~150M) ② 지도 학습: cosine sim > 0.7인 high-quality synthetic data + 실제 labeled 데이터 혼합 (~12M + 7M) ③ 모델 병합: 여러 checkpoint를 SLERP 방식으로 보간하여 일반화 성능 향상
📚 사용한 데이터셋
- Synthetic: Qwen3-32B 기반 생성 데이터 (retrieval, STS, classification, bitext mining) - Labeled: MS MARCO, NQ, HotpotQA, MIRACL, DuReader, T2Ranking, SimCLUE, Multi-CPR, Mr.TyDi, CodeSearchNet 등
🧠 모델 구조
- Embedding: Qwen3 LLM 기반, EOS token의 hidden state 사용 - Reranker: Chat template 기반 binary classification ("yes"/"no") - Instruction-aware, 다양한 사이즈 (0.6B / 4B / 8B)
⚙ 학습 방법
- Embedding: contrastive loss (InfoNCE 변형) - Reranker: supervised loss (binary classification log-likelihood) - Model merging: SLERP (spherical linear interpolation)으로 여러 checkpoint 병합
🧪 실험 벤치마크
- MTEB (English, Multilingual), CMTEB (Chinese), MTEB-Code, MMTEB, MLDR, FollowIR 등 총 216개 task
🏆 결과 요약
- Qwen3-Embedding-8B: MTEB-Multi 70.58, MTEB-Code 80.68 → SOTA 성능 - Reranker도 Jina, BGE, GTE 등을 능가하여 대부분 task에서 최고 성능
🧩 기여 요약
- LLM 기반 synthetic data로 약지도 학습을 수행한 instruction-aware embedding/reranking 모델 시리즈 제안 - data synthesis → fine-tuning → model merging으로 이어지는 효율적인 파이프라인 구축 - 모든 모델 (0.6B/4B/8B) Apache 2.0 오픈소스 공개
⚠️ 한계
- 일부 task (복잡한 instruction, long-context 등)에서 Gemini 등에 뒤처짐 - reranker는 weak supervision 없이 학습됨 - low-resource 언어 평가 제한적 - 고사양 8B 모델 추론 비용 부담
Representation Learning with Contrastive Predictive Coding
InfoNCE loss 기반 contrastive representation learning
Qwen3 임베딩 학습 objective의 이론적 기반으로 사용됨
3. 🔎 Reranking / Retrieval 관련 연구
논문 / 연구명
핵심 내용
Qwen3와의 관계
Dense Passage Retrieval (DPR)
Dense retriever 구조, passage와 query를 각각 임베딩하여 유사도 기반 검색
Qwen3도 이 구조를 따르며 embedding-based retrieval 실험 수행
RankVicuna / Zero-shot Reranking with LLMs
LLM 기반 zero-shot reranking 방식 제안
Qwen3 Reranker는 supervised tuning을 추가하여 성능을 개선
FollowIR
Instruction을 포함한 복잡한 질의에 대해 IR 모델이 따라야 하는 평가셋 제안
Qwen3 reranking 성능을 평가하는 주요 benchmark로 사용됨
mGTE
multilingual retrieval을 위한 long-context reranker 설계
Qwen3-Reranker 성능 비교 실험에서 주요 경쟁 baseline으로 사용됨
4. 🧪 평가 벤치마크 관련 연구
벤치마크
설명
논문에서의 역할
MTEB
다양한 NLP task (retrieval, classification 등) 기반의 텍스트 임베딩 평가셋
주요 성능 비교 기준
MMTEB
250개 이상의 언어, 500개 이상의 task를 포함한 대규모 멀티링구얼 임베딩 벤치마크
Qwen3 Embedding의 다국어 성능 평가에 핵심
MTEB-Code
코드 관련 임베딩과 reranking 평가
Qwen3가 Gemini 등 상용 모델과 경쟁한 영역
🧩 Qwen3 Embedding과의 차별성 요약
구분
기존 연구
Qwen3 Embedding의 차별점
데이터 수집
외부 수집 (web, Q&A, academic)
Qwen3-32B로 직접 생성 (synthetic, controlled)
학습 방식
보통 single-stage 또는 weak→supervised
3단계 (weak + fine-tune + model merge)
모델 사이즈 다양성
일부 (E5, GTE 등 0.6B / 7B)
0.6B, 4B, 8B 모두 제공
instruction 대응
제한적 또는 미지원
Embedding, Reranking 모두 instruction-aware
공개 여부
일부 미공개 (Gemini, Cohere 등)
Apache 2.0 라이선스로 전부 공개
🔗 이어서 읽을 만한 연구 / 추천 논문
[GRIT (Muennighoff et al., 2025)] – Instruction 기반 표현 학습 연구
[Persona-driven IR (Ge et al., 2024)] – 사용자 의도 기반 질의 생성
[NV-Embed (Lee et al., 2024)] – LLM을 embedding에 적용하는 최신 전략
[M3-Embedding (Chen et al., 2024)] – Multi-lingual / Multi-task 통합 임베딩 구조
좋습니다. 논문 《Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models》에서는 학습을 위한 데이터 수집·가공·학습 방식·모델 구성 전반에 대해 매우 정교하고 체계적인 방법을 사용했습니다.
📦 1. 데이터 수집: Synthetic 중심의 대규모 데이터 생성
✅ 핵심 전략: LLM(Qwen3-32B)를 활용한 Synthetic Pair 생성
기존 연구(GTE, BGE 등)는 Q&A, 논문 등 웹에서 수집한 weak supervision 데이터를 사용.
Qwen3 Embedding은 LLM을 사용해 직접 유사도 학습용 pair 데이터를 생성함으로써 품질과 다양성을 크게 개선함.
📌 수집 목표
Retrieval, Semantic Textual Similarity, Bitext Mining, Classification 등 다양한 유사도 기반 task를 포함
다국어, 다도메인, 다길이, 다난이도 커버
🔧 세부 생성 과정 (Two-stage Prompting)
🔹 Stage 1: Query 생성 설정 (Configuration)
입력: {Passage, Candidate Characters}
출력: JSON 구조로 Character, Question_Type, Difficulty 반환
사용 예:
{ "Character": "a college student studying history", "Question_Type": "summary", "Difficulty": "university" }
🔹 Stage 2: 질의 생성 (Query Generation)
입력: {Character, Passage, Requirement}
Output: {Query}를 설정 조건에 맞게 생성 (언어, 길이, 유형 등 포함)
💡 Persona 기반 질의 생성
PersonaHub에서 문서에 가장 잘 맞는 5개 후보 캐릭터 추출 → 선택하여 “사용자 관점 질의” 생성
🧪 2. 데이터 가공 및 학습 데이터 구성
📊 데이터 규모
단계
구성
규모
Stage 1: 약지도 학습용 Synthetic Data
Retrieval / STS 등 다양한 pair task 포함
약 150M pairs
Stage 2: 고품질 Supervised Fine-Tuning
실제 데이터 + 필터링된 synthetic data
약 19M pairs (7M + 12M)
🧹 고품질 데이터 선별 방식
전체 synthetic pair 중, Cosine similarity > 0.7인 샘플만 선택 → 약 12M pairs 확보
기준: query, positive doc 간 cosine 유사도가 높으면 semantic alignment가 잘 되었다고 간주
🎯 3. 학습 방식 (Training Pipeline)
🔁 Multi-Stage Training Overview
단계
대상 모델
설명
사용 Loss
Stage 1
Embedding 모델
약지도 학습 (150M synthetic)
InfoNCE 기반 contrastive loss
Stage 2
Embedding / Reranking 모델
Supervised fine-tuning (7M 실제 + 12M synthetic)
- Embedding: contrastive - Reranker: binary classification loss
Stage 3
Embedding / Reranking 모델
모델 병합 (SLERP)
-
📐 학습 목적 함수 정리
🔹 Embedding 모델: InfoNCE 기반 Contrastive Loss
Z_i: 다양한 hard negative, in-batch negatives와의 cosine 유사도를 포함한 정규화 항
mask factor (m_ij)로 false negative 완화
🔹 Reranking 모델: Binary Classification Loss
입력 context: Instruction + Query + Document (Chat format)
출력 토큰 "yes"/"no"의 확률 계산 → score로 사용
🧠 4. 모델 구조 및 적용
🧱 모델 아키텍처 구성
모델 종류
모델명
파라미터
시퀀스 길이
임베딩 차원
Instruction 지원
Embedding
Qwen3-Embedding-{0.6B, 4B, 8B}
0.6 / 4 / 8B
32K
1024 / 2560 / 4096
✅
Reranking
Qwen3-Reranker-{0.6B, 4B, 8B}
동일
32K
- (확률 기반 출력)
✅
📌 Embedding 모델 입력 형식
{Instruction} {Query} <|endoftext|>
문서(doc)는 그대로 입력
임베딩: [EOS] 토큰 위치의 마지막 layer hidden state 사용
📌 Reranker 입력 형식 (Chat Template)
<|im_start|>system
Judge whether the Document meets the requirements...
<|im_end|>
<|im_start|>user
<Instruct>: ...
<Query>: ...
<Document>: ...
<|im_end|>
<|im_start|>assistant
<think>
</think>
출력 확률 P(yes) / (P(yes) + P(no)) → relevance score로 사용
📌 요약: 학습을 위한 구성 전체 흐름
graph TD
A[Qwen3-32B 모델] --> B[대규모 Synthetic Data 생성 (~150M)]
B --> C[유사도 필터링 (cosine > 0.7) → 12M 고품질 선택]
C --> D[7M 실제 supervised data와 합쳐서 Fine-Tuning]
D --> E[Model Merging (SLERP)]
E --> F[최종 Embedding / Reranker 모델 완성]
정확하게 이해하셨습니다! Qwen3 Embedding 논문에서는 LLM(Qwen3-32B)를 활용한 synthetic data 기반 약 지도 학습 → 고품질 데이터 필터링 → 지도 학습의 3단계 학습 전략을 체계적으로 구성하고 있습니다. 아래에 단계별 구성과 그 의미를 정리해드릴게요.
✅ 전체 학습 흐름 요약
1단계: 대규모 Synthetic Data 기반 약지도 학습 (Weak Supervision)
항목
내용
💡 목적
모델에게 다양한 task 유형, 언어, 문서 길이 등에 대한 기본적인 개념 학습 시킴 (easy / broad pretraining)
🔧 데이터 생성
Qwen3-32B를 활용해 retrieval / STS / classification / bitext 등 task를 다루는 pair 데이터 생성 (150M)
📋 특징
task 유형, query 길이/난이도/언어 등을 프롬프트로 직접 제어하여 생성
🧠 모델 효과
다양한 쿼리 유형과 다국어 처리 능력, 유사도 판단에 필요한 일반적 문맥 감각을 학습
→ 이 단계는 약간 noisy하지만 포괄적이고 범용적인 task 학습으로 이해하면 됩니다.
2단계: 고품질 Synthetic + 실제 데이터 기반 지도 학습 (Supervised Fine-Tuning)
항목
내용
💡 목적
모델이 보다 정밀한 semantic 판단과 ranking을 학습하도록 조정
🧹 데이터 필터링
1단계에서 생성한 pair 중 cosine similarity > 0.7인 것만 선택 → 12M 고품질 synthetic pairs 확보
🔀 기존 데이터와 결합
MS MARCO, NQ, HotpotQA, MIRACL, T2Ranking 등 실제 labeled 데이터 7M 추가
🎯 최종 학습 데이터
총 19M pairs (synthetic 12M + 실제 7M)
✨ 효과
이전 단계에서 학습한 개념을 바탕으로, 보다 정확하고 정교한 판단 능력 강화
→ 즉, 잘 만든 synthetic 데이터 + 실제 human annotation 데이터로 정밀 튜닝하는 단계입니다.
3단계: 모델 병합 (Model Merging via SLERP)
항목
내용
목적
학습 도중 생성된 여러 체크포인트들을 구형 간 선형 보간 (slerp) 방식으로 병합
효과
특정 task에 과적합된 모델 대신, 여러 분포에 대해 일반화 능력을 갖는 모델 생성
🧩 한 줄 요약
Qwen3 Embedding은 먼저 Qwen3-32B로 ‘넓고 쉬운 task’를 생성해서 약지도 학습을 시키고, 그 중 잘 된 것만 뽑아 실제 데이터와 섞어 ‘정밀 지도 학습’을 시킨 후, 병합으로 robustness를 확보한 구조입니다.
좋은 질문입니다! 논문에서 언급된 Model Merging과 그 핵심 기술인 SLERP (Spherical Linear Interpolation)은 Qwen3 Embedding의 최종 모델 성능 향상에 매우 중요한 역할을 했습니다.
🔀 Model Merging: 무엇을 왜?
✅ 목적:
fine-tuning 중 생성된 여러 모델 체크포인트를 결합하여:
특정 데이터에 과적합되지 않도록 하고
다양한 task/generalization 성능을 동시에 향상시키기 위해 사용됨.
🧠 직관적 예시:
어떤 checkpoint는 classification에 강하고,
다른 checkpoint는 STS나 bitext mining에 강하다면, → 이 둘을 적절하게 섞으면 전반적으로 더 강한 모델이 될 수 있음!
🔵 SLERP: Spherical Linear Interpolation
🧪 정의:
SLERP는 두 벡터(또는 모델 파라미터)를 구면상에서 선형 보간하는 방식입니다. (원래는 3D 그래픽 분야에서 쿼터니언 회전 보간에 사용됨)
🧾 수식:
두 벡터 w_1과 w_2 사이의 interpolation은 다음과 같이 정의됩니다:
여기서:
θ는 w_1과 w_2 사이의 각도 (cosine으로 계산 가능)
α ∈ [0, 1]은 interpolation weight
🔁 일반적 Linear Interpolation(LERP)과 차이
비교 항목
LERP
SLERP
보간 경로
직선
구면 위 호
성질
벡터 방향 왜곡 가능
벡터 방향을 보존하며 보간
활용 맥락
일반적인 blending
L2 norm 보존이 중요한 경우 (→ 모델 파라미터 보간)
🧩 Qwen3에서의 활용 방식
Fine-tuning 중에 저장된 여러 checkpoint들을 확보
이들 checkpoint 간에 SLERP로 보간하여 하나의 모델로 병합
실험적으로:
성능 향상 확인 (ablation 실험에서 model merging 없을 때 점수 감소 확인됨)
task 간 trade-off를 줄이고 전반적인 generalization 확보
🔬 Ablation 실험 결과 (논문 Table 5에서 발췌)
조건
MMTEB 성능
model merging 없음
62.56
model merging 포함
64.33
➡️ 단일 학습 체크포인트만 사용하는 것보다 성능 향상 확인됨
✅ 요약 정리
항목
내용
Model Merging
다양한 성격의 체크포인트를 결합하여 robust한 모델 생성
SLERP
벡터 공간에서 두 파라미터를 구면 상에서 자연스럽게 보간하는 방식
Qwen3에서의 효과
task별 편향 없이 general한 성능 확보, 실제 벤치마크에서 성능 향상 확인됨
✅ 1. 주요 결과 (Results)
📊 벤치마크 성능 요약
모델
MTEB(Multi)
MTEB(Eng)
CMTEB(중국어)
MTEB(Code)
Qwen3-Embedding-0.6B
64.33
70.70
66.33
75.41
Qwen3-Embedding-4B
69.45
74.60
72.26
80.06
Qwen3-Embedding-8B
70.58
75.22
73.84
80.68
🔸 Gemini (Google)
68.37
73.30
-
74.66
➡️ 대부분의 open-source & commercial 모델 대비 우수한 성능, 특히 8B 모델은 최고 수준의 embedding 품질을 보여줌.
🎯 Reranking Task 성능
모델
MTEB-R
CMTEB-R
MMTEB-R
Code
Qwen3-Reranker-0.6B
65.80
71.31
66.36
73.42
Qwen3-Reranker-4B
69.76
75.94
72.74
81.20
Qwen3-Reranker-8B
69.02
77.45
72.94
81.22
➡️ Jina, GTE, BGE-m3 등 기존 reranker 모델을 모두 능가함. 특히 Code & Instruction Following task에서도 강력한 reranking 성능을 보임.
🧠 2. 결론 (Conclusion)
논문에서의 핵심 요약:
Qwen3 Embedding 시리즈는:
다국어, 다태스크, 코드 등 복잡한 retrieval task에 최적화된 embedding & reranking 모델
Qwen3 LLM의 생성 능력을 활용해 synthetic data로 고성능 약지도 학습 수행
모델 성능을 극대화하기 위해 fine-tuning + model merging을 결합
종합 정리:
“대규모 LLM이 직접 생성한 synthetic data 기반 multi-stage 학습으로, instruction-aware, 고성능 임베딩 모델을 효율적으로 구축할 수 있다”는 것을 실증적으로 보여줌.
📌 3. 한계점 (Limitations)
항목
설명
상대적 성능 열세
일부 task (예: FollowIR, long-context reasoning 등)에서는 상용 모델(Gemini 등)에 약간 뒤처짐
Reranker는 weakly supervised 학습 없음
Embedding 모델과 달리 reranker는 synthetic pretraining 없이 supervised only 학습 진행 → 더 나아갈 여지 있음
모델 크기/비용
4B, 8B 모델의 추론 비용은 소형 모델 대비 부담 → 추론 효율 최적화 필요
Low-resource 언어 검증 부족
다국어 학습은 강조되었지만 실제 평가에서는 중소형 언어 coverage 분석은 부족
🏆 4. 기여 (Contributions)
영역
기여 내용
🧠 모델 설계
Qwen3 기반으로 embedding/reranking 모두 instruction-aware 설계
🧪 학습 기법
LLM 기반 synthetic data 생성 + weak → supervised → merge의 3단계 학습 파이프라인 제안
🔧 데이터 생성
다양한 언어, 난이도, query type을 명시적으로 제어 가능한 Persona 기반 prompt strategy 도입
📊 벤치마크 성능
MMTEB, CMTEB, MTEB(Code) 등에서 최고 성능 달성, 특히 Qwen3-8B는 거의 모든 태스크에서 state-of-the-art
🌍 오픈소스 공개
모델 (0.6B / 4B / 8B) 전부 Huggingface / Modelscope에 Apache 2.0 라이선스로 공개하여 재현성 확보
🔚 요약
구분
내용
🎯 결론
LLM 기반 synthetic data로 약지도 학습 후 고품질 데이터로 fine-tune하면 매우 강력한 임베딩 모델을 만들 수 있다
🧱 기여
학습 파이프라인 개선, synthetic data 생성 전략, model merging 기법
🔍 결과
대부분의 벤치마크에서 최고 수준의 성능 달성
⚠️ 한계
일부 task에서 상용 모델보다 부족 / reranker 학습 방식 단순함 / low-resource 언어 분석 부족
