https://arxiv.org/abs/2305.14705
Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models
Sparse Mixture-of-Experts (MoE) is a neural architecture design that can be utilized to add learnable parameters to Large Language Models (LLMs) without increasing inference cost. Instruction tuning is a technique for training LLMs to follow instructions.
arxiv.org
이 논문은 "Mixture-of-Experts (MoE)" 모델과 "Instruction Tuning" 기법을 결합하여 대규모 언어 모델을 더욱 효과적으로 학습하고 활용하는 방법을 연구합니다. 이를 통해 FLAN-MOE라는 새로운 모델을 제안하며, FLAN-MOE 모델이 고성능을 유지하면서도 메모리와 계산 비용을 효율적으로 줄이는 데 성공하였음을 보여줍니다.
연구 문제:
대규모 언어 모델(LLM)은 자연어 처리에서 다양한 작업을 수행하는 데 강력한 성능을 보이나, 계산 자원과 메모리 요구량이 기하급수적으로 증가하여 학습과 활용에 많은 비용이 발생합니다. 이 연구는 효율적인 스파스 구조인 MoE와 Instruction Tuning을 결합하여 이러한 문제를 해결하려고 합니다.
방법론:
- Mixture-of-Experts (MoE): MoE 모델은 여러 전문가(sub-model)로 구성되어 입력에 따라 특정 전문가들만 활성화하여 계산 효율을 높이는 구조입니다. 이 연구에서는 Transformer의 일부 층에 MoE를 추가하여 자원 효율을 강화했습니다.
- Instruction Tuning: Instruction Tuning은 모델이 특정 작업을 수행할 수 있도록 명령을 학습하는 기법입니다. 논문에서는 다양한 작업에서 MoE 모델의 성능이 Instruction Tuning을 통해 더 크게 향상됨을 입증합니다.
- 실험 설정:
- 개별 작업에 대한 미세 조정 없이 성능 평가.
- Instruction Tuning을 적용하고 일반화 성능을 평가.
- Instruction Tuning 후 추가적인 작업별 미세 조정으로 성능 평가.
사용된 방법:
이 연구에서는 FLAN-MOE 모델을 개발하여 다양한 NLP 작업에서 성능을 평가했습니다. MoE 구조는 트랜스포머의 피드포워드 층에 추가되어, 효율적인 자원 사용과 계산 비용 절감을 가능하게 합니다. 또한, 각 전문가의 활성화는 입력에 따라 결정되어 효율적으로 모델의 학습을 최적화합니다.
연구 결과:
- FLAN-MOE 모델은 FLAN-PALM과 같은 기존 모델 대비 유사한 성능을 유지하거나 더 높은 성능을 보이면서도 약 3분의 1의 FLOPs를 사용하여 효율적으로 학습합니다.
- 특히, Instruction Tuning을 추가할 경우 MoE 모델의 성능이 Dense 모델보다 우수한 성능을 보였습니다.
- 여러 설정에서 FLAN-MOE 모델은 더 적은 자원으로도 고성능을 달성했으며, 자연어 이해, 추론, 질문 응답과 같은 다양한 작업에서 높은 정확도를 보였습니다.
한계점:
- 다국어 성능 부족: 영어 이외의 언어에서는 성능이 낮게 나타났으며, 다국어 데이터에 대한 적응이 부족한 것이 한계로 지적되었습니다.
- 미세 조정 시 과적합 문제: MoE 구조는 특정 작업에 대한 미세 조정 과정에서 과적합의 문제가 발생할 수 있어, 이를 완화하기 위한 추가적인 전략이 필요합니다.
- 전문가 선택의 민감도: MoE 모델은 Instruction Tuning에 매우 민감하며, 학습된 작업 수에 따라 성능이 크게 변할 수 있어, 다양한 작업을 통한 학습이 중요합니다.
이 논문의 결과는 MoE 모델이 Instruction Tuning과 결합될 때 더 높은 효율성과 성능을 보일 수 있다는 점에서 의미가 있으며, 이를 통해 대규모 언어 모델의 학습과 활용의 효율성을 높이는 가능성을 제시합니다. 이 정보를 통해 향후 연구 방향을 설정하는 데 도움이 될 수 있기를 바랍니다.
그럼 이 논문에서는 과적합를 위한 방법을 어떻게 대비했고, MoE를 추가할 layer를 어떻게 결정했어?
이 논문에서는 과적합 문제를 완화하고, MoE를 추가할 레이어를 결정하는 방식을 다음과 같이 설명합니다:
1. 과적합 완화 전략
- 게이트 및 전문가 파라미터 동결: 과적합을 방지하기 위해 일부 파라미터를 고정하거나 부분적으로 학습합니다. 구체적으로는 게이트 기능 또는 MoE 전문가 모듈 자체를 동결(freeze)함으로써 일반화 성능을 높이고 과적합을 줄이려 했습니다. 결과적으로, 게이트를 동결하면 소폭 성능이 개선되었으나, 전문가 모듈을 동결하면 오히려 성능 저하가 나타났습니다.
- 균형 손실(balancing loss) 및 Z-손실(Z-loss): 특정 전문가가 과도하게 사용되거나 전문가 간 로드 밸런싱 문제가 발생할 때를 대비하여, 이 논문은 균형 손실을 사용해 전문가들의 활용도를 다양하게 만들고 과적합 위험을 낮추었습니다. 이 방법은 MMLU와 BBH 벤치마크에서 성능 향상을 가져왔습니다.
2. MoE 추가 레이어 결정 방식
- 트랜스포머 피드포워드 층에 MoE 추가: FLAN-MOE 모델에서는 매 두 번째 트랜스포머 레이어에 MoE를 추가하는 방식을 채택했습니다. 이렇게 함으로써 모델은 주요 연산 층을 설정할 때 효율적으로 전문가 모듈을 추가할 수 있었습니다. 이러한 설계는 모델이 더욱 효율적인 계산을 수행할 수 있게 도와주며, 각 레이어가 다루는 입력에 따라 다수의 전문가 중 상위 두 개를 활성화하도록 합니다.
그럼 결국 모든 layer에 전문가를 추가하는 것이 아니라 짝수 레이어마다 전문가를 추가하고, Instruction Tuning을 통해서 모델의 성능도 끌어올리고, Fine tuning에도 강인하게 만든 것이네?
맞습니다. 이 논문에서는 모든 레이어에 전문가를 추가하는 대신 짝수 번째 피드포워드 레이어에만 MoE 전문가 모듈을 추가하여 효율적인 계산을 유지하면서도 모델 성능을 극대화했습니다. 이렇게 구조를 조정한 뒤, Instruction Tuning을 통해 MoE 모델의 성능을 더욱 강화하여, 다양한 작업에서 강력한 성능을 발휘할 수 있도록 했습니다.
또한, Instruction Tuning을 사용하면 MoE 모델이 Fine-tuning에서 과적합에 덜 민감해지고 일반화 성능이 높아지는 효과가 있어, 특정 작업에 최적화된 Fine-tuning에서도 높은 효율성을 발휘하도록 돕습니다. 이를 통해, FLAN-MOE 모델은 Dense 모델보다 더 적은 자원으로도 뛰어난 성능을 보여주었으며, 특히 학습된 작업 수가 많아질수록 성능이 안정적으로 향상되었습니다.