전문가 혼합(MoE)이란?

사전적 정의

전문가 혼합(Mixture of Experts, MoE)은 전체 신경망을 다수의 소규모 네트워크인 ‘전문가(Experts)‘들로 분할하고, 입력 데이터의 특성에 따라 가장 적합한 전문가를 선택적으로 활성화하는 기계 학습 구조입니다. 모든 파라미터를 연산에 활용하는 기존 방식과 달리, 게이팅 네트워크(Gating Network)를 통해 필요한 전문가만 활용하는 ‘희소 활성화(Sparse Activation)’ 방식을 취함으로써 모델의 전체 파라미터 규모는 키우되 추론에 필요한 연산량과 비용은 낮추는 기술적 특징을 가집니다.

실무 사용 예시

최신 거대언어모델인 Qwen3.5가 전문가 혼합 구조를 채택한 대표적인 사례입니다. Qwen3.5는 총 3,970억 개의 파라미터를 보유하고 있으나, 실제 추론 시에는 전체의 약 4.28%인 170억 개의 파라미터만 활성화하여 작동합니다. 이러한 설계를 통해 모델은 방대한 지식 정보를 학습하면서도 실제 서비스 단계에서는 연산 효율을 극대화하여 256K에 달하는 긴 컨텍스트 처리를 지원합니다.

관련 단어

• 게이팅 네트워크(Gating Network): 입력된 토큰을 어떤 전문가에게 전달할지 결정하고 가중치를 할당하는 제어 신경망입니다.
• 희소 활성화(Sparse Activation): 전체 신경망 중 특정 조건에 맞는 일부만 활성화하여 자원 소모를 줄이는 방식입니다.
• 파라미터 효율성(Parameter Efficiency): 모델의 크기를 키우면서도 실제 연산에 투입되는 자원을 최적화하는 성능 지표입니다.