Llama 4 Scout와 Maverick의 차이점은 무엇인가? 123

2025년 4월 5일, Meta는 최신 오픈소스 ai 모델 Llama 4를 공개했으며, 여기에는 Llama 4 Scout와 Llama 4 Maverick이 포함되어 있습니다. 이 두 AI 모델은 모두 최초의 멀티모달 모델로서 혼합 전문가(MoE) 아키텍처를 채택하였는데, 그 둘 사이에는 어떤 차이가 있을까요?

Llama 4 Scout와 Llama 4 Maverick의 주요 차이점:

Llama 4 Scout

• 매개변수 규모: 활성 매개변수 170억 개, 16개의 "전문가" 모델, 총 매개변수 1090억 개.

• 컨텍스트 윈도우: 최대 1000만 개의 토큰 컨텍스트 윈도우를 지원하여, 방대한 문서 처리 시 특히 뛰어난 성능을 발휘합니다.

• 활용 분야: 문서 요약 및 대규모 코드베이스 기반 추론에 능하며, 효율적인 추론과 긴 텍스트 처리가 필요한 상황에 적합합니다.

• 하드웨어 요구 사항: 단일 NVIDIA H100 GPU에서 실행 가능하며, Int4 양자화를 적용하면 리소스 요구 사항이 낮아집니다.

Llama 4 Maverick

• 매개변수 규모: 활성 매개변수 170억 개, 128개의 "전문가" 모델, 총 매개변수는 무려 4000억 개에 달합니다.

• 컨텍스트 윈도우: 100만 개 토큰의 컨텍스트 윈도우를 지원합니다.

• 활용 분야: 창의적 글쓰기, 코드 생성, 번역, 추론, 긴 텍스트 컨텍스트 요약 및 이미지 벤치마크 테스트에서 OpenAI의 GPT-4o 및 구글의 Gemini 2.0과 같은 모델들을 능가하는 성능을 보입니다.

• 하드웨어 요구 사항: NVIDIA H100 DGX 호스트 또는 동등한 성능의 기기에서 실행해야 합니다.

두 모델 비교

• 성능: Maverick은 멀티모달 작업과 추론 능력이 더 뛰어나며, Scout는 긴 텍스트 처리와 문서 요약에서 더 큰 장점을 가집니다.

• 리소스 요구 사항: Scout는 단일 GPU에서 실행할 수 있어 리소스가 제한된 환경에 더 적합합니다. Maverick은 더 높은 하드웨어 사양을 요구합니다.

• 활용 분야: Scout는 문서 처리와 코드 추론처럼 대량의 텍스트를 처리해야 하는 상황에 적합하며, Maverick은 창의적 글쓰기와 이미지 처리처럼 멀티모달 상호작용과 복잡한 추론이 필요한 작업에 더 적합합니다.

추론 비용

• Llama 4 Scout: 비교적 작은 모델 규모와 효율적인 양자화 기술 덕분에 추론 비용이 낮아, 빠른 응답과 낮은 리소스 소모가 필요한 애플리케이션에 적합합니다.

• Llama 4 Maverick: 총 매개변수는 더 크지만, 혼합 전문가 아키텍처를 채택하여 추론 비용이 최적화되었습니다. Meta는 Llama 4 Maverick의 추론 비용이 100만 토큰당 0.19달러에서 0.49달러(입력 대 출력 비율 3:1)로 추정되며, 이는 GPT-4o와 같은 독점 모델보다 훨씬 저렴하다고 합니다.

Llama 4 Scout는 긴 텍스트 처리와 리소스가 제한된 환경에 더 적합하며, Llama 4 Maverick은 추론과 코드 생성 능력이 뛰어나 고성능 및 멀티모달 처리가 필요한 애플리케이션에 적합합니다. 두 모델 모두 혼합 전문가 아키텍처를 통해 효율적인 리소스 활용을 구현하지만, 구체적인 리소스 요구 사항과 비용은 사용자의 애플리케이션 시나리오와 하드웨어에 따라 달라집니다.