Meta의 Llama 3.1 405B: 가장 큰 오픈 소스 AI 모델 공개
2024년 7월 23일, Meta는 자사의 최신이자 가장 큰 오픈 소스 AI 모델인 Llama 3.1 405B를 발표했습니다. Llama 시리즈는 Meta의 대표적인 AI 모델로, 이전 버전들인 Llama 2와 Llama 3이 큰 인기를 끌었습니다. Llama 3.1 405B는 이러한 전통을 이어받아 더욱 강력한 성능과 확장성을 제공하기 위해 개발되었습니다.
Microsoft Designer 제작
1. 모델 규모와 성능
- Llama 3.1 405B는 4050억 개의 매개변수를 가진 Meta의 가장 큰 오픈소스 AI 모델입니다.
- 16,000대의 Nvidia H100 GPU를 사용해 훈련되었습니다.
- 성능면에서 OpenAI의 GPT-4와 비슷한 수준이며, GPT-4o 및 Anthropic의 Claude 3.5 Sonnet과 경쟁력 있는 결과를 보여줍니다.
2. 주요 특징
- 8개 언어(영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어)로 문서 요약 가능
- 코딩, 기본 수학 문제 해결 등 다양한 작업 수행 가능
- 128,000 토큰의 컨텍스트 윈도우 (약 50페이지 분량의 책)
- Brave Search, Wolfram Alpha API, Python 인터프리터 등 외부 도구 사용 가능
3. 훈련 데이터
- 15조 개의 토큰 (약 7500억 단어)을 사용해 훈련
- 2024년까지의 데이터 포함
- 합성 데이터를 사용해 미세 조정
4. 라이선스 및 배포
- 개발자들이 Llama 3.1 모델의 출력을 사용해 제3자 AI 생성 모델을 개발할 수 있도록 라이선스 업데이트
- 월 사용자 7억 명 이상의 앱 개발자는 Meta의 특별 라이선스 필요
5. 기타 모델
- Llama 3.1 8B와 Llama 3.1 70B도 함께 공개
- 이 소형 모델들도 128,000 토큰의 컨텍스트 윈도우 제공
Meta의 Llama 3.1 405B는 그 규모와 성능 면에서 현존하는 가장 큰 오픈 소스 AI 모델 중 하나입니다. 이를 통해 다양한 AI 응용 프로그램이 개발되고, 더 나은 성능을 제공할 수 있게 되었습니다. Meta는 앞으로도 AI 기술의 발전을 위해 지속적으로 노력할 것이며, Llama 3.1 405B와 같은 모델을 통해 더 많은 사람들이 AI의 혜택을 누릴 수 있도록 할 것입니다.
위 글은 AI로 작성하였습니다.