메타의 Llam3 공개 공식 발표 페이지 입니다. 오픈소스 모델로서 단연 최고 수준입니다. 우선 Text 기반 8B, 70B 모델만 우선 공개하며, 추후 다중 언어 지원 및 멀티모달 을 지원 모델도 공개하는 것을 목표로 한다고 합니다. 또한 context length 역시 최근 흐름에 맞춰 늘릴거라고. 물론 현재 모델도 학습에 5% 정도 비영어 데이터를 사용하기는 했다고 하네요. 참고로 현재 공개하지 않은 여전히 학습이 진행중인 400B 모델의 경우 MMLU 성능 84 이상으로 현존 최고 성능 모델들 (클로드3 opus 등) 과 어깨를 나란히 합니다. 메타가 현재 업계 최고의 모델들과 성능상 떨어지지 않는 모습을 보이고 있고 큰 리소스가 투입된 Llama3 를 이렇게 풀어주니 감사할 따름. 오늘도 Llama3 를 가지고 또 많은 연구원들이 씨름하면서 어떤 발전이 있을까 기대도 큽니다. ㅎㅎ