Meta: Llama 3 발표

2024년 4월 18일, Meta에서 새로운 대형 언어 모델인 Llama 3을 공개했습니다. 이 모델은 8B(80억)과 70B(700억) 두 가지 버전으로 제공되며, 다양한 애플리케이션에 적합하도록 사전 훈련 및 지시어 튜닝이 완료된 상태입니다. 매개변수 4,050억 개에 달하는 'Llama 3'는 오는 7월 출시할 예정입니다.

Meta AI

Meta AI

Llama 3의 발표와 함께 기대되는 것은 Meta AI입니다. Meta의 최신 대형 언어 모델인 Llama 3를 기반으로 구축된 Meta AI는 일상 속 작은 일부터 큰 일까지 도와줄 수 있는 차세대 AI 어시스턴트로, Facebook, Instagram, WhatsApp, Messenger 등 Meta의 앱에서 무료로 이용할 수 있습니다.

출처: Meta

Meta AI는 필요에 맞게 다양한 기능을 제공합니다. 친구들과의 저녁 약속을 계획하거나, 주말여행을 준비하는 일, 시험공부를 하는 데에도 Meta AI가 도움을 줄 수 있습니다. 심지어 첫 아파트로 이사를 가는 상황에서도, Meta AI에게 당신이 원하는 인테리어 스타일을 설명하면 가구 쇼핑에 필요한 영감을 줄 수 있는 이미지를 생성해 줍니다.

출처: Meta

Meta AI는 사용하는 앱에서 웹의 실시간 정보에 액세스 할 수 있도록 도와줍니다. Messenger에서 스키 여행을 계획하는 중이라면, Meta AI에게 뉴욕에서 콜로라도로 가는 항공편을 찾아달라고 요청하고, 가장 한적한 주말이 언제인지 알아볼 수 있습니다.

출처: Meta

또한, Meta AI의 Imagine 기능을 통해 텍스트에서 이미지를 실시간으로 생성할 수 있습니다. 앨범 아트워크부터 웨딩 사인, 생일 파티 장식, 패션 영감에 이르기까지 Meta AI는 당신의 비전을 더 빠르고 더 나은 품질의 이미지로 생성해 줍니다. 생성된 이미지를 애니메이션 화하거나 새로운 스타일로 반복하거나 GIF로 변환하여 친구들과 공유할 수도 있습니다.

출처: Meta

벤치마크 결과

Llama 3의 벤치마크 결과는 인상적입니다. 기본 사전 학습 모델과 명령어 튜닝 모델 모두에서 이전 버전인 Llama 2보다 크게 향상된 성능을 보여주었고, 동종 수준의 모델인 Gemma와 Claude-3와 비교해도 앞선 결과를 보였습니다. 하지만 사용자 입장에서는 새로운 언어 모델이 발표될 때마다 이러한 벤치마크 결과가 강조되지만, 실제로 사용해보면 그다지 만족스럽지 않은 경우가 많았습니다.

출처: Meta

이러한 문제를 해결하기 위해 Chatbot Arena라는 플랫폼이 등장했습니다. Chatbot Arena는 사람들의 선호도에 따라 대형 언어 모델(LLM)을 평가하는 개방형 플랫폼입니다. 이 플랫폼은 다양한 사용자 기반의 입력을 활용하여 모델을 쌍대 비교하고, 크라우드소싱을 통해 데이터를 수집합니다. 수개월간 운영되면서 240,000개 이상의 투표를 모았고, 수집된 데이터 분석 결과 크라우드소싱된 질문이 충분히 다양하고 차별적이며, 크라우드소싱된 사람들의 투표가 전문가 평가자의 투표와 잘 일치한다는 것을 확인했습니다. 이러한 분석 결과는 Chatbot Arena의 신뢰성에 대한 확실한 기반을 마련해주었습니다.

Chatbot Arena의 순위를 살펴보면, Llama 3-70B 모델이 5위에 위치해 있습니다. 그 아래로는 Claude 3 Haiku, GPT-4-0613 (작년 모델) 등이 있습니다. 특히 주목할 만한 점은 현재 5위인 Llama 3-70B-Instruct 모델의 매개변수가 70B 정도로, 다른 모델에 비해 현저히 작은 규모라는 것입니다. 이는 Llama 3가 다른 모델의 1/100 정도의 비용으로 유사한 성능을 내고 있음을 보여줍니다.

Llama 3의 경우, 벤치마크뿐만 아니라 실제 사용자 평가에서도 우수한 성능을 보여주고 있어 주목할 만합니다.

책임감 있는 AI 개발을 위한 Meta의 다각적 노력

Llama 3의 출시와 함께 Meta는 대형 언어 모델(LLM)을 사용한 책임감 있는 개발을 위해 다각적인 노력을 기울이고 있습니다. 개발자들이 모델과 시스템 수준의 안전성을 구현하기 위한 단계와 모범 사례를 설명하는 책임 있는 사용 가이드(Responsible Use Guide, RUG)를 업데이트했습니다. Meta는 Llama Guard 2와 Code Shield와 같은 안전 도구를 포함한 다양한 리소스를 제공하는데 이러한 도구는 LLM 시스템에 남아 있을 수 있는 위험을 크게 줄이면서도 높은 수준의 도움을 유지하는 것으로 입증되었다고 설명하고 있습니다. Meta는 개발자들이 자신의 필요에 따라 이러한 안전장치를 조정하고 배포할 것을 권장하며, 시작하는 데 도움이 되는 참조할 수 있는 구현 방법을 제공하고 있습니다. Meta는 확실히 오픈 AI에 대한 헌신과 함께, 개발자 커뮤니티와 협력하여 LLM 기술을 지속적으로 발전시키고자 하는 노력을 보여주고 있습니다.

출처: Meta

Meta는 대형 언어 모델(LLM)에 대한 업계 최초이자 가장 광범위한 오픈 소스 사이버 보안 안전 평가 도구인 Cybersec Eval 2를 제공합니다. Cybersec Eval 2는 기존의 안전하지 않은 코딩 관행 및 사이버 공격 도움 평가 외에도 LLM의 프롬프트 인젝션 취약성, 자동화된 공격적 사이버 보안 기능 및 코드 인터프리터 악용 성향을 측정함으로써 이전 버전을 확장했습니다. 이러한 도구와 평가는 개발자들이 LLM 기술을 안전하고 책임감 있게 활용할 수 있도록 지원하며, 생성형 AI의 잠재적 위험을 완화하는 데 도움이 될 것입니다. Meta는 이를 통해 AI 기술의 발전과 함께 신뢰와 안전을 확보하기 위한 선제적인 조치를 취하고 있습니다.

출처: Meta

---

Llama 3는 현재 다양한 플랫폼을 통해 개발자들이 쉽게 접근하고 활용할 수 있습니다. 대표적으로 Hugging Face, Kaggle, 그리고 Google Cloud Vertex AI에서 Llama 3를 사용할 수 있습니다.