일론 머스크의 Grok-1.5 발표

3월 28일(현지시간), 일론 머스크(Elon Musk)의 인공지능 스타트업 xAI는 대화형 생성 AI, Grok의 새로운 버전인 Grok-1.5를 발표했습니다. 이 업그레이드는 향상된 추론 기능과 함께 128,000개 토큰의 컨텍스트를 처리할 수 있는 능력을 소개합니다. Grok-1.5는 이번 주내에 소셜 미디어 플랫폼 X(이전의 트위터)에서 초기 테스터 및 기존 Grok 사용자들에게 제공될 예정입니다.

Grok-1.5의 주요 개선 사항

Grok-1.5의 출시로 가장 주목받는 개선 사항 중 하나는 코딩 및 수학 관련 작업에서의 성능 향상입니다. MATH 및 GSM8K 벤치마크에서 각각 50.6%, 90%의 점수를 달성함으로써, 초등학교부터 고등학교까지의 다양한 수학 문제를 다룰 수 있는 능력을 입증했습니다. 또한, 코드 생성 및 문제 해결 능력을 평가하는 HumanEval 벤치마크에서 74.1%의 성적을 기록했습니다.

출처 : x.ai

장문 컨텍스트 이해 및 추론

Grok-1.5는 최대 128K 토큰의 장문 컨텍스트를 처리할 수 있는 새로운 기능을 도입했습니다. 이를 통해 이전 모델에 비해 최대 16배 긴 문서로부터 정보를 활용할 수 있게 되었습니다. 더 길고 복잡한 프롬프트를 처리하면서도 지시사항을 따르는 능력을 유지합니다. 특히, Needle In A Haystack (NIAH) 평가에서는 최대 128K 토큰 길이의 컨텍스트 내에 임베디드 된 텍스트에 대한 강력한 검색 능력을 선보이며 완벽한 검색 결과를 달성했습니다.

출처 : x.ai

Grok-1.5 인프라

Grok-1.5의 인프라 구성은 JAX, Rust, Kubernetes를 활용한 맞춤형 분산 트레이닝 프레임워크로 주목받고 있습니다. 이러한 트레이닝 스택을 통해 xAI 팀은 신속하게 아이디어를 시험하고, 새로운 아키텍처를 대규모로 트레이닝하는 능력을 보여줬습니다. 대규모 컴퓨트 클러스터에서 대규모 언어 모델(LLMs)을 트레이닝하는 과정에서, 트레이닝 작업의 신뢰성과 가동 시간의 극대화는 항상 중요한 과제입니다. xAI의 맞춤형 트레이닝 오케스트레이터는 이러한 문제에 효과적으로 대응합니다. 문제가 있는 노드를 자동으로 감지하고 트레이닝 작업에서 제거하여, 트레이닝의 신뢰성을 보장합니다. 또한, 실패 발생 시 다운타임을 최소화하기 위한 체크포인팅, 데이터 로딩, 트레이닝 작업 재시작의 최적화는 xAI의 기술적 능력을 잘 보여줍니다.

---

xAI의 Grok 모델이 다른 생성 AI 모델들과 역사적으로 구별되는 점은, 일반적으로 다른 모델들이 피하는 음모론이나 더 논란이 되는 정치적 아이디어에 대한 질문에도 응답한다는 것입니다. 머스크가 설명한 바와 같이, 이 모델들은 “반항적인 기질”로 질문에 답변하며, 요청된다면 무례한 언어를 사용하여 답변하기도 합니다. Grok-1.5가 이러한 영역에서 어떤 변화를 가져오는지, 혹은 변화가 있는지는 명확하지 않습니다. xAI는 블로그 게시물에서 이 부분에 대해 언급하지 않았습니다.

Grok-1.5는 곧 X 플랫폼에서 초기 테스터들에게 제공될 예정이며, 여러 새로운 기능들을 포함할 것으로 보입니다. 머스크는 이전에 스레드 및 답변 요약, 게시물을 위한 콘텐츠 제안과 같은 기능을 암시한 바 있습니다. 이러한 기능들이 곧 출시될지 지켜봐야 겠습니다.