"AI 그리고 초거대 AI" 쉽게 알아보기

AI라는 단어를 들으면 매우 신비롭기도 하고 때론 위협적으로 느껴질 때도 있습니다. 최근 AI 기술이 발전함에 따라 사용자 경험을 향상하는데 크게 기여를 하고 있고, AI를 활용한 자율주행, 챗봇, 헬스케어 등의 서비스를 보면 큰 감명을 받기도 합니다. 이제는 다양한 스포츠 종목에 등장한 것은 물론, 유가족과 팬들의 마음을 치유하기도 하고 인간들의 고유 영역이었던 문화까지 스며들며 AI는 이제 우리 시대의 가장 큰 변화를 일으키는 요소 중 하나가 되었습니다.

알파고의 등장

2016년 3월 딥마인드에서 개발한 인공지능 프로그램인 알파고가 세계 최고의 프로 바둑기사를 꺾는 광경이 전 세계로 생중계되었고 비록 4번의 대국 중 1패를 하면서 완벽한 존재가 아니라는 사실이 드러났지만, 전 세계적인 반항을 일으키기에 충분했습니다. 그리고 많은 사람은 마치 새 시대가 열릴 거라 기대했고 이제 인공지능이 먼 미래의 얘기가 아닌 우리의 현실이 되고 있다는 것을 느낄 수 있었죠.

그 후로 7년이라는 시간이 지났습니다.

딥마인드는 알파고마스터(AlphaGoMaster)로 중국 프로기사 커제를 이겼고 알파고마스터를 뛰어넘는 실력의 알파고제로(AlphaGoZero)를 마지막으로 바둑계에서 떠났지만, AI 기술은 비약적으로 발전하고 있습니다. 분명 알파고는 AI의 잠재력과 AI 연구 개발에 대한 새로운 관심과 투자를 불러일으킨 변곡점이었습니다. AI 기술과 애플리케이션의 발전으로 이어졌고 AI 시장의 성장을 주도하는 데 도움이 되었습니다. 하지만 함께 일하는 고객 혹은 이해관계자들이 이해하게 된 AI와 현시점의 작동하고 있는 AI 사이에서 큰 오해가 생기기 시작했습니다. "AI는 인간을 뛰어넘을 수 있고 스스로 학습해 발전해 나간다."라고 생각하게 된 거죠. (AI는 분명 마법이 아닌데 이를 고객에게 설득하는 일은 매우 어려운 일입니다.)

AI는 머신러닝 단계인 1.0을 넘어 현재 딥러닝 단계인 2.0까지 와 있습니다. 그리고 AI 2.0까지는 과학기술의 발전 방향에 맞춰 AI가 진화했습니다. 최근 AI 에 대한 관심과 그에 따른 투자가 비약적으로 증가하면서 향후 AI 발전의 방향성은 AI를 필요로 하는 시장과 고객의 니즈에 맞출 가능성이 큽니다. 향후 1 ~ 2년 내 나타날 것으로 전망되는 AI 3.0은 시스템 러닝(System Learning), 즉 체계 학습입니다. 이 단계에서는 딥러닝에서 블랙박스로 간주한 데이터와 해답 사이에 존재하는 규칙을 알 수 있게 됩니다. 또한 AI 4.0은 다이내믹 러닝(Dynamic Learning) 단계로 데이터와 기존 패턴에 의존하는 기존 AI와 달리 데이터로부터 해방돼 미래를 예측할 수 있게 될 전망입니다. 또한 AI 발전의 마지막 단계라 할 수 있는 AI 5.0은 휴먼 러닝(Human  Learning) 단계입니다. AI가 인간처럼 실수와 실패를 통해 배우고 발전할 수 있게 됩니다.

[ 참고 ] AI의 5단계 발전

사실 많은 전문가들도 이제 인간 수준의 AGI(Artificial General Intelligence)가 멀지 않았다고 예견했지만 2019년 7월 VentureBeat AI 보고서에 따르면 87% AI 및 빅데이터 프로젝트는 생산 단계에 도달하지 못했다고 발표합니다.

실제로 AI와 관련된 프로젝트를 진행해보면 많은 어려움에 직면하게 됩니다.

1. Data availability and quality: AI의 성능의 데이터의 매우 의존적이기 때문에 충분한 양의 고품질 데이터가 필수적인데 대량의 데이터를 수집하고 준비하는 것은 시간이 많이 소요되고 어렵습니다.
2. Model complexity and interpretability: 복잡한 AI 모델은 이해하기 어렵고 해석하기 쉽지 않습니다. 이로 인해 예측한 결과에 대해 설명하기 어려울 수 있습니다.
3. Computational resources: AI 모델을 훈련하고 배포하려면 많은 비용이 듭니다. 예를 들어 강력한 GPU가 필요할 수 있습니다.
4. Privacy and ethical considerations: 개인 정보와 같은 민감한 데이터를 처리하는 경우 윤리적 문제와 개인정보 문제가 발생할 수 있습니다. 해당 데이터를 책임감을 가지고 처리하고 관련 규정을 준수하는 것이 중요합니다.
5. Integration and deployment: 기존 응용 프로그램 또는 워크플로에 AI시스템을 통합하는 것은 매우 어렵고, AI모델을 운영 환경에 배포하는 것도 여러 문제가 생길 수 있습니다.
6. Keeping up with the state of the art: AI 연구는 빠르게 발전하는 분야이며 최신 개발 및 기술을 따라잡는 것은 어려울 수 있습니다.

이미 많은 기업들이 AI 도입 및 상용화 실패를 경험했고, 투자 대비 낮은 효과로 AI에 대한 거부감으로 이어졌습니다. Gartner의 애널리스트 Svetlana Sicular는 "2020년부터 AI 하강의 해가 본격적으로 시작됐다"라고 말했고, 벤처캐피털 펀드인 MMC Ventures는 유럽의 AI 스타트업을 조사한 뒤 이 중 40%가 아예 AI 기술을 쓰지 않는다고 발표했습니다.

---

초거대 AI의 등장

하지만 2020년 OpenAI에서 GPT-3라는 초거대 AI를 발표하고 이후 2년도 채 지나지 않아서 전세계 빅테크 기업들(Meta, Microsoft, DeepMind, nVIDIA 등) 저마다 초거대 AI를 내놓으면서 앞다퉈 발표하며 초거대 AI 전쟁에 뛰어들기 시작합니다. 물론 현재는 초거대 AI가 가지고 있는 여러 어려움 때문에 빅테크 기업들이 주도하고 있지만 고무적인 것은 과거 AI 서비스와 달리 탄탄한 비즈니스 모델을 가지고 있다는 것입니다. 단순히 연구에서 그치는 것이 아니라 본격적인 상용화와 실생활로 확장을 앞두고 있고 특히 2022년에는 Generative AI가 폭발적인 열풍을 가져왔습니다.

• Google - LaMDA 2
• DeepMind - Gopher 
• Meta - OPT-175B (대형 언어 모델 - 무료 공개)
• Microsoft / nVIDIA - MT-NLG
• 네이버 - 하이퍼클로바
• Kakao - KoGPT
• LG - 엑사원
• KT -  믿음

Midjourney로 생성한 이미지

그렇다면 초거대 AI는 무엇일까요? 딥 러닝(Deep Learning)은 뇌 신경망의 구조와 기능에서 영감을 받은 알고리즘을 사용하여 데이터를 분석하고 처리하는 방법입니다. 이러한 알고리즘을 artificial neural networks(ANN)라고 하며 정보를 처리하고 전송하는 상호 연결된 노드 또는 Neuron의 계층으로 구성됩니다. Neuron 사이에서 정보를 전달하는 역할을 Synapse가 하고 있는데 AI에서 Synapse는 파라미터, 매개변수, 가중치, 계수, Weight, W로 불립니다.

초거대 AI는 이 정보를 전달하는 파라미터(Synapse)를 매우 증가시키고 많은  양의 데이터 세트에서 훈련된 AI를 말합니다.

출처: scitechdaily

딥 러닝 연구 초반에는 새로운 네트워크 구조나 트레이닝 방법들을 제시하며 성능이 좋은 모델들을 공개하는 논문들이 많았습니다. 이러한 연구들은 딥러닝이 어떤 문제들에 적용될 수 있는지를 확장하며, 이를 통해 다양한 응용 분야에서 성능 향상을 이루어내는 것이 가능해졌습니다. 하지만 최근에는 이러한 기술들이 이미 잘 알려져서 그만큼 새로운 기술을 제시하는 논문들이 적어지고 구조를 단순하게 유지하면서도 스케일을 크게 하고, 데이터를 다양하게 많이 사용하는 것에 집중하고 있습니다. 2019년 공개된 GPT-2는 15억 개의 파라미터였는데 2020년 공개된 GPT-3는 100배 이상 늘린 1750억 개로 파라미터였으니 얼마나 이 부분에 집중하고 있는지 예상이 될 것입니다.

GPT-3 이외에도 Meta에서 공개한 OPT-175B도 파라미터 갯수가 1,750억 개였고, Microsoft & nVidia가 공동 개발한 MT-NLG는 5,300억 개, 구글에서 공개한 PaLM은 5,400억 개의 파라미터를 가진 모델입니다. 

출처: Google AI blog

5,400억 개의 파라미터를 가진 PaLM(Pathways Language Model)은 여러 NLP 벤치마크에서 최고 기록을 경신하였고 이렇게 스케일이 커질수록 퍼포먼스가 증가한다는 명제가 아직도 깨지지 않았습니다. 성능 강화 경쟁 속에서 한동안 앞으로도 빅테크 기업들은 모델의 파라미터 거대화, 대량의 학습 데이터를 통한 성능 개선은 계속될 것 같습니다.

사실 초거대 AI는 범용적으로 사용하기 위해 개발되었으며, 다양한 분야에서 사용될 수 있도록 하는 것이 핵심입니다. 예를 들어, 초거대 AI를 사용하여 음성 인식, 자연어 처리, 이미지 인식, 문장 생성, 감정 분석, 자연어 생성, 코딩 등의 분야에서 사용이 가능하고 인공 지능 응용 분야인 자율 주행, 로봇 제어, 의료 진단, 검색 엔진, 사물 인터넷 등에서도 사용될 수 있습니다.

---

초거대 AI 학습과 활용의 어려움

초거대 AI는 모델이 매우 크기 때문에 학습과 활용 면에서 여러 어려움이 있습니다. 파라미터가 많고 데이터양이 많기 때문에 학습시키는 데 시간과 비용이 엄청나게 많이 듭니다. 정확하게 추산할 수는 없지만 GPT-3를 학습시키는 데만 대략 150억~340억 원 정도가 소요된 것으로 추정됩니다. 부가적으로 드는 비용(데이터 수집, 생성 등)은 계산하기도 어렵죠. 또 다른 예로 GPT-3 수준의 오픈소스 언어 모델인 블룸(Bloom)을 학습시키는데 nVidia A100 GPU 384개를 이용하여 3개월 동안 수행해야 했고, 학습된 모델을 수행시키는데 A100 GPU 8개가 장착된 전용 하드웨어가 필요했다고 합니다.

또 초거대 AI 학습을 시키기 위해선 엄청난 양의 데이터가 필요한데요. 네이버의 하이퍼클로바(HyperCLOVA)는 학습을 위해 5,600억 토큰(token·말뭉치)의 한국어 대용량 데이터를 구축했는데 이는 한국어 위키피디아의 2,900배, 뉴스 50년 치, 블로그 9년 치에 달하는 규모입니다. 이러한 데이터를 구축하는 것은 작은 회사들은 생각조차 할 수 없죠. 이러한 국내의 빅테크 기업도 개발에 필요한 슈퍼컴퓨팅 인프라가 국내에 없기 때문에 구글이나 NVIDIA와 같은 해외 기업과 협력하고 개발을 진행하고 있습니다.

결과적으로 초거대 AI 산업은 다양한 서비스를 하는 회사나 리소스를 충분히 갖춘 빅테크 기업들만 시도할 수 있습니다.

실제로 ChatGPT와 유사한 기능을 할 수 있는 PaLM + RLHF를 오픈소스로 GitHub에 공개하였지만 활용하기는 쉽지 않습니다. Pre-Trained 모델이 아니기 때문에 동작하기 위해선 필요한 데이터를 직접 사용자가 수집 및 가공을 해야 하고 학습에 필요한 컴퓨팅 자원을 확보해야 하기 때문입니다.

---

앞으로

상황이 이렇다보니 결국 자금력과 데이터를 갖춘 회사와 그렇지 못한 회사 간의 경계가 될 수 있고 초거대 AI 서비스를 하는 회사들은 이를 통해 수집한 데이터를 사용하여 경쟁사보다 부당한 이점을 얻을 수 있다는 우려도 나옵니다.

하나의 예로 OpenAI도 AI가 인류에 공헌할 수 있도록 만든 비영리 단체였는데 자본을 유치하기 위해 Capped Profit(제한된 이익법인)으로 변경하였습니다. 변경을 결정한 근거로 향후 몇 년 동안 대규모 클라우드 컴퓨팅, 인력 유치, AI 슈퍼컴퓨터 구축에 투자가 필요하다고 설명합니다. OpenAI는 2019년 7월에 Microsoft와 파트너십을 체결하고 10억 달러(1조 원)를 투자받습니다. Microsoft의 클라우드 서비스 Azure가 가진 강력한 클라우드 컴퓨팅 파워를 통해 GPT-3와 같은 인공지능 플랫폼을 개발하고 구현할 수 있게 되었습니다. 이러한 지원의 대가로 OpenAI는 Microsoft에게 자사의 인공지능 플랫폼을 비롯한 인공지능 분야의 기술을 제공하고 특히 GPT-3 언어 모델의 독점 라이센스를 Microsoft가 확보하게 됩니다. (Microsoft는 ChatGPT 기반의 ‘빙(Bing)’ 검색 엔진을 출시할 예정이라고 여러 소식지를 통해 기사화되고 있는 상황입니다.) 나아가서 Microsofts는 Visual Studio Code를 가지고 있고 GitHub도 인수했죠. 미래를 예측할 순 없지만 단순히 이렇게만 보더라도 Microsoft라는 빅테크 기업은 인류에게 공헌, 기여라는 목적보다는 서비스 선점(?) 혹은 독점을 위해 뛰어가고 있는 것 같습니다. (매우 주관적인 생각일 뿐입니다.)

또 다른 문제는 저작권, 라이센스 문제가 있습니다. DALL·E 나 Midjourney와 같은 AI로 이미지를 생성하는 업체들은 법적으로 아무런 문제가 없다고 말하고 있지만 AI가 학습한 데이터는 분명 저작권이 있는 이미지가 포함되어 있습니다. 그렇기 때문에 일부 예술 단체에서는 AI로 생성한 이미지의 업로드와 판매를 금지하거나 유사한 조처를 하고 있습니다. 그리고 Open AI에서 개발자에게 실시간으로 코드를 제안하는 Codex나 Copilot 같은 경우는 Github의 오픈소스를 이용하여 학습하였는데 오픈소스 라이선스를 고려하지 않고 모두 학습을 시켰고 일부 개발자들은 이에 집단소송을 하거나 향후 법적 분쟁에 대비하여 AI 제안 코드 사용을 금지하는 프로젝트도 있습니다. 이 때문에 GitHub를 떠나는 사람들도 생겨났는데 사실 이러한 문제가 오픈소스 생태계에 어떠한 영향을 미칠지 좀 더 두고 봐야 할 것 같습니다.

초거대 AI를 이용한 서비스는 이제 시작한 영역이고 아직 해결해야 할 문제가 많이 있습니다. 지속적으로 관심을 두고 지켜볼 필요가 있습니다. 

---

2022년 뛰어난 성능을 보인 AI 서비스

1. ChatGPT : ChatGPT 사용기 - 개발자 관점 (사용법)
2. Midjourney : Midjourney 사용기 (사용법)
3. Copilot : GitHub Copilot(깃허브 코파일럿) 사용법 (Pycharm)
4. DALL·E2 : DALL·E2 사용기 (사용법)
5. runwayml : https://runwayml.com/
6. Jasper : https://www.jasper.ai/