효과적인 AI 에이전트 구축: Anthropic의 가이드

이 글은 Anthropic이 발표한 "Building effective agents" (2024년 12월 20일) 문서를 바탕으로 정리한 글입니다.

Building effective agents

---

1. 에이전트란 무엇인가?

에이전트의 정의는 관점에 따라 다양할 수 있습니다. Anthropic은 에이전트 시스템을 두 가지로 구분합니다.

1-1. 워크플로우(Workflows)

• 정의: 미리 정의된 코드 경로를 통해 LLM과 도구들을 조율하는 시스템
• 장점: 예측 가능하고 안정적인 결과 제공
• 사용 예: 고객 문의 처리, 문서 번역, 데이터 분석

1-2. 에이전트(Agents)

• 정의: LLM이 상황에 따라 프로세스와 도구 사용을 동적으로 결정하는 시스템
• 장점: 복잡하고 불확실한 상황에 대처 가능
• 사용 예: 복잡한 문제 해결, 연구 보조, 프로그래밍 지원

2. 에이전트 시스템의 사용 시기

AI 에이전트의 개념을 이해하고 나면, 많은 기업과 개발자들이 "우리 시스템에도 AI 에이전트를 도입해야 할까?"라는 고민에 빠지게 됩니다. 새로운 기술이 등장할 때마다 그러하듯, AI 에이전트 역시 만능 해결책은 아닙니다. 오히려 AI 에이전트는 특정 상황에서 그 진가를 발휘하는 강력한 도구라고 볼 수 있습니다. 마치 망치가 모든 도구 중 가장 유용할 수 있지만, 나사를 조이는 데는 적합하지 않은 것처럼, AI 에이전트도 적재적소에 활용될 때 가장 큰 가치를 발휘합니다.

따라서 AI 에이전트 도입을 고려할 때는 "할 수 있는가?"가 아닌 "해야 하는가?"를 먼저 고민해야 합니다.

2-1. 사용해야 할 때

• 복잡한 작업이 필요한 경우
  • 여러 단계의 의사결정이 필요할 때
  • 상황별 맞춤 대응이 필요할 때
• 유연성이 중요한 경우
  • 정해진 규칙으로는 해결이 어려운 문제
  • 다양한 상황에 대처해야 할 때

2-2. 사용을 피해야 할 때

• 단순한 작업의 경우
  • 단일 LLM 호출로 충분한 경우
  • 검색과 예시만으로 해결 가능한 경우
• 비용과 속도가 중요한 경우
  • 실시간 응답이 필요한 서비스
  • 대량 처리가 필요한 작업

3. 프레임워크 사용에 대한 가이드

AI 에이전트를 구현할 때 많은 개발자들이 프레임워크 사용을 고민하게 됩니다. LangChain, Crew AI, AutoGen과 같은 다양한 프레임워크들이 있습니다. 프레임워크는 마치 조립식 가구와 같습니다. 필요한 부품들이 이미 준비되어 있어 빠르게 시작할 수 있지만, 때로는 그 규격화된 형태가 우리의 특별한 needs에 완벽히 들어맞지 않을 수 있죠. 또한 프레임워크를 사용하면 개발 속도는 빨라질 수 있지만, 그 내부 작동 방식을 이해하지 못한다면 나중에 문제 해결이 더 어려워질 수 있습니다.

따라서 프레임워크 사용을 결정하기 전에, 우리 프로젝트의 특성과 요구사항을 잘 파악하고 그에 맞는 선택을 하는 것이 중요합니다.

3-1. 주요 프레임워크들

• LangGraph (LangChain)
• Amazon Bedrock의 AI Agent
• Rivet
• Vellum

3-2. 프레임워크 사용 시 고려사항

• 장점
  • 빠른 시작 가능
  • 기본 기능 제공
  • 개발 시간 단축
• 단점
  • 추상화로 인한 디버깅 어려움
  • 불필요한 복잡성 추가 가능
  • 성능 최적화의 제한

3-3. 권장사항

• 처음에는 LLM API 직접 사용
• 필요한 경우에만 프레임워크 도입
• 프레임워크 내부 구조 이해 필수

4. 기본 구성 요소와 패턴

AI 에이전트 시스템을 이해하는 가장 좋은 방법은 그것을 구성하는 기본 요소들과 일반적인 패턴들을 살펴보는 것입니다. 마치 레고 블록처럼, 이러한 기본 구성 요소들을 조합하여 다양한 형태의 에이전트 시스템을 만들 수 있습니다. 건축에서 기초 공사가 중요하듯이, AI 에이전트 시스템에서도 기본 구성 요소를 제대로 이해하고 설계하는 것이 매우 중요합니다. 잘 설계된 기본 구성 요소는 시스템의 안정성과 확장성을 보장하며, 효율적인 문제 해결을 가능하게 합니다. 여러 성공적인 구현 사례들을 통해 발견된 일반적인 패턴들은 비슷한 문제를 해결하는 데 있어 신뢰할 수 있는 가이드라인을 제공합니다.

아래에서는 AI 에이전트 시스템의 핵심 구성 요소인 '증강된 LLM'과 함께, 가장 널리 사용되는 다섯 가지 주요 패턴들을 자세히 살펴보겠습니다.

4-1. 증강된 LLM (기본 구성 요소)

• 핵심 기능
  • 검색 능력 (필요한 정보 찾기)
  • 도구 사용 (외부 시스템과 상호작용)
  • 메모리 관리 (정보 저장과 활용)
• 구현 포인트
  • 사용 사례에 맞는 기능 최적화
  • 명확한 인터페이스 제공
  • 효율적인 리소스 관리

The augmented LLM (출처: Anthropic)

4-2. 주요 워크플로우 패턴

프롬프트 체이닝

복잡한 작업을 작은 단계들로 나누어 처리하는 방식입니다. 마치 자동차 조립 라인처럼, 각 단계가 이전 단계의 결과물을 받아 처리하고 다음 단계로 전달합니다.

• 작동 방식
  • 큰 작업을 작은 단계들로 분해
  • 각 단계는 이전 단계의 출력을 입력으로 사용
  • 단계별로 품질 검사 가능
• 장점
  • 각 단계가 명확하고 관리하기 쉬움
  • 중간 결과를 확인하고 수정 가능
  • 문제 발생 시 특정 단계만 수정 가능
• 활용 사례
  • 콘텐츠 제작: 개요 작성 → 초안 작성 → 교정/편집
  • 데이터 분석: 데이터 정제 → 분석 → 시각화
  • 코드 생성: 설계 → 구현 → 테스트

The prompt chaining workflow (출처: Anthropic)

라우팅

스마트한 접수처 직원처럼 작동하는 시스템입니다. 들어오는 요청을 분석하고 가장 적합한 전문가에게 전달하는 역할을 합니다.

• 작동 방식
  • 입력 내용 분석 및 분류
  • 적절한 전문 처리기 선택
  • 결과 확인 및 필요시 재라우팅
• 장점
  • 각 전문가가 자신의 전문 분야에만 집중
  • 효율적인 작업 분배
  • 처리 품질 향상
• 활용 사례
  • 고객 서비스: 문의 유형별 전문 상담원 배정
  • 문서 처리: 문서 종류별 전문 처리기로 라우팅
  • 기술 지원: 문제 유형별 전문가 팀 배정

The routing workflow (출처: Anthropic)

병렬화

하나의 큰 작업을 여러 작은 작업으로 나누어 동시에 처리하거나, 같은 작업을 여러 방식으로 동시에 수행하는 방식입니다.

• 두 가지 주요 방식
  1. 섹션닝 (분할 처리)
     • 큰 작업을 독립적인 부분으로 분할
     • 각 부분을 동시에 처리
     • 결과를 다시 통합
  2. 투표 (다중 검증)
     • 같은 작업을 여러 LLM이 수행
     • 다양한 관점에서 결과 도출
     • 결과를 비교하고 최적의 답안 선택
• 장점
  • 처리 속도 향상
  • 정확도 개선
  • 신뢰성 향상
• 활용 사례
  • 대규모 문서 처리: 여러 섹션 동시 분석
  • 품질 관리: 여러 검토자가 동시에 검토
  • 보안 검사: 다양한 관점에서 동시 검증

The parallelization workflow (출처: Anthropic)

오케스트레이터-워커

지휘자와 오케스트라 단원들의 관계처럼, 중앙 관리자가 작업을 조율하고 여러 전문가들이 실제 작업을 수행하는 구조입니다.

• 구성 요소
  1. 오케스트레이터 (지휘자)
     • 전체 작업 계획 수립
     • 작업 분배 및 조율
     • 결과 통합 및 품질 관리
  2. 워커 (전문가)
     • 특정 영역 전문화
     • 할당된 작업 수행
     • 결과 보고
• 장점
  • 복잡한 작업의 효율적 관리
  • 전문성 활용 극대화
  • 유연한 자원 활용
• 활용 사례
  • 소프트웨어 개발: 다양한 모듈 동시 개발
  • 연구 프로젝트: 여러 분야의 전문가 협업
  • 콘텐츠 제작: 여러 전문가의 협업 필요 작업

The orchestrator-workers workflow (출처: Anthropic)

평가자-최적화자

작가와 편집자의 관계처럼, 한 시스템이 작업을 수행하고 다른 시스템이 그 결과를 평가하고 개선점을 제시하는 구조입니다.

• 작동 방식
  1. 최적화자 (작가)
     • 초기 결과물 생성
     • 피드백 기반 수정
     • 지속적 개선
  2. 평가자 (편집자)
     • 결과물 품질 평가
     • 구체적 피드백 제공
     • 개선 방향 제시
• 장점
  • 지속적인 품질 개선
  • 객관적 평가 기준 적용
  • 반복적 개선 가능
• 활용 사례
  • 콘텐츠 최적화: 글쓰기 품질 개선
  • 코드 리뷰: 코드 품질 및 성능 개선
  • 번역 작업: 번역 품질 향상

The evaluator-optimizer workflow (출처: Anthropic)

---

AI 에이전트 시스템은 분명 강력한 도구이지만, 모든 문제의 해답은 아닙니다. Anthropic의 연구가 보여주듯이, 성공적인 시스템 구축의 비결은 화려하거나 복잡한 솔루션이 아닌, 상황에 맞는 적절한 접근법을 선택하는 것에 있습니다.

시작은 작게, 하지만 확실하게 하는 것이 좋습니다. 처음에는 단순한 워크플로우로 시작하여, 필요한 경우에만 더 복잡한 패턴들을 도입하는 것이 현명한 방법입니다. 마치 레고 블록을 조립하듯이, 기본 구성 요소들을 하나씩 추가하면서 시스템을 발전시켜 나가는 것을 추천드립니다. 그리고 가장 중요한 것은, 실제 필요성에 대해 살펴보는 것입니다. 남들이 복잡한 시스템을 사용한다고 해서 우리도 그래야 하는 것은 아니기 때문이죠. 때로는 가장 단순한 해결책이 가장 효과적인 답이 될 수 있습니다. AI 에이전트를 시작하는 분들에게 이 글이 조금이나마 도움이 되길 바랍니다.

---

참고 자료

• Building effective agents - Anthropic