text-generation-webui 설치 및 활용 가이드
text-generation-webui는 텍스트 생성을 위한 웹 기반 인터페이스입니다. 이 인터페이스를 사용하면 다양한 텍스트 생성 모델과 파라미터를 쉽게 선택하고, 키워드나 톤 등을 지정하여 원하는 텍스트를 생성할 수 있습니다. 이 글에서는 text-generation-webui를 이용하는 방법에 대해 설명드리려고 합니다.
text-generation-webui 설치방법
Step 1 : 새로운 conda 환경 만들기
Conda 환경은 프로젝트에 필요한 패키지 및 의존성을 관리할 수 있는 독립된 공간을 제공합니다. 이 단계에서는 새로운 환경을 만들고 활성화합니다.
conda create -n textgen python=3.10
conda activate textgen
Step 2: 필요한 패키지 설치
pip install torch torchvision torchaudio
Step 3: webui 설치
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt
Step 4: 모델 다운로드
아래 스크립트를 사용하면 모델을 자동으로 다운로드하며 다운로드한 모델은 models/ 폴더 안에 있습니다. 저는 Facebook 1.3B OPT (Open Pretrained Transformer) Language model을 다운로드하기 위해 아래의 명령어를 수행하였습니다.
python download-model.py facebook/opt-1.3b
webui 사용하기
Step 1: webui 시작
python server.py 를 수행하면 됩니다. 시작 시 조금 시간이 걸릴 수도 있는데 Running on local URL: http://127.0.0.1:7860 문구가 나오면 자동으로 팝업이 활성화 되거나 브라우저 주소창에 http://127.0.0.1:7860 을 입력하면 됩니다.
conda activate textgen
cd text-generation-webui
python server.py
위 스크린샷과 같이 text-generation-webui가 보여야 합니다.
Step 2: Model 선택
webui를 사용하기 전에 Model 선택이 필요합니다. Model 탭을 선택하여 페이지를 이동합니다. Model 영역에서 facebook_opt-1.3b를 선택합니다. 그리고 [ Load ] 버튼을 클릭합니다. "Successfully loaded facebook_opt-1.3b" 라는 문구가 나왔다면 성공적으로 Model Load가 된 것입니다.
Step 3: Prompt 작성
다시 Text generation 탭을 선택하고 정상적으로 작동하는 지 확인합니다. 예를 들어, "Question: " 다음에 "Do you know Mark Zuckerberg?" 라고 입력하고 [ Generate ] 버튼을 클릭합니다.
우측 Output 영역에 응답 내용을 확인할 수 있습니다. 만약 RuntimeError: MPS does not support cumsum op with int64 input 라는 오류가 발생한다면 이 글을 참고하시기 바랍니다.
HuggingFace로부터 다른 모델을 쉽게 다운로드할 수 있습니다. 아래는 GUI에서 사용할 수 있는 일부 모델입니다.
'Tech & Development > AI' 카테고리의 다른 글
ChatGPT Retrieval Plugin 개발 (1) : 아키텍처와 사전 준비 (0) | 2023.08.26 |
---|---|
StableCode 사용 가이드: AI 코딩 도구의 활용 방법 (0) | 2023.08.16 |
Meta AI 라마 2 (Llama 2): 사용 가이드 (0) | 2023.07.19 |
비정형 데이터 탐색: 벡터 임베딩과 벡터 데이터베이스의 이해 (0) | 2023.07.01 |
PandasAI: 데이터 분석을 위한 대화형 AI 도구 (0) | 2023.05.25 |
댓글
이 글 공유하기
다른 글
-
ChatGPT Retrieval Plugin 개발 (1) : 아키텍처와 사전 준비
ChatGPT Retrieval Plugin 개발 (1) : 아키텍처와 사전 준비
2023.08.26 -
StableCode 사용 가이드: AI 코딩 도구의 활용 방법
StableCode 사용 가이드: AI 코딩 도구의 활용 방법
2023.08.16 -
Meta AI 라마 2 (Llama 2): 사용 가이드
Meta AI 라마 2 (Llama 2): 사용 가이드
2023.07.19 -
비정형 데이터 탐색: 벡터 임베딩과 벡터 데이터베이스의 이해
비정형 데이터 탐색: 벡터 임베딩과 벡터 데이터베이스의 이해
2023.07.01