GPT-4V(ision)를 이용한 OCR - (Python)

이번 글에서는 GPT-4V를 활용한 OCR에 대해 알아보겠습니다.

OCR (Optical Character Recognition)은 이미지에서 텍스트를 추출하고 인식하는 기술입니다. 이 기술은 문서 스캔, 명함 인식, 자동 번호판 인식 등 다양한 분야에서 활용됩니다. GPT-4V를 이용하면, 이미지 내의 텍스트를 효과적으로 추출하고 처리할 수 있습니다.

---

#1. 필수 패키지 설치 및 준비

GPT-4V를 활용한 이미지 인식 프로젝트를 시작하기 전에, 필요한 Python 패키지들을 설치하고 준비하는 과정이 필요합니다.

1) 패키지 설치
먼저, 필요한 Python 라이브러리를 설치해야 합니다. 이를 위해 Python의 패키지 관리자인 pip를 사용합니다. 다음 명령어를 통해 필요한 패키지들을 설치할 수 있습니다.

pip install openai requests pillow matplotlib

이 명령어는 OpenAI의 API를 사용하기 위한 openai, 웹에서 이미지를 다운로드하기 위한 requests, 이미지 처리를 위한 Pillow (PIL의 업데이트된 버전), 그리고 이미지를 시각화하기 위한 matplotlib를 설치합니다.

2) 패키지 임포트
설치가 완료된 후, Python 스크립트나 Jupyter 노트북에서 다음과 같이 필요한 패키지들을 임포트 합니다.

import os
import openai
import requests
from PIL import Image, ImageDraw
import matplotlib.pyplot as plt
import base64
import io

• os: 운영 체제와 상호 작용하기 위한 모듈입니다. 파일 경로를 관리하고 환경 변수를 읽는 데 사용됩니다.
• openai: OpenAI의 API를 사용하기 위한 모듈입니다. GPT-4V와의 통신을 위해 필요합니다.
• requests: HTTP 요청을 보내기 위한 모듈입니다. 웹에서 이미지를 다운로드하는 데 사용됩니다.
• PIL (Pillow): 이미지 처리를 위한 라이브러리입니다. 이미지를 열고, 수정하고, 저장하는 데 사용됩니다.
• matplotlib.pyplot: 데이터를 시각화하기 위한 모듈입니다. 이미지를 표시하고 분석 결과를 시각화하는 데 사용됩니다.
• base64: 이미지를 base64 인코딩 형식으로 변환하는 데 사용됩니다. 이는 이미지를 GPT-4V API에 전송하기 위해 필요합니다.
• io: 파일 입출력을 위한 모듈입니다. 이미지를 메모리에서 직접 읽고 쓰는 데 사용됩니다.

#2. OpenAI API 키 설정

GPT-4V를 사용하기 위해서는 OpenAI의 API 키를 설정하는 것이 필수적입니다.

1) OpenAI API Key 발급
OpenAI API 수행을 위해서는 먼저 API Key 발급이 필요합니다. OpenAI 계정이 필요하며 계정이 없다면 계정 생성이 필요합니다. 간단히 Google이나 Microsoft 계정을 연동할 수 있습니다. 이미 계정이 있다면 로그인 후 진행하시면 됩니다.

로그인이 되었다면 우측 상단 Personal -> [ View API Keys ]를 클릭합니다.

[ + Create new secret key ]를 클릭하여 API Key를 생성합니다. API key generated 창이 활성화되면 Key를 반드시 복사하여 두시기 바랍니다. 창을 닫으면 다시 확인할 수 없습니다. (만약 복사하지 못했다면 다시 Create new secret key 버튼을 눌러 생성하면 되니 걱정하지 않으셔도 됩니다.)

2) 환경 변수 설정
API 키를 직접 코드에 포함시키는 것은 보안상 좋지 않습니다. 대신, 운영 체제의 환경 변수에 API 키를 저장하고, 이를 코드에서 불러오는 방식을 권장합니다. 이를 위해 운영 체제의 환경 설정에서 OPENAI_API_KEY라는 이름으로 API 키를 저장합니다. 권장사항일 뿐 필수는 아닙니다 

3) Open API 키 사용
Python 코드에서는 os 모듈을 사용하여 환경 변수에서 API 키를 불러옵니다. 다음과 같이 코드를 작성합니다. 환경변수에 저장하지 않았다면 openai.api_key 값에 직접 입력하셔도 됩니다.

openai.api_key = os.environ["OPENAI_API_KEY"]
client = openai.OpenAI()

#3. Function Declaration

이미지 처리 및 GPT-4V 응답결과를 나타내기 위한 함수를 선언했는데 반복적인 내용을 줄이고 쉽게 사용하기 위한 목적입니다.

1) 이미지 로드 및 인코딩 함수 (load_and_encode_images)
이 함수는 이미지 소스(파일 경로 또는 URL)를 입력으로 받아, 해당 이미지를 PIL 이미지 객체로 변환하고, base64로 인코딩합니다. 이 과정은 GPT-4V에 이미지를 전송하기 위한 준비 단계입니다.

# 이미지를 base64로 인코딩하고 PIL 이미지 객체를 반환하는 함수
def load_and_encode_images(image_sources):
    encoded_images = []
    pil_images = []
    for source in image_sources:
        if source.startswith('http'):  # URL인 경우
            response = requests.get(source)
            image_data = response.content
        else:  # 파일 경로인 경우
            with open(source, "rb") as image_file:
                image_data = image_file.read()

        pil_images.append(Image.open(io.BytesIO(image_data)))
        encoded_images.append(base64.b64encode(image_data).decode('utf-8'))
    return encoded_images, pil_images

2) 응답결과 및 이미지를 출력하기 위한 함수 (display_response)
이 함수는 PIL 이미지 객체와 GPT-4V의 응답 텍스트를 입력으로 받아, 이미지를 시각화하고 응답을 출력합니다.

# 응답결과와 이미지를 출력하기 위한 함수
def display_response(pil_images, response_text):
    # 이미지 로딩 및 서브플롯 생성
    fig, axes = plt.subplots(nrows=1, ncols=len(pil_images), figsize=(5 * len(pil_images), 5))
    if len(pil_images) == 1:  # 하나의 이미지인 경우
        axes = [axes]

    # 이미지들 표시
    for i, img in enumerate(pil_images):
        axes[i].imshow(img)
        axes[i].axis('off')  # 축 정보 숨기기
        axes[i].set_title(f'Image #{i+1}')

    # 전체 플롯 표시
    plt.show()

    print(response_text)

3) 이미지 처리 및 GPT-4V 요청 함수 (process_and_display_images)
이 함수는 이미지 소스와 사용자의 프롬프트를 입력으로 받아, 이미지를 처리하고 GPT-4V에 요청을 보낸 후, 응답과 이미지를 표시합니다.

# 이미지 경로 또는 URL과 프롬프트를 처리하는 함수
def process_and_display_images(image_sources, prompt):
    # 이미지 로드, base64 인코딩 및 PIL 이미지 객체 생성
    base64_images, pil_images = load_and_encode_images(image_sources)

    # OpenAI에 요청 보내기
    messages = [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt}
            ] + [{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{base64_image}"}} for base64_image in base64_images]
        }
    ]

    response = client.chat.completions.create(
        model="gpt-4-vision-preview",
        messages=messages,
        max_tokens=1000
    )

    response_text = response.choices[0].message.content

    # 응답과 이미지 표시
    display_response(pil_images, response.choices[0].message.content)

    return response_text

#4. OCR

1) 이미지 소스 설정
OCR을 수행할 이미지의 소스를 설정합니다. 예를 들어, 다음과 같이 두 개의 이미지 파일의 경로를 지정합니다.

image_sources = ["asset/images/test_3.png"]

2) 프롬프트 설정 및 OCR 수행 요청
GPT-4V에 전달할 프롬프트를 설정합니다. 이 프롬프트는 GPT-4V에게 이미지에서 텍스트를 추출하여 OCR을 수행하도록 요청합니다.

prompt = "이 사진에서 텍스트 추출해서 OCR 수행해줘"

3) 이미지 처리 및 GPT-4V 요청
process_and_display_images 함수를 사용하여 이미지를 처리하고 GPT-4V에 요청을 보냅니다. 이 함수는 이미지를 로드하고, 인코딩하며, GPT-4V에 요청을 보내고, 응답결과를 표시합니다.

response_text = process_and_display_images(image_sources, prompt)

결과를 보면 한글, 영어, 숫자, 특수문자 등 다양한 문자 유형을 인식하고 처리할 수 있다는 것을 알 수 있습니다.

추가로 아래 테스트 이미지는 흰색(FFFFFF) 배경에 아이보리 색상(Ivory, FFFFF0)으로 글자가 쓰여져 있습니다. 일반적으로 인간의 눈으로도 글씨를 식별하기 어렵습니다.

GPT-4V는 흰색 배경에 아이보리 색상으로 쓰여진 "Hello World!"라는 텍스트를 성공적으로 인식합니다. 이는 배경과 글자 색상의 대비가 매우 낮음에도 불구하고, GPT-4V가 텍스트를 정확하게 식별할 수 있음을 나타냅니다.

---

GPT-4V를 활용한 OCR 기술은 이미지 속 텍스트 정보를 빠르고 정확하게 추출하는 것으로 보입니다. 이 기술은 단순한 이미지뿐만 아니라 복잡한 표가 포함된 이미지에서도 텍스트를 정확히 인식할 수 있습니다. 추가적인 로직 구현 없이도 필요한 정보를 쉽게 얻을 수 있는 점은 텍스트 기반 정보의 디지털화 및 처리를 크게 간소화합니다. 다양한 분야에서 응용 가능성이 있어 보입니다.