멀티모달 입력 및 이해

이미지나 파일을 모델 입력으로 사용하고 텍스트 분석 결과를 읽습니다.

개요

멀티모달 이해는 이미지나 파일을 입력하여 모델이 질문에 답하고, 내용을 비교하거나 정보를 추출하도록 합니다. 이미지, 비디오 및 오디오 생성과는 다릅니다. 이해 작업은 미디어를 읽고, 생성 작업은 미디어를 만듭니다.

적합한 작업

작업	예시
이미지 질의응답	화면을 설명하고 이미지와 관련된 질문에 답합니다
여러 이미지 비교	여러 이미지의 내용이나 차이를 비교합니다
이미지 정보 추출	이미지에서 텍스트, 필드 또는 구조화된 정보를 추출합니다
파일 이해	파일 내용을 요약하거나 파일을 바탕으로 질문에 답합니다

프로토콜 표현

프로토콜마다 입력 컨테이너와 콘텐츠 블록이 다릅니다. 프로토콜이 콘텐츠 블록을 표현할 수 있더라도 실제 입력 기능은 선택한 모델에 따라 달라집니다.

프로토콜	입력 컨테이너	이미지 및 파일 콘텐츠 블록
OpenAI Chat	`messages[].content`	`image_url`, `file`
OpenAI Responses	`input[].content`	`input_image`, `input_file`
Anthropic Messages	`messages[].content`	`image`, `document`
Gemini Generate Content	`contents[].parts`	`inlineData`, `fileData`

API 연동

Base URL

https://api.agtcloud.cn/v1

이미지 이해

다음 예시는 Chat Completions로 동일한 이미지를 제출합니다.

curl 'https://api.agtcloud.cn/v1/chat/completions' \
  -H 'Authorization: Bearer your-api-key' \
  -H 'Content-Type: application/json' \
  --data '{
    "model": "MODEL_ID",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "이미지의 주요 내용을 설명해 주세요."},
          {
            "type": "image_url",
            "image_url": {"url": "https://example.com/example.jpg"}
          }
        ]
      }
    ]
  }'

텍스트 결과는 choices[0].message.content에 있습니다.

파일 입력

파일 입력에는 모든 프로토콜에 공통으로 적용되는 요청 구조가 없습니다. OpenAI Chat은 file, Responses는 input_file, Anthropic Messages는 document, Gemini는 inlineData 또는 fileData를 사용합니다. 선택한 프로토콜의 API 레퍼런스에 따라 요청을 구성합니다.