Entrées et compréhension multimodales

Fournissez des images ou des fichiers au modèle et récupérez une analyse textuelle.

Vue d’ensemble

La compréhension multimodale utilise des images ou des fichiers pour répondre à des questions, comparer des contenus ou extraire des informations. Contrairement à la génération d’images, de vidéos ou d’audio, elle analyse des médias au lieu d’en créer.

Tâches adaptées

Tâche	Exemple
Questions sur une image	Décrire la scène et répondre aux questions sur l’image
Comparaison d’images	Comparer le contenu ou les différences de plusieurs images
Extraction d’informations	Extraire du texte, des champs ou des informations structurées d’une image
Compréhension de fichiers	Résumer un fichier ou répondre à des questions sur son contenu

Représentation selon le protocole

Chaque protocole utilise ses propres conteneurs d’entrée et blocs de contenu. Le protocole peut représenter ces blocs, mais les types d’entrée effectivement pris en charge dépendent du modèle.

Protocole	Conteneur d’entrée	Blocs d’image et de fichier
OpenAI Chat	`messages[].content`	`image_url`, `file`
OpenAI Responses	`input[].content`	`input_image`, `input_file`
Anthropic Messages	`messages[].content`	`image`, `document`
Gemini Generate Content	`contents[].parts`	`inlineData`, `fileData`

Intégration API

Base URL

https://api.agtcloud.cn/v1

Compréhension d’images

Les exemples suivants envoient la même image via Chat Completions.

curl 'https://api.agtcloud.cn/v1/chat/completions' \
  -H 'Authorization: Bearer your-api-key' \
  -H 'Content-Type: application/json' \
  --data '{
    "model": "MODEL_ID",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "Décrivez le contenu principal de cette image."},
          {
            "type": "image_url",
            "image_url": {"url": "https://example.com/example.jpg"}
          }
        ]
      }
    ]
  }'

Le résultat textuel se trouve dans choices[0].message.content.

Entrées de type fichier

Il n’existe pas de structure universelle pour les fichiers. OpenAI Chat utilise file, Responses input_file, Anthropic Messages document, et Gemini inlineData ou fileData. Construisez la requête selon la référence API du protocole choisi.