Un développeur publie une expérience détaillée dans laquelle GPT-4 Turbo, via l'API d'OpenAI, est capable de traiter un contexte allant jusqu'à 1 million de tokens dans une seule requête. L'expérience repose sur une construction progressive du message système, suivi d'une question très générique sur le contenu. GPT-4 est capable de restituer correctement l'information située à mi-parcours, malgré la longueur élevée du prompt.
Les échanges sur Hacker News confirment que ce test est reproduisible dans certaines conditions (besoin d’un token spécial côté API) et que la latence, bien que présente, reste inférieure à 30 secondes.
GPT-4 Turbo fonctionne avec un contexte étendu à 1 million de tokens (pour les testeurs éligibles), tout en conservant une latence modérée. Ce seuil dépasse largement les 128k tokens déjà impressionnants de GPT-4-Turbo standard, ouvrant un nouveau champ d’expérimentation pour les développeurs.
Ce résultat n’est pas encore officiellement accessible à tous les utilisateurs : il semble lié à l’usage d'un token d'accès ou de configuration spécifique difficile à documenter précisément pour l’instant.
Le test reproductible avec des réponses qualitatives sur le contenu central du prompt indique une gestion mémoire de plus en plus efficace du côté du modèle.
Cette démonstration suggère trois impacts potentiels majeurs :
- Les limites pratiques du contexte ne sont plus un blocage strict pour les workflows longs ou documentaires.
- De nouveaux cas d’usage deviennent envisageables : assistants mémoire, analyse de logs, chaînage dynamique sans externalisation du contexte.
- La réduction de latence (<30 secondes) pour 1M tokens rend l’expérimentation réaliste, même en environnement non batché.
Add new comment