Obtenez davantage de tokens commercialisables avec chaque GPU

Le routage adapté à l’inférence dirige chaque requête d’IA vers le serveur de modèles le mieux à même de la traiter, en s’appuyant sur des indicateurs en temps réel de la couche de service, tels que la longueur des files d’attente, l’utilisation du cache KV et la charge des GPU. L’équilibrage de charge classique répartit les requêtes uniformément, mais les requêtes d’inférence ont des coûts de traitement très variables : une répartition uniforme des requêtes entraîne donc une répartition inégale de la charge de travail. L’extension d’inférence de l’API Gateway de Kubernetes standardise cette approche.

Pour réduire le délai avant le premier token, commencez par optimiser la gestion des files d’attente : une requête qui attend derrière de longues générations sur un GPU très sollicité recevra son premier token tardivement, quelle que soit la vitesse du modèle. Acheminez les requêtes vers des points de terminaison dont les files d’attente sont courtes et les caches déjà alimentés, conservez les préfixes de prompt sur les serveurs qui les ont déjà en cache et séparez les requêtes très longues des requêtes interactives courtes. Les techniques appliquées au modèle, comme le réglage du traitement par lots et la quantification, permettent d’améliorer encore les performances.

Le coût par token correspond approximativement au coût d’une heure de GPU divisé par le nombre de tokens utiles produits pendant cette heure. Une fois le matériel acheté ou loué, les coûts sont en grande partie fixes. Le levier d’action est donc la production : taux d’utilisation, taux de succès du cache, efficacité du traitement par lots et répartition équilibrée des requêtes entre les GPU. Lorsque les prix des tokens baissent, de légers gains du nombre de tokens produits par heure de GPU se répercutent directement sur la marge.

Non, le routage tenant compte de l’inférence ne remplace ni NVIDIA Dynamo ni vLLM. Les frameworks de service d’inférence déterminent la manière dont un modèle s’exécute sur un GPU : traitement par lots, mise en cache et ordonnancement. Le routage tenant compte de l’inférence détermine vers quel serveur une requête est acheminée et selon quelle politique. BIG-IP Next for Kubernetes effectue le routage en fonction des signaux exposés par ces systèmes, de sorte que la pile de service d’inférence reste en place.

Les résultats publiés ont été mesurés sur des DPU NVIDIA BlueField-3 en mode DPU et ne s’appliquent pas automatiquement aux déploiements sur hôte. BIG-IP Next for Kubernetes s’exécute sur des processeurs hôtes standard avec la même logique de routage. C’est par ce type de déploiement que commenceront la plupart des entreprises d’inférence utilisant des capacités louées. Dimensionnez un déploiement sur hôte à partir de ses propres résultats de test.