Calculateur de VRAM

Estimez la VRAM nécessaire pour exécuter un LLM : les poids du modèle selon la quantification, plus le cache KV pour votre longueur de contexte et votre taille de lot.

Ouvrir l'outil