GreenCube
FR
Obtenir GreenCube

Blog GreenCube

Meilleur modèle d'IA locale pour votre PC, selon la RAM et la VRAM (mesuré)

Réponse courte : le meilleur modèle d'IA locale pour votre PC est le plus grand qui tient entièrement sur votre carte graphique, avec environ 1,5 Go de marge. Pas de carte ? Un petit modèle dans votre RAM. Un modèle plus petit entièrement sur la carte bat un plus grand qui déborde : nous avons mesuré le débordement à 6 fois plus lent. Ci-dessous, le choix pour chaque type de PC, avec des vitesses mesurées sur 10 vrais PC.

+1,5 Gole fichier du modèle plus environ 1,5 Go doit tenir dans votre VRAM
6×plus lent quand une partie du modèle ne tient pas sur la carte
10vrais PC mesurés, des portables aux PC de bureau gamer

Le meilleur modèle pour votre PC

Votre PCTaille de modèle qui tientCe que nous avons mesuré
Portable de 8 Go, sans carte graphiquePetit, environ 2–3 Go (Gemma 4 E2B, 2,6 Go)5–7 tokens/s dans de vraies conversations ; fermez d'abord les autres applis
Portable de 16 Go, sans carte graphiquePetit pour la vitesse ; environ 4 Go fonctionne, mais lentementE2B 14–18 tokens/s ; E4B 8–10
Carte graphique de 4 GoEnviron 2–3 Go tient entièrement ; 4 Go débordeE4B (4,2 Go, en partie dans la RAM) environ 20 tokens/s sur une GTX 1650
Carte graphique de 6 GoEnviron 4–4,5 GoE4B 35–38 tokens/s sur une GTX 1660 Super
Carte graphique de 8 GoEnviron 4–6 GoE4B 56–72 sur les cartes récentes (environ 11 sur une vieille RX 580)
Carte graphique de 12 Go+Environ 6–10 Go : modèles de la classe 12BE4B 50–55 avec 12 Go ; le 12B a besoin de 10 Go+ pour les longues conversations

Chaque carte a sa propre page : Mon PC peut-il faire tourner une IA ? Ou tapez votre carte dans l'outil de vérification.

Pourquoi « tenir » compte plus que « le plus grand »

S'il déborde, c'est plus lent que sans carte du tout

Sur une RX 5700 XT de 8 Go, Gemma 4 12B a écrit 35,6 tokens par seconde entièrement sur la carte, 5,9 avec une partie hors de la carte, et 4,3 avec encore moins dessus : plus lent qu'un modèle plus petit qui tourne sans carte. Le test complet de la VRAM.

Il tient pour une question, il plante dans une longue conversation

Le même modèle 12B tenait sur la carte de 8 Go pour une question courte, puis plantait à chaque fois que la conversation s'allongeait : la conversation a besoin de place, elle aussi. C'est à ça que servent les 1,5 Go de marge.

Petit, c'est souvent suffisant

Sur un portable de 16 Go, Gemma 4 E2B a donné une réponse d'étude complète en 20 secondes et a réussi 5 vérifications rapides de faits sur 5 ; E4B expliquait mieux, mais a mis 112 secondes. E2B vs E4B, mesurés.

Les modèles que nous avons mesurés

ModèleTaille du fichierIdéal surLicence
Gemma 4 E2B2,6 GoPortables, 8–16 Go de RAMApache 2.0
Gemma 4 E4B4,2 GoCartes graphiques de 6 Go ou plusApache 2.0
Gemma 4 12Benviron 6,4 GoCartes graphiques de 10–12 Go ou plusApache 2.0

Ce sont les fichiers que GreenCube fournit et les seuls que nous avons chronométrés, donc ce sont les seuls pour lesquels nous donnons des vitesses. Les autres familles de modèles suivent la même règle : regardez la taille du fichier, ajoutez environ 1,5 Go et comparez avec votre VRAM. La configuration requise pour Gemma 4 en détail.

Comment vérifier votre VRAM

  1. Appuyez sur Ctrl + Maj + Échap pour ouvrir le Gestionnaire des tâches.
  2. Allez dans Performances, puis GPU.
  3. La Mémoire GPU dédiée, c'est votre VRAM. Pas de mémoire dédiée ? Utilisez un petit modèle dans la RAM.

Vous préférez ne pas choisir du tout ? GreenCube lit votre carte et votre RAM et choisit le modèle qui tient, avec de la marge. Les applis gratuites comme LM Studio, Jan et Ollama vous laissent choisir vous-même : 12 applis comparées.

Questions

Quel est le meilleur modèle d'IA locale ?

Le plus grand modèle qui tient entièrement sur votre carte graphique avec environ 1,5 Go de marge. Un modèle plus petit entièrement sur la carte bat un plus grand qui déborde dans la RAM : dans notre test, un modèle dont une partie était hors d'une carte de 8 Go tournait 6 fois plus lentement.

Quel est le meilleur modèle d'IA locale pour un portable sans carte graphique ?

Un petit. Gemma 4 E2B (2,6 Go) a écrit 14 à 18 tokens par seconde sur un portable de 16 Go et 5 à 7 sur un portable de 8 Go dans de vraies conversations ; le plus grand, E4B, a mis 112 secondes pour une réponse qu'E2B a donnée en 20.

Quel est le meilleur modèle d'IA locale pour une carte graphique de 8 Go ?

Un modèle d'environ 4 à 5 Go, comme Gemma 4 E4B (4,2 Go) : il a écrit 56 à 72 tokens par seconde sur des cartes gamer de 8 Go. Un modèle de 12 milliards de paramètres tenait pour des questions courtes, mais plantait dans les longues conversations.

Comment savoir si un modèle tient sur ma carte graphique ?

Prenez la taille du fichier du modèle et ajoutez environ 1,5 Go pour la conversation et Windows. Si le total est inférieur à la mémoire GPU dédiée de votre carte (Gestionnaire des tâches, Performances, GPU), il tient.

Dois-je choisir un modèle moi-même ?

Dans les applis gratuites comme LM Studio, Jan ou Ollama, oui. GreenCube lit votre carte et votre RAM et choisit pour vous le modèle qui tient.

Votre propre IA, sur votre propre PC

GreenCube tourne sur votre ordinateur : sans limite d'utilisation, sans abonnement et sans internet. 9,99 €, en un seul paiement.

Obtenir GreenCube