Сколько видеопамяти нужно для ИИ? Почему модель должна помещаться на видеокарту
Короткий ответ: ИИ, который целиком помещается в память видеокарты (видеопамять, VRAM), работает быстро. Тот, что не помещается, медленнее, чем вообще без видеокарты, и может упасть. Меньшая модель целиком на видеокарте лучше большей наполовину.
Тест
Настольный ПК с AMD RX 5700 XT (8 ГБ видеопамяти) и 48 ГБ ОЗУ. Мы загрузили модель на 12 миллиардов параметров (Gemma 4 12B, около 6,2 ГБ) и помещали на видеокарту большую или меньшую её часть, всё в одной сессии в сентябре 2026 года.
| Какая часть модели была на видеокарте | Написание (ток/с) |
|---|---|
| Вся | 35,6 |
| 28 слоёв | 5,9 |
| 20 слоёв | 4,3 |
| Для сравнения: модель поменьше (Gemma 4 E4B) только на процессоре | 5,0 |
| Та же модель поменьше, целиком на видеокарте | 72,5 |
Что мы узнали
1. Всё или ничего
Стоило оставить вне видеокарты лишь часть модели, и она стала в 6 раз медленнее. С 20 слоями на видеокарте она была медленнее, чем модель поменьше вообще без видеокарты. Наполовину на видеокарте — худшее из двух миров.
2. Самая большая — не самая лучшая
Модель 12B действительно целиком поместилась на видеокарту с 8 ГБ — для одного короткого вопроса. По мере роста чата она каждый раз падала: на видеокарте почти не оставалось места для разговора. У модели поменьше было около 3 ГБ запаса, и она работала со скоростью 63–72 токена в секунду.
3. Оставляйте запас
На GTX 1650 с 4 ГБ модель на 4,2 ГБ втиснули на видеокарту с 3,9 ГБ, и уже первое сообщение завершилось ошибкой «недостаточно памяти». Теперь GreenCube держит около 1,5 ГБ видеокарты свободными для чата и для Windows.
Как выбрать модель для своей видеокарты
Проверьте видеопамять
Диспетчер задач → Производительность → Графический процессор → Выделенная память графического процессора.
Размер модели + 1,5 ГБ
Файл модели плюс около 1,5 ГБ должны помещаться в это число.
Сомневаетесь — берите меньше
Модель поменьше целиком на видеокарте лучше большей наполовину.
Или пусть выберет приложение
GreenCube смотрит на вашу видеокарту и выбирает модель, которая помещается с запасом.
Реальная скорость на 10 ПК, от GTX 1650 до RTX 5060: смотрите здесь.
Вопросы
Что будет, если модель ИИ не помещается в видеопамять?
Часть, которая не поместилась, работает из обычной памяти, и всё замедляется. На нашей видеокарте с 8 ГБ модель, у которой на видеокарте было 28 слоёв, писала 5,9 токена в секунду вместо 35,6 со всеми слоями: в 6 раз медленнее.
Стоит ли запускать самую большую модель ИИ, которую может загрузить моя видеокарта?
Нет. Оставьте место для разговора. Модель на 12 миллиардов параметров поместилась на видеокарту с 8 ГБ для короткого вопроса, а потом упала, когда чат стал длиннее. Модель поменьше, которая помещается с запасом, была быстрее и ни разу не упала.
Сколько видеопамяти оставлять свободной?
GreenCube оставляет около 1,5 ГБ видеокарты свободными для разговора и для Windows. Без этого запаса видеокарта с 4 ГБ осталась без памяти на первом же сообщении.
Ваш собственный ИИ на вашем собственном ПК
GreenCube работает на вашем компьютере: без ограничений, без подписки, без интернета. 9,99 €, оплата один раз.
Купить GreenCube