Скільки відеопам'яті потрібно для ШІ? Чому модель має вміщуватися на відеокарту
Коротка відповідь: ШІ, який повністю вміщується в пам'ять відеокарти (відеопам'ять, VRAM), працює швидко. Той, що не вміщується, повільніший, ніж узагалі без відеокарти, і може впасти. Менша модель повністю на відеокарті краща за більшу наполовину.
Тест
Настільний ПК з AMD RX 5700 XT (8 ГБ відеопам'яті) і 48 ГБ ОЗП. Ми завантажили модель на 12 мільярдів параметрів (Gemma 4 12B, близько 6,2 ГБ) і розміщували на відеокарті більшу чи меншу її частину, усе в одній сесії у вересні 2026 року.
| Яка частина моделі була на відеокарті | Написання (ток/с) |
|---|---|
| Уся | 35,6 |
| 28 шарів | 5,9 |
| 20 шарів | 4,3 |
| Для порівняння: менша модель (Gemma 4 E4B) лише на процесорі | 5,0 |
| Та сама менша модель, повністю на відеокарті | 72,5 |
Що ми дізналися
1. Усе або нічого
Варто було залишити поза відеокартою лише частину моделі, і вона стала ушестеро повільнішою. З 20 шарами на відеокарті вона була повільнішою за меншу модель узагалі без відеокарти. Наполовину на відеокарті — найгірше з двох світів.
2. Найбільша — не найкраща
Модель 12B справді повністю вмістилася на відеокарту з 8 ГБ — для одного короткого запитання. Коли чат зростав, вона щоразу падала: на відеокарті майже не лишалося місця для розмови. Менша модель мала близько 3 ГБ запасу й працювала зі швидкістю 63–72 токени за секунду.
3. Лишайте запас
На GTX 1650 з 4 ГБ модель на 4,2 ГБ утиснули на відеокарту з 3,9 ГБ, і вже перше повідомлення завершилося помилкою «недостатньо пам'яті». Тепер GreenCube тримає близько 1,5 ГБ відеокарти вільними для чату і для Windows.
Як вибрати модель для своєї відеокарти
Перевірте відеопам'ять
Диспетчер завдань → Продуктивність → Графічний процесор → Виділена пам'ять графічного процесора.
Розмір моделі + 1,5 ГБ
Файл моделі плюс близько 1,5 ГБ мають уміщуватися в це число.
Сумніваєтеся — беріть меншу
Менша модель повністю на відеокарті краща за більшу наполовину.
Або нехай вибере застосунок
GreenCube дивиться на вашу відеокарту й вибирає модель, яка вміщується із запасом.
Реальна швидкість на 10 ПК, від GTX 1650 до RTX 5060: дивіться тут.
Запитання
Що буде, якщо модель ШІ не вміщується у відеопам'ять?
Частина, яка не вмістилася, працює зі звичайної пам'яті, і все сповільнюється. На нашій відеокарті з 8 ГБ модель, у якої на відеокарті було 28 шарів, писала 5,9 токена за секунду замість 35,6 з усіма шарами: ушестеро повільніше.
Чи варто запускати найбільшу модель ШІ, яку може завантажити моя відеокарта?
Ні. Залиште місце для розмови. Модель на 12 мільярдів параметрів умістилася на відеокарту з 8 ГБ для короткого запитання, а потім упала, коли чат став довшим. Менша модель, яка вміщується із запасом, була швидшою і жодного разу не впала.
Скільки відеопам'яті лишати вільною?
GreenCube лишає близько 1,5 ГБ відеокарти вільними для розмови і для Windows. Без цього запасу відеокарті з 4 ГБ забракло пам'яті на першому ж повідомленні.
Ваш власний ШІ на вашому власному ПК
GreenCube працює на вашому комп'ютері: без обмежень, без підписки, без інтернету. 9,99 €, оплата один раз.
Придбати GreenCube