Найкраща локальна модель ШІ для вашого ПК за ОЗП і відеопам'яттю (виміряно)
Коротка відповідь: найкраща локальна модель ШІ для вашого ПК — найбільша з тих, що повністю вміщуються на вашу відеокарту із запасом близько 1,5 ГБ. Немає відеокарти? Тоді мала модель в ОЗП. Менша модель повністю на відеокарті краща за більшу, яка не вміщується: за нашими вимірами така працює ушестеро повільніше. Нижче — вибір для кожного типу ПК, зі швидкістю, яку ми виміряли на 10 реальних ПК.
Найкраща модель для вашого ПК
| Ваш ПК | Який розмір моделі вміститься | Що ми виміряли |
|---|---|---|
| Ноутбук з 8 ГБ, без відеокарти | Мала, близько 2–3 ГБ (Gemma 4 E2B, 2,6 ГБ) | 5–7 ток/с у реальних чатах; спершу закрийте інші застосунки |
| Ноутбук з 16 ГБ, без відеокарти | Мала заради швидкості; близько 4 ГБ працює, але повільно | E2B 14–18 ток/с; E4B 8–10 |
| Відеокарта з 4 ГБ | Близько 2–3 ГБ уміщується повністю; 4 ГБ уже не вміщується | E4B (4,2 ГБ, частково в ОЗП) близько 20 ток/с на GTX 1650 |
| Відеокарта з 6 ГБ | Близько 4–4,5 ГБ | E4B 35–38 ток/с на GTX 1660 Super |
| Відеокарта з 8 ГБ | Близько 4–6 ГБ | E4B 56–72 на сучасних відеокартах (близько 11 на старій RX 580) |
| Відеокарта від 12 ГБ | Близько 6–10 ГБ: моделі класу 12B | E4B 50–55 на 12 ГБ; для довгих чатів 12B потрібно від 10 ГБ |
Кожна відеокарта на своїй сторінці: Чи потягне мій ПК ШІ? Або введіть свою відеокарту в нашу перевірку.
Чому «вміщується» важливіше, ніж «найбільша»
Не вмістилася — і вона повільніша, ніж узагалі без відеокарти
На RX 5700 XT з 8 ГБ Gemma 4 12B писала 35,6 токена за секунду повністю на відеокарті, 5,9 — коли частина її була поза відеокартою, і 4,3 — коли на відеокарті було ще менше: повільніше, ніж менша модель узагалі без відеокарти. Повний тест відеопам'яті.
Уміщується для одного запитання, падає в довгому чаті
Та сама модель 12B умістилася на відеокарту з 8 ГБ для короткого запитання, а потім падала щоразу, коли чат розростався: розмові теж потрібне місце. Саме для цього й потрібен запас у 1,5 ГБ.
Малої часто досить
На ноутбуці з 16 ГБ Gemma 4 E2B дала повну навчальну відповідь за 20 секунд і правильно відповіла на 5 з 5 швидких перевірок фактів; E4B пояснила краще, але витратила 112 секунд. E2B проти E4B, виміряно.
Моделі, які ми виміряли
| Модель | Розмір файлу | Найкраще на | Ліцензія |
|---|---|---|---|
| Gemma 4 E2B | 2,6 ГБ | Ноутбуках з 8–16 ГБ ОЗП | Apache 2.0 |
| Gemma 4 E4B | 4,2 ГБ | Відеокартах від 6 ГБ | Apache 2.0 |
| Gemma 4 12B | близько 6,4 ГБ | Відеокартах з 10–12 ГБ і більше | Apache 2.0 |
Це файли, які постачаються з GreenCube, і єдині, які ми заміряли, тому швидкість ми наводимо лише для них. Інші родини моделей підкоряються тому самому правилу: подивіться розмір файлу, додайте близько 1,5 ГБ і порівняйте зі своєю відеопам'яттю. Докладні вимоги Gemma 4.
Як перевірити відеопам'ять
- Натисніть Ctrl + Shift + Esc, щоб відкрити Диспетчер завдань.
- Перейдіть на вкладку Продуктивність, потім виберіть Графічний процесор.
- Виділена пам'ять графічного процесора — це ваша відеопам'ять. Виділеної пам'яті немає? Використовуйте малу модель в ОЗП.
Не хочете вибирати взагалі? GreenCube дивиться на вашу відеокарту й ОЗП і вибирає модель, яка вміщується із запасом. Безкоштовні застосунки на кшталт LM Studio, Jan і Ollama дають вибрати самому: 12 застосунків у порівнянні.
Запитання
Яка локальна модель ШІ найкраща?
Найбільша модель, яка повністю вміщується на вашу відеокарту із запасом близько 1,5 ГБ. Менша модель повністю на відеокарті краща за більшу, яка переходить в ОЗП: у нашому тесті модель, частина якої не вмістилася на відеокарту з 8 ГБ, працювала вшестеро повільніше.
Яка локальна модель ШІ найкраща для ноутбука без відеокарти?
Мала. Gemma 4 E2B (2,6 ГБ) у реальних чатах писала від 14 до 18 токенів за секунду на ноутбуці з 16 ГБ і від 5 до 7 на ноутбуці з 8 ГБ; більша E4B витратила 112 секунд на відповідь, яку E2B дала за 20.
Яка локальна модель ШІ найкраща для відеокарти з 8 ГБ?
Модель приблизно на 4–5 ГБ, наприклад Gemma 4 E4B (4,2 ГБ): на ігрових відеокартах з 8 ГБ вона писала від 56 до 72 токенів за секунду. Модель на 12 мільярдів параметрів уміщувалася для коротких запитань, але падала в довгих чатах.
Як дізнатися, чи вміститься модель на мою відеокарту?
Візьміть розмір файлу моделі й додайте близько 1,5 ГБ на розмову і Windows. Якщо вийшло менше, ніж виділена пам'ять графічного процесора вашої відеокарти (Диспетчер завдань, Продуктивність, Графічний процесор), модель уміститься.
Чи треба вибирати модель самому?
У безкоштовних застосунках на кшталт LM Studio, Jan або Ollama — так. GreenCube дивиться на вашу відеокарту й ОЗП і сам вибирає модель, яка підходить.
Ваш власний ШІ на вашому власному ПК
GreenCube працює на вашому комп'ютері: без обмежень, без підписки, без інтернету. 9,99 €, оплата один раз.
Придбати GreenCube