Что такое веса модели: где живёт интеллект нейросети

ChatGPT весит гигабайты. Llama 70B — почти 140 гигабайт. Но что там внутри? Не код — он занимает мегабайты. Основной объём — это веса модели. Именно в них хранится всё, что нейросеть «знает».

Что такое веса

Веса (weights) — это числа. Миллиарды чисел.

Каждое число определяет силу связи между «нейронами» в нейросети. Именно эти числа модель «выучивает» во время тренировки.

Но что именно хранится в этих гигабайтах?

Аналогия: Представьте мозг человека. В нём ~86 миллиардов нейронов, связанных между собой. Сила каждой связи определяет, как мы думаем. Веса нейросети — это сила связей между её «нейронами».

Откуда берутся веса

Веса появляются в результате обучения:

1. 📚 Модели показывают огромное количество текстов
2. 🔄 Она пытается предсказать следующее слово
3. ❌ Ошибается — веса корректируются
4. ✅ Угадывает — веса закрепляются
5. 🔁 Повторяем миллиарды раз

Аналогия: Это как прокладывание тропинок в лесу. Идёте часто — тропинка становится дорогой. Идёте редко — зарастает.

Сейчас покажу на примере.

Параметры и веса — это одно и то же?

Почти.

• Параметр — это любое настраиваемое значение в модели
• Вес — это конкретный тип параметра (сила связи)

Когда говорят «модель на 7 миллиардов параметров» (7B), имеют в виду 7 миллиардов весов.

| Модель | Параметры | Размер файла |

|--------|-----------|--------------|

| Phi-2 | 2.7B | ~5 ГБ |

| Llama 2 7B | 7B | ~14 ГБ |

| Llama 2 70B | 70B | ~140 ГБ |

| GPT-4 (оценка) | ~1.8T | ? |

Почему модели такие огромные

Вот почему модели такие огромные.

Каждый параметр — это число. Обычно число занимает:

• FP32 — 4 байта (полная точность)
• FP16 — 2 байта (половинная точность)
• INT8 — 1 байт (после квантизации)

Расчёт для Llama 70B:

70 000 000 000 параметров × 2 байта = 140 ГБ

Миллиард чисел — это гигабайт. 70 миллиардов — 70+ гигабайт.

Веса — это «мозг» модели

Важно понять:

• 📝 Код нейросети — это просто «скелет» (несколько МБ)
• 🧠 Веса — это «мозг» с выученными знаниями (гигабайты)

Один и тот же код может запускать разные модели. Разница — только в весах.

Аналогия: Веса — как мозг в банке. Скачал файл — получил «мозг» нейросети со всеми её знаниями.

Форматы файлов весов

Если захотите скачать открытую модель, встретите такие форматы:

| Формат | Описание |

|--------|----------|

| **.safetensors** | Безопасный формат от Hugging Face |

| **.gguf** | Оптимизирован для локального запуска |

| **.bin / .pt** | PyTorch формат |

Для локального запуска через Ollama или LM Studio обычно используют .gguf.

📖 Словарик

• Веса (weights) — числовые значения связей между нейронами в сети
• Параметры — все настраиваемые значения модели (включая веса)
• 7B, 70B — миллиарды параметров (Billion)
• FP16, INT8 — форматы хранения чисел (точность)
• safetensors, GGUF — форматы файлов для хранения весов

📅 Актуально на: январь 2026

Теперь понятно, почему модели такие тяжёлые? Или есть вопросы? Пишите — разберёмся вместе!

Если статья была полезной — подписывайтесь, будет ещё много интересного!