1. Введение

Развёртывание больших языковых моделей (LLM) в реальном проекте требует решения двух задач:

1. Хранения модели – какие форматы файлов используются для сериализации весов, архитектурных метаданных и вспомогательных данных.
2. Выполнения (inference) – какой движок инференса будет преобразовывать сохранённый формат в оптимизированный runtime‑поток, управлять памятью, распараллеливать вычисления и поддерживать требуемый уровень производительности.

В этом пособии рассматриваются основные форматы модели и главные inference‑движки, их преимущества/ограничения, а также практические рекомендации по выбору для разных сценариев.

2. Форматы модели

Кратко: для исследований удобно использовать native‑форматы; для безопасного распределения – safetensors; для локального использования – GGUF; для универсального переноса – ONNX; для максимального ускорения на NVIDIA – TensorRT Engine.

3. Движки инференса (inference engines)

4. Сравнительный анализ

4.1. Таблица характеристик

4.2. Критерии выбора

5. Практические сценарии использования

5.1. Локальный запуск модели LLaMA‑3 8B на CPU

1. Скачивание: wget https://huggingface.co/meta-llama/Llama-3-8B/resolve/main/model.pth.
2. Конвертация в GGUF:

   python convert_hf_to_gguf.py --input model.pth --output llama3-8b.Q4_K_M.gguf --quantize Q4_K_M
   

3. Запуск:

   ./main -m llama3-8b.Q4_K_M.gguf -p "Какая погода сегодня?"
   

Преимущества: Нет необходимости в GPU, потребление RAM ≈ 4 GB, быстрый старт.

5.2. Высокопроизводительный сервис чат‑бота на базе Llama‑2 70B

1. Модель: Скачивание safetensors‑версии Llama-2-70B.safetensors.
2. Создание TensorRT‑engine:

   trtllm-build \
     --model_dir /path/to/llama2-70b \
     --engine_dir /output/engine \
     --max_batch_size 8 \
     --max_input_len 1024 \
     --max_output_len 256 \
     --dtype fp8 \
     --quantization awq
   

3. Развёртывание через Triton Inference Server с бекендом tensorrt_llm.
4. API‑запрос → ответ < 60 мс.
   Преимущества: Минимальная латентность, масштабируемость до тысяч одновременных запросов, поддержка FP8/AWQ.

5.3. Исследовательский эксперимент с новыми квантованиями

1. Сохранить модель в native‑формате torch.save(model.state_dict(), "model.pt").
2. Конвертировать в ONNX:

   torch.onnx.export(model, dummy_input, "model.onnx",
                     opset_version=17, verbose=False)
   

3. Запуск через vLLM с флагом --dtype fp16 и измерение throughput:

   python benchmark.py --model model.onnx --dtype fp16 --num_prompts 1000
   

Цель: Сравнить влияние разных схем квантования (FP16, INT8, INT4) на пропускную способность и потребление памяти.

6. Выводы

• Формат модели определяет, как её параметры хранятся и какие метаданные доступны. Наиболее практичные сегодня: Safetensors (безопасность + скорость), GGUF (универсальность + возможность лёгкой квантования), ONNX (универсальный мост) и TensorRT Engine (максимальная производительность на NVIDIA GPU).
• Выбор inference‑движка полностью зависит от:
  • объёма запросов (throughput),
  • требуемой латентности,
  • аппаратных ресурсов (CPU vs GPU),
  • уровня операционной сложности и требований к продакшен‑модульности.
• Для массового развертывания в облаке или на серверах с GPU optimal решения – vLLM, TensorRT‑LLM и TGI.
• Для локального прототипирования или ограниченных ресурсов лучше подходят llama.cpp (GGUF) и ONNX Runtime.
• При выборе квантования следует оценивать компромисс между экономией памяти и падением качества генерируемого текста; типичные схемы – Q4_K_M / IQ4_XS (CPU), AWQ / GPT‑Q (GPU), INT8/FP8 (TensorRT).

7. Полезные ссылки (актуальны на 30.01.2026)

Как использовать это пособие

1. Определите цель (local CPU, cloud throughput, low‑latency GPU).
2. Выберите формат модели, соответствующий выбранному сценарию.
3. Подберите движок из таблицы 4.1, проверяя поддерживаемый формат.
4. Следуйте инструкциям из раздела 5 для конвертации, построения engine и запуска.
5. Мониторьте метрики (throughput, latency, память) и, при необходимости, переходите к оптимизации (квантование, batch‑size, tensor‑parallel).