NVIDIA GPU
NVIDIA GPU
Arka AI предоставляет доступ к вычислительным ресурсам на базе GPU NVIDIA — основного вендора платформы. В этом справочнике собраны доступные модели NVIDIA GPU, их технические характеристики и рекомендации по выбору под конкретные задачи.
Доступные модели
| Модель | VRAM | CUDA-ядра | Tensor-ядра | Типичные сценарии |
|---|---|---|---|---|
| H100 | 80 ГБ | 14 592 | 456 | Тренировка больших LLM, высоконагруженный инференс |
| A100 | 40/80 ГБ | 6 912 | 432 | Инференс LLM, тренировка, fine-tuning |
| A10 | 24 ГБ | 9 216 | 288 | Embeddings, изображения (SD), ASR |
| T4 | 16 ГБ | 2 560 | 320 | Лёгкий инференс, OCR, batch-обработка |
| L40S | 48 ГБ | 18 176 | 568 | Инференс LLM среднего размера, многозадачность |
Выбор GPU под задачу
Выбор GPU зависит от объёма модели и требуемой производительности:
- Инференс LLM (70B+): A100 или H100 — модели уровня Llama-3 70B, Qwen 72B и аналоги требуют 40+ ГБ VRAM
- Инференс LLM (7B–13B): A10 или L40S — модели поменьше умещаются в 24 ГБ, обеспечивая хорошую скорость при меньшей стоимости
- Embeddings и RAG: A10 — векторные модели компактны и не требуют предельной производительности
- Stable Diffusion / изображения: A100 или A10 — зависит от разрешения и сложности workflow
- OCR и лёгкие задачи: T4 — минимальная достаточная конфигурация
При выборе учитывайте не только VRAM, но и количество Tensor-ядер — они критичны для скорости инференса современных моделей смеси экспертов.
Цены
Цены на аренду GPU указаны в рублях (₽) и варьируются в зависимости от модели GPU, региона и уровня хранилища. Точные почасовые ставки для каждой конфигурации отображаются в GPU-маркетплейсе при выборе конфигурации. Итоговая стоимость зависит также от длительности аренды и выбранного типа вычисления.