Скачивание датасета
Скачивание датасета
Скачать датасет из Arka AI можно несколькими способами — от простого скачивания через браузер до клонирования через Git LFS для версионированных наборов. Выберите способ, который лучше всего подходит для вашего сценария использования.
Все публичные датасеты доступны для скачивания любым пользователем платформы. Приватные датасеты может скачать только владелец и участники организации, к которой датасет привязан.
Способы скачивания
1. Прямое скачивание из интерфейса
Самый простой способ — скачать датасет прямо со страницы его карточки:
- Откройте страницу датасета — перейдите в список датасетов (
/{username}/datasets) и кликните по нужному. - На карточке датасета нажмите кнопку «Скачать».
- Браузер начнёт загрузку архива со всеми файлами датасета.
Для небольших датасетов (до нескольких сотен мегабайт) этот способ наиболее удобен. Для крупных датасетов рекомендуется использовать Git LFS или API.
2. Клонирование через Git LFS
Если датасет поддерживает версионирование через Git LFS, вы можете клонировать его как Git-репозиторий:
- На карточке датасета найдите секцию «Клонировать» — там будет URL для git clone.
- Убедитесь, что у вас установлен Git LFS (
git lfs install). - Выполните клонирование командой:
git clone https://arka-ai.ru/datasets/{username}/{dataset-name}.gitGit LFS автоматически скачает крупные файлы и позволяет отслеживать обновления датасета со временем.
3. Скачивание через API
Для автоматизации или интеграции в скрипты используйте API:
curl -X GET "https://api.arka-ai.ru/api/datasets/{username}/{dataset-name}/download" \
-H "Authorization: Bearer <ваш_api_ключ>"API возвращает прямую ссылку на скачивание архива. Подробнее об аутентификации — в разделе API-ключи.
Форматы файлов
Датасеты в Arka AI могут содержать файлы в одном из следующих форматов:
| Формат | Типичное применение |
|---|---|
| CSV | Табличные данные, логи, метрики |
| JSONL | Данные для тонкой настройки LLM (пары prompt/ответ) |
| Parquet | Крупные структурированные датасеты для аналитики |
| TSV | Табличные данные с табуляцией как разделителем |
| TXT | Текстовые корпуса для языковых моделей |
| PNG/JPG | Изображения для обучения моделей компьютерного зрения |
Формат файлов указывается при загрузке датасета и отображается на его карточке.