Загрузка датасета

Загрузка датасета

Загрузка датасета в Arka AI позволяет вам сохранить набор данных в платформе, сделать его доступным для других пользователей (опционально) и использовать в ML-пайплайнах или для тонкой настройки моделей. Процесс занимает несколько минут и требует заполнения метаданных для корректного отображения датасета в каталоге.

Пошаговая инструкция

Шаг 1: Перейти к списку датасетов

Откройте панель управления и перейдите на вкладку датасетов — /{username}/datasets. Здесь отображаются все ваши текущие датасеты и находится кнопка создания нового.

Шаг 2: Начать загрузку

Нажмите кнопку «Загрузить» (или «Новый датасет») в верхней части страницы. Откроется форма создания датасета.

Шаг 3: Выбрать файлы

В первом разделе формы нажмите на область загрузки или перетащите файлы в неё. Вы можете выбрать несколько файлов одновременно — они будут объединены в один датасет.

Поддерживаемые форматы: CSV, JSONL, Parquet, TSV, TXT, PNG, JPG. Максимальный размер одного файла зависит от конфигурации платформы — для локальной dev-версии ограничений нет, для production-развёртываний уточните у администратора.

Шаг 4: Заполнить метаданные

Заполните обязательные поля:

• Название — уникальное имя датасета (латиница, цифры, дефисы и подчёркивания). Будет использоваться в URL.
• Описание — текстовое описание: что содержит датасет, для каких задач подходит, источник данных. Рекомендуемая длина: 2-5 предложений.
• Лицензия — выберите из списка: MIT, Apache 2.0, CC-BY-4.0, CC-BY-SA-4.0, CC0, GPL-3.0, или укажите «Другая».
• Теги (опционально) — ключевые слова для облегчения поиска, разделённые запятыми.

Шаг 5: Настроить видимость

Выберите уровень доступа к датасету:

• Приватный — датасет виден только вам. Файлы не отображаются в публичном поиске и недоступны другим пользователям.
• Публичный — датасет виден всем пользователям платформы, доступен для скачивания и использования в ML-пайплайнах.
• Организация — датасет виден всем участникам вашей организации. Не отображается в глобальном поиске.

Вы можете изменить видимость позже через редактирование метаданных на карточке датасета.

Шаг 6: Подтвердить загрузку

Проверьте заполненные данные и нажмите «Загрузить». Платформа начнёт обработку файлов и создание датасета. В зависимости от размера файлов процесс может занять от нескольких секунд до нескольких минут.

После завершения вы будете перенаправлены на карточку нового датасета, где сможете проверить загруженные файлы и метаданные.

Требования к файлам

Параметр	Значение
Форматы	CSV, JSONL, Parquet, TSV, TXT, PNG, JPG
Кодировка текста	UTF-8 (рекомендуется)
Имена файлов	Латиница, цифры, дефисы, подчёркивания
Максимальный размер	Зависит от конфигурации инстанса
Количество файлов	Не ограничено (в пределах размера)

Текстовые файлы в кодировках, отличных от UTF-8, могут отображаться некорректно. Рекомендуется конвертировать данные в UTF-8 перед загрузкой.

Метаданные

Каждое поле метаданных служит определённой цели:

Поле	Обязательное	Назначение
Название	Да	Идентификатор датасета в URL и поиске
Описание	Да	Помогает другим пользователям понять содержимое и применимость
Лицензия	Да	Определяет правовой режим использования данных другими пользователями
Теги	Нет	Упрощают поиск датасета по тематике
Видимость	Да	Контролирует, кто может видеть и скачивать датасет

Корректно заполненные метаданные облегчают поиск вашего датасета другими пользователями и повышают доверие к данным.