6. Входные и выходные данные¶
Модели и модельные наборы¶
Пользователь загружает модель как архив или набор файлов. Поддерживаемые форматы весов:
.safetensors;.gguf;.onnx.
Набор может содержать файлы конфигурации, словаря и правил разбиения текста в форматах .json, .txt, .yaml, .model, .vocab и .tiktoken. Форматы .bin, .ckpt, .pkl, .pt и .pth этот путь не принимает из-за ограничений формата или безопасности.
Предел архива равен 512 MiB. Набор содержит не больше 4096 файлов. Предел каждого сопроводительного файла, кроме весов, равен 8 MiB. Сервер повторно проверяет формат, целостность и безопасность после проверки в браузере.
Метаданные могут содержать название, описание, вид данных и контракт входов и выходов. Импорт возвращает идентификатор выходного материала, вычисленный дайджест, результат проверки, подтвержденные метаданные и подходящие профили среды выполнения.
Образы и определения прикладных сервисов¶
Входом служит ссылка на контейнерный образ либо текст или файл определения Docker Compose в формате .yaml. Дополнительные входы задают тип сервиса, порт, путь проверки готовности, ресурсы, режим публикации маршрута и разрешенные привязки.
Результат содержит карточку решения, состояния компонентов и готовности, диагностические блокировки и доступный маршрут после успешного выпуска. Реестр, домен и пределы ресурсов задает конкретная установка.
Запросы к моделям и прикладным программам¶
Тело запроса определяет контракт решения. Портал принимает запись JSON, поля формы, изображения и ссылки на предварительно загруженные файлы, если это разрешает контракт. Вход модели может содержать именованные тензоры, типы данных и формы.
Ответ содержит состояние вызова и результат со структурой выбранного сервиса. Классификация может вернуть метки или оценки, оптическое распознавание – текст, языковая модель – созданный текст или структурированный ответ. Эти примеры не задают общую схему.
Сценарии с языковой моделью¶
Вход содержит выбранную модель, упорядоченные шаги, шаблоны запросов и данные запуска. Выход содержит идентификатор запуска, общее состояние, результаты шагов, использованную модель и доступные сведения о расходе токенов и задержке.
Конвейеры¶
Порты узлов используют типы объект, текст, строка, число, логическое значение или любой тип. Вход содержит граф, связи, настройки узлов, привязки сервисов и данные запуска.
Выход содержит результат проверки графа, идентификатор запуска, состояние pending, running, succeeded, failed или cancelled, состояния шагов и события выполнения.
Мониторинг и отчеты¶
Мониторинг возвращает показатели качества, дрейф входных и выходных данных, число открытых событий, временные ряды, состояния сервисов и доступные отчеты. Возможные состояния включают норма, предупреждение, критическое состояние и неизвестно.
Показатель не выдается как измеренное значение при недостатке данных или недоступности компонента. Пользователь получает отчеты и события только в пределах своих полномочий. Системные журналы и внутренняя диагностика в этот выход не входят.
Ограничения запросов и ответов¶
Общего предела тела запроса, файла вызова или ответа для всех сервисов нет. Пределы задают контракт сервиса, шлюз и конфигурация установки. Проверяйте их по карточке выбранного решения и ее разделу вызова.