Развернуть модель в среде vLLM

Перед началом

  • Проверьте. Вход и рабочий контекст подтверждены. Учетной записи разрешено создавать решения. Источник совместим с vLLM; лицензия и правила организации разрешают модель.

  • Подготовьте. Название и разрешенную ссылку вида https://huggingface.co/<владелец>/<модель>. Токен к ссылке не добавляйте.

Выполните

  1. В разделе Сервисы на вкладке Каталог нажмите Развернуть новый сервис и выберите Большая языковая модель.

  2. Заполните Название сервиса и Ссылка на модель на платформе Hugging Face.

  3. В поле Размещение графического процессора (GPU) оставьте Совместно используемый графический процессор (GPU).

  4. Нажмите Расширенные настройки и выберите vLLM (KServe) в поле Среда выполнения.

  5. Нажмите Рассчитать потребление памяти.

  6. Прочитайте Память видеокарты, Политика арендатора и сообщение о размещении.

  7. Только при результатах достаточно и допускает запуск установите флажок Я принимаю текущую оценку.

  8. Нажмите Развернуть сервис.

Ожидаемый результат: портал создает решение и открывает вкладку Развертывания.

Проверьте результат

Нажмите Обновить состояние. Успех подтверждают состояние Готов, заголовок <название> готов к работе, идентификатор операции и точка вызова. При состоянии Разворачивается сохраните идентификатор и дождитесь конечного состояния.

Если не получилось

  • Память видеокарты: недостаточно. Выберите меньшую модель или уменьшите параметры контекста в Параметры выполнения.

  • Политика арендатора: запуск не разрешен. Сохраните требуемую память и название модели и передайте их роли portal-admin.

  • Свободной карты нет. Дождитесь освобождения ресурса или уменьшите потребление памяти.

  • Загрузка видеокарт платформе сейчас не видна. Оценка получена, но размещение не проверено; не считайте это готовностью.

  • Состояние Сбой. Сохраните идентификатор операции, код блокирующего условия и время и передайте их роли portal-admin.

Завершите работу

После теста поместите временное решение в архив по странице «Архивировать временный сервис». К запросу переходите только после состояния Готов.