Развернуть модель в среде llama.cpp

Перед началом

  • Проверьте. Вход и рабочий контекст подтверждены. Учетной записи разрешено создавать решения. Лицензия и правила организации разрешают модель.

  • Подготовьте. Название, разрешенную ссылку вида https://huggingface.co/<владелец>/<модель> и точное имя файла с расширением .gguf. Токен к ссылке не добавляйте.

Выполните

  1. В разделе Сервисы на вкладке Каталог нажмите Развернуть новый сервис и выберите Большая языковая модель.

  2. Заполните Название сервиса и Ссылка на модель на платформе Hugging Face.

  3. В поле Размещение графического процессора (GPU) оставьте Совместно используемый графический процессор (GPU).

  4. Нажмите Расширенные настройки и выберите llama.cpp (KServe) в поле Среда выполнения.

  5. В поле Файл модели в формате GGUF введите точное имя файла.

  6. Нажмите Рассчитать потребление памяти.

  7. Прочитайте Память видеокарты, Политика арендатора и сообщение о размещении.

  8. Только при результатах достаточно и допускает запуск установите флажок Я принимаю текущую оценку.

  9. Нажмите Развернуть сервис.

Ожидаемый результат: портал создает решение и открывает вкладку Развертывания.

Проверьте результат

Нажмите Обновить состояние. Успех подтверждают состояние Готов, заголовок <название> готов к работе, идентификатор операции и точка вызова. При состоянии Разворачивается сохраните идентификатор и дождитесь конечного состояния.

Если не получилось

  • Укажите корректное имя файла модели в формате GGUF. Введите имя, которое оканчивается на .gguf.

  • Память видеокарты: недостаточно. Выберите меньшую модель или уменьшите параметры контекста в Параметры выполнения.

  • Политика арендатора: запуск не разрешен. Сохраните требуемую память и название модели и передайте их роли portal-admin.

  • Свободной карты нет или Загрузка видеокарт платформе сейчас не видна. Дождитесь ресурса; второе сообщение не подтверждает готовность размещения.

  • Состояние Сбой. Сохраните идентификатор операции, код блокирующего условия и время и передайте их роли portal-admin.

Завершите работу

После теста поместите временное решение в архив по странице «Архивировать временный сервис». К запросу переходите только после состояния Готов.