Прочитать показатели большой языковой модели¶

Перед началом¶

Проверьте. Вход выполнен, а решение большой языковой модели или сценарий существует. Для агрегатов нужен хотя бы один запрос; состояние трассировки появляется только при фактических данных контура сбора показателей.
Подготовьте. Название модели или сценария, примерное время последнего запуска и идентификатор запуска для разбора отдельного случая.

Выполните¶

Откройте Мониторинг больших языковых моделей (LLM) и нажмите Обновить.
Прочитайте плитки Готовые большие языковые модели, Токены за окно, Средняя задержка и Сохраненные трассировки.
В таблице Большие языковые модели и готовность среды выполнения найдите модель.
В ее строке прочитайте готовность среды, число токенов, задержку и состояние трассировки.
Открывайте Трассировку Langfuse только при наличии разрешенной ссылки.
В блоке Токены, стоимость и сигналы качества прочитайте ошибки, отказы и запасные переходы.
В блоке Последние сценарии больших языковых моделей найдите сценарий и время его последнего запуска.

Ожидаемый результат: по модели показаны значения или точные состояния отсутствия данных, а по сценарию - время запуска либо Не запускался.

Проверьте результат¶

Среда выполнения не готова не позволяет считать модель готовой по наличию строки.
Ноль отличается от отсутствующей метрики; знак – означает, что значение не опубликовано.
Трассировка сохранена в Langfuse подтверждает трассировку. Трассировка заблокирована политикой конфиденциальности не означает ошибку модели.
Сводка мониторинга недоступна не подтверждает отсутствие запросов.
Оценка стоимости не является счетом. Этот экран не показывает дрейф модели машинного обучения.

Запись проверки содержит модель, готовность среды, токены, задержку, состояние трассировки и время.

Если не получилось¶

Большие языковые модели пока не найдены. Проверьте, что решение создано и связано с моделью.
Пока нет трассировок за окно. Выполните разрешенный тестовый запрос и обновите страницу.
Метрики больших языковых моделей сейчас недоступны. Не считайте это отсутствием трафика; сохраните время и модель.
Трассировка устарела. Сравните время запуска и последней трассировки.
Не удалось загрузить мониторинг больших языковых моделей или рост счетчика ошибок. Нажмите Повторить один раз. При повторе сохраните время и идентификатор запуска и передайте их роли system-admin или portal-admin по наблюдаемой причине.

Завершите работу¶

Экран не удаляет трассировки и агрегаты. Не очищайте их прямым вызовом. Чтобы остановить новые обращения, отзовите ключ сервиса или закройте внешний доступ к сценарию.