Как диагностировать время запроса и задержку?

Разделите подключение, время до первого Token и полное время ответа, затем сравните модель, контекст и сеть.

Шаги

1. Запишите DNS/TLS, первый байт, первый Token и общее время.
2. Создайте базовую линию коротким prompt и обычным запросом.
3. Сравните модели, регионы, concurrency и периоды наблюдения.

Ограничения и исключения

Длина генерации, tool calls, upstream-очередь и сеть влияют на задержку; один результат не является SLA.