Чому одні відповіді швидкі, а інші потребують багато часу?
Розрізняйте генерацію моделі, виконання інструментів, схвалення та впорядкування контексту.
Час витрачається не лише на генерацію моделі
Коротке запитання може отримати швидку відповідь, але завдання Agent також включають запуск інструментів, виконання команд, вебзапити, опрацювання файлів або очікування схвалення. Довгий контекст може спочатку впорядковуватися, тому пояснювати все очікування словами «модель повільна» неточно.
Подивіться, чи показано міркування, роботу інструмента, впорядкування вмісту або очікування схвалення: це допоможе знайти справжню причину затримки.
Керуйте очікуванням за допомогою проміжних цілей
Для великих завдань спочатку отримайте попередній висновок або контрольний список, а потім визначте, яку частину досліджувати глибше. Так корисний результат з'являється раніше й легше помітити відхилення від мети.
Наприклад, спочатку перевірте лише показовий приклад і попросіть попередні висновки та очікувані наступні кроки замість опрацювання всіх матеріалів одразу. Переконавшись у правильності напрямку, розширюйте межі. Це зменшує перероблення через непорозуміння, виявлені після довгого очікування.
- Перевірте останнє оновлення стану й підказки інструментів.
- Коли потрібне схвалення, своєчасно перевіряйте операції.
- Для довгих команд насамперед продовжуйте стежити за початковою розмовою, уникаючи повторних запусків.
- Розбирайтеся з явними помилками одразу, замість просто продовжувати чекати.
Як зменшити витрати завдання
Попросіть спочатку перевіряти найімовірніші причини, зберігати проміжні результати й перелічувати решту пунктів. Можна замовити лише ключові докази та потрібні пояснення, а потім розширювати за потреби. Зміна моделі може змінити враження, але не гарантує сталої тривалості відповіді: мережа, цільовий сайт і стан локального комп'ютера також впливають на загальний час.