Защо някои отговори са бързи, докато други отнемат много време?
Разграничаване на генерирането от модела, изпълнението на инструменти, одобрението и организацията на контекста.
Времето за изпълнение не се дължи само на генерирането от модела
Кратките въпроси и отговори могат да завършат бързо, но задачите Agent също включват стартиране на инструменти, изпълнение на команди, уеб заявки, обработка на файлове или чакане за одобрение. Дългите контексти могат да бъдат организирани първо, преди да продължат, така че не е точно да се обясняват всички времена на чакане просто като „моделът е бавен“.
Наблюдението дали текущият дисплей показва „мислене“, „изпълнение на инструмент“, „организиране на съдържание“ или „чакане за одобрение“ помага да се идентифицира действителното тясно място.
Управлявайте чакането с етапни цели
За задачи с голям обхват първо получете предварително заключение или контролен списък, след което решете коя част да изследвате в дълбочина. По този начин могат да бъдат получени използваеми резултати по-рано и е по-лесно да се открие дали целта е отклонена.
Например, накарайте задачата първоначално да провери само представителна извадка и да докладва предварителни констатации и очаквани следващи стъпки, вместо да обработва всички материали наведнъж. След като потвърдите, че посоката е правилна, разширете обхвата. Това намалява преработката, причинена от откриване на недоразумения едва след дълго чакане.
- Потвърдете най-актуалната актуализация на статуса и подканите на инструмента.
- Проверявайте операциите своевременно, когато е необходимо одобрение.
- За дълги команди дайте приоритет на продължаването на прегледа на оригиналния разговор, за да избегнете многократно рестартиране.
- Обработвайте явните грешки, когато възникнат, вместо просто да продължавате да чакате.
Как да намалим разходите за задачи
Поискайте приоритизиране на най-вероятните причини, запазване на междинни резултати и изброяване на останалите елементи. Можете да посочите изход само на ключови доказателства и необходими обяснения, след което да разширите при нужда. Превключването на модели може да промени изживяването, но не може да гарантира фиксирани времена за отговор; мрежата, целевият уебсайт и състоянието на локалния компютър също влияят на общото време за завършване.