Prečo sú niektoré odpovede rýchle a iné trvajú dlho?
Odlišujte generovanie modelu, vykonávanie nástrojov, schvaľovanie a usporiadanie kontextu.
Čas nespotrebúva iba generovanie modelu
Krátke otázky a odpovede môžu skončiť rýchlo, ale úlohy Agent zahŕňajú aj spustenie nástrojov, vykonanie príkazov, webové požiadavky, spracovanie súborov alebo čakanie na schválenie. Dlhý kontext sa môže pred pokračovaním najprv usporiadať, preto nie je presné všetko čakanie vysvetliť iba tým, že „model je pomalý“.
Sledovanie toho, či sa zobrazuje premýšľanie, beh nástroja, usporiadanie obsahu alebo čakanie na schválenie, pomáha určiť skutočné úzke miesto.
Riadenie čakania pomocou etapových cieľov
Pri rozsiahlych úlohách najprv získajte predbežný záver alebo kontrolný zoznam a potom rozhodnite, ktorú časť prehĺbiť. Použiteľné výsledky tak získate skôr a ľahšie odhalíte odchýlenie cieľa.
Napríklad nech úloha najprv preverí len reprezentatívnu ukážku a oznámi predbežné zistenia aj očakávané ďalšie kroky namiesto spracovania všetkých materiálov naraz. Rozsah rozšírte po potvrdení správneho smeru. Znížite tým opakovanú prácu spôsobenú nedorozumením odhaleným až po dlhom čakaní.
- Potvrďte najnovšiu aktualizáciu stavu a hlásenia nástrojov.
- Pri potrebe schválenia skontrolujte operácie včas.
- Pri dlhých príkazoch prednostne sledujte pôvodný rozhovor a nespúšťajte ich opakovane.
- Jasné chyby riešte pri ich výskyte namiesto ďalšieho čakania.
Ako znížiť náklady úlohy
Žiadajte uprednostniť najpravdepodobnejšie príčiny, ukladať priebežné výsledky a uviesť zostávajúce položky. Môžete určiť výstup len kľúčových dôkazov a potrebných vysvetlení a potom ho podľa potreby rozšíriť. Zmena modelu môže zmeniť zážitok, ale nezaručí pevné časy odpovede; celkový čas ovplyvňujú aj sieť, cieľový web a stav lokálneho počítača.