Dlaczego niektóre odpowiedzi są szybkie, a inne trwają długo?
Odróżniaj generowanie modelu, wykonywanie narzędzi, zgodę i porządkowanie kontekstu.
Czas zależy nie tylko od generowania modelu
Krótka rozmowa może zakończyć się szybko, ale zadania Agent obejmują też uruchamianie narzędzi, wykonywanie poleceń, żądania internetowe, przetwarzanie plików lub oczekiwanie na zgodę. Długi kontekst może najpierw wymagać uporządkowania, więc wyjaśnianie każdego oczekiwania jako „wolny model” jest nieprecyzyjne.
Obserwacja, czy obecnie trwa myślenie, praca narzędzia, porządkowanie treści czy oczekiwanie na zgodę, pomaga znaleźć rzeczywiste wąskie gardło.
Zarządzaj oczekiwaniem przez cele etapowe
Przy rozległych zadaniach najpierw uzyskaj wstępny wniosek lub listę kontrolną, a potem zdecyduj, co zgłębić. Pozwala to wcześniej uzyskać użyteczny wynik i łatwiej wykryć odejście od celu.
Na przykład na początek zleć sprawdzenie jedynie reprezentatywnej próbki oraz podanie wstępnych ustaleń i przewidywanych dalszych kroków, zamiast przetwarzać wszystko naraz. Po potwierdzeniu kierunku rozszerz zakres. Zmniejsza to powtórną pracę wynikającą z wykrycia nieporozumienia dopiero po długim oczekiwaniu.
- Sprawdź najnowszą aktualizację stanu i komunikaty narzędzi.
- Gdy potrzebna jest zgoda, sprawnie przejrzyj działania.
- Przy długich poleceniach nadal śledź pierwotną rozmowę, zamiast wielokrotnie uruchamiać pracę od nowa.
- Obsługuj wyraźne błędy, gdy wystąpią, zamiast tylko dalej czekać.
Jak ograniczyć koszt zadania
Poproś o priorytetowe sprawdzenie najbardziej prawdopodobnych przyczyn, zapisywanie wyników pośrednich i listę pozostałych elementów. Możesz zażądać tylko kluczowych dowodów i niezbędnych wyjaśnień, rozwijając je później według potrzeb. Zmiana modelu może zmienić wrażenia, ale nie gwarantuje stałego czasu odpowiedzi; sieć, docelowa strona i stan lokalnego komputera także wpływają na całkowity czas wykonania.