Egy ügyfélszolgálati AI végigjárhatja a szükséges eszközöket, majd hibásan lezárhat egy megoldatlan ügyet. A Microsoft és a Hugging Face október 3-i ThinkingBox-bemutatójának egyik példájában éppen ez történik: a sikeresnek látszó műveletsor végén rossz státusz marad az adatbázisban.
A ThinkingBox ezért a háttérrendszer végállapotát ellenőrzi. Megnézi, hogy megtörtént-e az előírt változás, megfelelő rekordot módosított-e az ügynök, és keletkezett-e fölösleges mellékhatás. A hozzá tartozó benchmark 507 üzleti munkafolyamatot fed le; a bemutatott értékelésben minden feladatot húszszor futtatnak, azonos tiszta kiinduló állapotból.
Három külön kérdés válik így láthatóvá: milyen gyakran sikerül egy próbálkozás, sikerül-e legalább egyszer húszból, illetve sikerült-e mind a húsz megfigyelt futás. Az utóbbi szigorúbb jelzés, de még az sem bizonyítja, hogy a rendszer később sosem hibázik.
A friss bemutató az OpenEnv-környezeten keresztüli használatot is ismerteti. Maga a tanulmány először augusztusban jelent meg az arXivon, legutóbbi változata október 1-jei: nem most született kutatásként kell olvasni. Az eredmények ellenőrzött tesztkörnyezetekre vonatkoznak, nem minden éles ügyfélszolgálatra.
Fejlesztőként a hasznos tanulság az ellenőrzés helye: a befejezést érdemes az elvárt állapotváltozáshoz kötni. Egy hibamentes API-válasz vagy magabiztos zárómondat önmagában nem igazolja, hogy a feladat elkészült.
Források: Microsoft és Hugging Face – ThinkingBox, a tanulmány, arXiv v4.