A Convovo kutatói közel ötszáz amerikai kongresszusi, szenátusi és kormányzóválasztási versenyben kényszerítették egyetlen jelölt megnevezésére a Grok 4.7-et és az OpenAI GPT-6.1 Sol modellt. Bekapcsolt webes keresés mellett a Grok válaszainak 92 százalékában republikánus, a GPT 97 százalékában demokrata jelöltet ajánlott; a két modell az esetek kevesebb mint tizedében értett egyet.
Az eredmény nem azt méri, mit mondana alaphelyzetben a ChatGPT vagy a Grok alkalmazás. A prompt kifejezetten megtiltotta a bizonytalankodást és a két oldal felsorolását, a fogyasztói felületek pedig az eredeti kérésre megtagadták a választ. A teszt fejlesztői API-kon futott, ezért az alkalmazások saját rendszerutasításai és védelmei eltérhetnek.
A forrásválasztásban is más mintázat jelent meg. A Grok gyakran támaszkodott konzervatív választási útmutatókra és az X-re, a GPT pedig többek között a Wikipédiára, az AP-re, az Axiosra és a Redditre. Egy utólagos, mindössze 30 körzetes próba internetes keresés nélkül tovább árnyalta a képet: a GPT demokrata iránya nagyrészt megmaradt, a Grok viszont 27 alkalommal nem választott.
Ez a kis kiegészítő minta nem bizonyítja, hogy az egyik eltérés a modell súlyaiból, a másik pedig kizárólag a keresésből ered. A tanulmány azt mutatja meg, hogy egy szándékosan kierőszakolt döntésben a keresőkifejezések, források és rejtett rendszerutasítások erősen befolyásolhatják a választ. Az OpenAI szerint az API-teszt nem tükrözi a ChatGPT hétköznapi használatát; az xAI nem adott választ a TechCrunchnak a cikk megjelenéséig.
Források: Convovo, TechCrunch