Mi történne, ha egy nyelvi modell tanításakor apró változtatásokkal keresnénk a javulás irányát? A Q Labs októberi Dust-kutatása ezt vizsgálja. A módszer a hálózat belső aktivációit, vagyis feldolgozás közben keletkező értékeit zavarja meg, majd megfigyeli, mely változtatások csökkentették a hibát.
A szokásos hibavisszaterjesztés helyett sok ilyen próba eredményéből becsülik meg a súlyok módosításának irányát. A tokenenként eltérő zavarások párhuzamos vizsgálata segít összegyűjteni a tanuláshoz szükséges jelet. Ez továbbra is súlyfrissítéssel járó modelltréning, nem egy kész chatbotnak adott különleges utasítás.
A szerzők kísérleteiben a nagyobb próbapopuláció közelebb vitte az eredményt a hagyományos eljáráshoz; egyes beállításokban jobb eredményt is mértek. Ennek ára lényegesen több számítás lehet. A közlés tehát nem azt bizonyítja, hogy mostantól olcsóbban tanítható egy mai csúcsmodell, és az eredményeket nem reprodukáltuk.
A nyilvános minimális megvalósítás Linuxot és bfloat16-támogatású NVIDIA GPU-t igényel. A README külön jelzi, hogy a teljes kísérletek végrehajtási optimalizálásait nem tartalmazza, ezért a rövid példakód sebessége nem azonos a kutatási rendszerével.
A munka egy lehetséges tanítási irányt tesz vizsgálhatóvá. A döntő kérdés az marad, hogy a módszer előnyei nagyobb léptékben is ellensúlyozzák-e a sok próba költségét.
Források: Q Labs – eredeti kutatási közlés, Dust – minimális megvalósítás.