A GitHub október 1-jén nyilvános előnézetben elérhetővé tette a számítógép-használatot a Copilot CLI-ben és a Copilot appban macOS-en és Windowson. A Copilot így nemcsak parancsokat és API-kat használhat: hozzáférhető alkalmazástartalmat és vizuális környezetet olvashat, vezérlőket kezelhet, szöveget írhat be, görgethet és elemeket mozgathat.
Ez főleg az olyan régi vagy grafikus programoknál érdekes, amelyekhez nincs használható API, parancssor vagy MCP-integráció. A GitHub példái között böngészős értesítések összefoglalása, prezentációk módosítása és több asztali alkalmazáson átívelő munkafolyamatok szerepelnek.
A vezérlés felhasználói jóváhagyáshoz kötött. macOS-en külön Accessibility és Screen Recording jogosultságok szükségesek, a szervezeti adminisztrátorok pedig letilthatják a funkciót. A nyilvános előnézet ezért nem jelent korlátlan hozzáférést a teljes asztalhoz.
Forrás: GitHub – Copilot computer use.