agent-desktop: Claude bedient Desktop-Apps auf Mac, Windows und Linux
agent-desktop gibt KI-Agenten Computer Use ohne Screenshots: Es liest die Bedienelemente einer Desktop-App aus und lässt den Agenten gezielt klicken und tippen.
Viele Programme haben keine Schnittstelle. agent-desktop lässt Claude sie trotzdem bedienen, wie ein Mensch, nur über die Bedienelemente statt über Bildschirmfotos.
Worum es geht
agent-desktop gibt KI-Agenten Computer Use auf macOS, Windows und Linux, ohne Screenshots oder Pixelvergleich. Es liest die Bedienelemente einer Desktop-App über die Bedienungshilfen des Systems und gibt sie als strukturierte Daten zurück, jedes Element mit einer Kennung. Der Agent klickt oder tippt auf eine Kennung, liest die Oberfläche erneut und prüft das Ergebnis. Ein eigenes Modell steckt nicht drin, die Steuerung übernimmt dein Agent.
Für Programme ohne Schnittstelle: Claude bedient sie wie ein Mensch, aber schneller und nachvollziehbar.
Wofür du es nutzt
Programme ohne Schnittstelle
Ältere Business-Software oder Spezialtools bedienen.
Wiederkehrende Klickarbeit
Abläufe in Desktop-Apps automatisieren.
Prüfbar
Jeder Schritt wird nachgelesen statt geraten.
So richtest du es ein
Der schnellste Weg: Prompt kopieren, in Claude Code einfügen, Enter. Claude liest die Originalquelle und fragt nach deinem OK, bevor es etwas ändert.
Installier mir agent-desktop von Vercel Labs: https://github.com/vercel-labs/agent-desktop Erklär mir vor der Installation, welche Systemrechte (Bedienungshilfen) agent-desktop braucht und wie ich sie wieder entziehe.
Noch kein Claude Code? So installierst du es →
Oder Schritt für Schritt
- Installieren:
npm install -g agent-desktop - Als Skill für deinen Agenten:
npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop - Dem Terminal in den Systemeinstellungen die Bedienungshilfen-Rechte geben.
Gut zu wissen
- Snapshots und Bildschirminhalte können private Daten enthalten. Nicht in öffentliche Logs hochladen.