Coding-Agents von der Ray-Ban Meta Display steuern

Ein Wochenend-Experiment aus meinem BionicOS-Playground: Meine Claude-Coding-Agents („Marvin“) erreichen mich jetzt auf der Ray-Ban Meta Display. Braucht ein Agent auf dem Mac eine Freigabe, taucht die Frage direkt im Sichtfeld auf — und ich antworte mit einer Fingergeste, von überall in der Wohnung.

Controlling coding agents from smart glasses? Works. 🤖🕶️

Unter der Haube

• Mac-Daemon (Node.js + Claude Agent SDK) hält parallele Coding-Sessions und broadcastet Events per WebSocket.
• Glasses-App: pures Vanilla JS, 600×600 additives Display (Schwarz = transparent), vollständig navigierbar über das EMG-Armband.
• Vision Pro & Brille teilen einen Session-Pool — auf der Brille starten, auf der Vision Pro weitermachen. Zwei Ports, ein State.
• Voice-Input: Task einsprechen → Web Audio API → 16 kHz WAV → whisper.cpp transkribiert lokal auf dem Mac → bestätigen → der Agent legt los. Kein Cloud-STT.

Das grössere Bild

BionicOS ist die Ebene, auf der die Agents die Arbeit machen und der Mensch nur noch dirigiert — vom Spatial Computing bis runter zur Alltagsbrille. Der Agent arbeitet, ich lebe. Das Interface ist nur noch der Rückkanal für „darf ich?“ und „mach“.

Ein Fahrrad für den Kopf

Und das Schönste daran: Genau dieses kleine Wochenend-Experiment nutze ich jetzt, um diesen Eintrag hier zu schreiben. Steve Jobs nannte den Computer einmal ein „Fahrrad für den Kopf“ — ein Werkzeug, das die eigene Kraft vervielfacht. Wir Menschen sind Werkzeugbauer; das ist unsere älteste Fähigkeit. Der Agent baut, ich denke — das Werkzeug tritt in den Hintergrund, die Idee bleibt. Ein Experiment vom Wochenende wird zum Werkzeug, mit dem die nächste Idee entsteht.

---

Dieser Eintrag hält ein Experiment aus dem BionicOS-Lab fest — roh, am Wochenende gebaut, mitten im Sichtfeld. Und mit ebendiesem Werkzeug geschrieben.