MirandaDas Eye-Tracking-Toolkit

Mit Miranda kannst du deine Augen nutzen, um deine Maus und mehr zu steuern.
Die Nutzung ist einfach:

• Wähle eine Eingabequelle, z. B. die integrierte Eye-Tracking-Funktionalität oder eine externe Anwendung wie Pupil Core,
• kalibriere deine Augen auf deinen Bildschirm,
• und lasse die Maus dorthin bewegen, wo du hinschaust, oder übertrage die Bildschirmposition per UDP an andere Anwendungen.

Alles, was du brauchst, ist eine Eye-Tracking-Brille, also im Grunde eine USB-Kamera vor deinem Auge.

Download Miranda ​

Der einfachste Weg, Miranda zu nutzen, ist der Download der Anwendung: Download für Windows, Download für Linux
Unter Linux zusätzlich espeak-ng installieren: apt install espeak-ng

Sieh dir auch unsere Release Notes an – dort findest du auch Prüfsummen und Fingerprints – oder unser Git-Repository, wenn du das Projekt direkt aus dem Quellcode ausführen möchtest.

Funktionsweise ​

Kurz gesagt gibt es drei Komponenten: Eingaben, Tracking-Ansätze und Ausgaben.
Eine Eingabe liefert Eye-Tracking-Daten. Diese Daten werden mithilfe eines Tracking-Ansatzes in Bildschirmkoordinaten umgerechnet und anschließend durch eine Ausgabe genutzt oder veröffentlicht. Jede Kombination aus Eingabe und Tracking-Ansatz erfordert eine vorherige Kalibrierung.

Eingaben ​

Eine Eingabe ist die Quelle der Eye-Tracking-Daten. Die Daten können z. B. die Yaw- und Pitch-Rotation deiner Augen in Grad sein. Eine Eingabe kann die integrierte Eye-Tracking-Funktion von Miranda sein oder eine externe Anwendung, die parallel zu Miranda läuft. Da die Rohdaten selbst keine Information darüber enthalten, wohin der Benutzer schaut, benötigen wir einen Tracking-Ansatz.

Die Eingaben sind:

• Integrierte Eingaben:
  • Mausposition: Die Mausposition als Eingabe. Ideal zum Testen.
  • Eye-Tracking-Brille: Eye-Tracking mit einer „Eye-Tracking-Brille“ mit Infrarotkamera vor dem Auge.
  • Webcam-Head-Tracking: Head-Tracking nur mit einer Webcam.
• Eingaben mit externer Anwendung:
  • OpenTrack: Kopfrotation mit OpenTrack.
  • Pupil: 3D-Augen-Erkennung von Pupil Labs.
  • EyeTrackVR: Eye-Tracking mit EyeTrackVR.
  • Orlosky: Der 3DEyeTracker von Jason Orlosky.

Tracking-Ansatz ​

Ein Tracking-Ansatz legt fest, wie die Daten einer Eingabemethode in Bildschirmkoordinaten – also eine Position auf dem Bildschirm, z. B. für einen Mauszeiger – umgerechnet werden.

Es gibt zwei Ansätze:

• Blick auf den Bildschirm: Der Benutzer schaut direkt auf den Bildschirm. Die Augenbewegung wird direkt in eine Bildschirmposition übersetzt. Dies ist der direkteste Ansatz.
• D-Pad: Dieser Ansatz ist eine gute Alternative, wenn die Eingabedaten nicht genau genug für den Ansatz Blick auf den Bildschirm sind. Ein D-Pad ist üblicherweise ein flaches, mit dem Daumen bedientes Steuerkreuz. Entsprechend wird hier die aktuelle Bildschirmposition gesteuert, indem man auf ein D-Pad blickt. Schaut man z. B. auf den „Pfeil nach oben“, bewegt sich die Bildschirmposition nach oben.

Kalibrierung ​

Bevor die Daten einer Eingabemethode in Bildschirmkoordinaten umgerechnet werden können, ist eine Kalibrierung erforderlich. Jede Kombination aus Eingabemethode und Tracking-Ansatz benötigt eine eigene Kalibrierung. Nach erfolgreicher Kalibrierung wird das Ergebnis gespeichert und steht beim nächsten Start von Miranda wieder zur Verfügung.

Ausgaben ​

Ausgaben verwenden die vom Tracking-Ansatz erzeugten Bildschirmkoordinaten.

Die Ausgaben sind:

• UDP-Export: Veröffentlichung der Blickdaten über UDP in einem einfachen JSON-Format.
  IP 127.0.0.1 und Port 9999 sind derzeit fest einkodiert.
  Das JSON kann z. B. so aussehen:
  {"x": 799.01324, "y": 747.57, "timestamp": "2026-02-27 18:36:23.805078"}
• Mausbewegung: Bewegt den Mauszeiger entsprechend dem Blick.
• TTS-Tastatur: Eine Text-zu-Sprache-Tastatur (Proof of Concept).

Open-Source-Lizenzhinweise ​

Diese Anwendung verwendet Open-Source-Komponenten. Den Quellcode der jeweiligen Projekte sowie die Lizenzinformationen findest du unten. Wir danken den Entwicklerinnen und Entwicklern für ihre Beiträge zur Open-Source-Community.

Bibliotheken ​

• MediaPipe, Copyright (c) The MediaPipe Authors, Apache License 2.0
• msgpack, Copyright (C) 2008-2011 INADA Naoki, Apache License 2.0
• NumPy, Copyright (c) 2005-2025 NumPy Developers, BSD 3-Clause License
• opencv-python, Copyright (c) Olli-Pekka Heinisuo, MIT License
• pupil-detectors, Copyright (c) Pupil Labs, LGPL-3.0 License und GPL-3.0 License
• PyAutoGUI, Copyright (c) 2014 Al Sweigart, BSD 3-Clause License
• pye3d, Copyright (c) Pupil Labs, LGPL-3.0 License
• python-osc, Copyright (c) python-osc contributors, The Unlicense
• pyttsx3, Copyright (c) nateshmbhat und Mitwirkende, Mozilla Public License 2.0
• screeninfo, Copyright (c) Marcin Kurczewski, MIT License
• PyZMQ, Copyright (c) Brian E. Granger & Min Ragan-Kelley, BSD 3-Clause License

Weitere ​

• EyeTracker, Copyright (c) 2024 JEOresearch, MIT License

Lizenz ​

Miranda wird unter den Bedingungen der GPL Version 3.0 oder jeder späteren Version veröffentlicht.