Herausforderungen und Fortschritte bei neuronalen Netzen für die Augenverfolgung

Eine zuverlässige Kopf- und Blickverfolgung ist für die Fahrerüberwachung unerlässlich. Warum also verlassen sich so viele Automobilunternehmen auf veraltete und übermäßig komplexe Methoden zur Überwachung dieses Verhaltens? Bei Neonode bietet unser maßgeschneiderter Ansatz für neuronale Netze unseren Kunden robuste und zuverlässige Daten, denen sie vertrauen können.

Die Schätzung der Kopfhaltung und die Verfolgung der Augen haben viele Anwendungsfälle. Zu wissen, wohin die Aufmerksamkeit einer Person gerichtet ist, kann bei kommerziellen Anwendungen wie visuellem Merchandising, Werbung und Unterhaltungselektronik nützlich sein. Eine genaue Verfolgung ist aber auch bei Anwendungen wie Fahrerüberwachungund daher ist eine hohe Datenintegrität und -genauigkeit unerlässlich.

Neuronale Netze sind das Mittel der Wahl, wenn es um die Gewinnung von Informationen für die Kopf- und Augenverfolgung geht. Häufig werden sie jedoch in einer Weise eingesetzt, die veraltet ist und eine komplexe zusätzliche Logik nach der Verwendung der Netze erfordert, die eine zusätzliche Nachbearbeitung erfordert, um Näherungswerte aus den neuronalen Netzen zu extrahieren, anstatt den gewünschten Wert direkt zu lesen.

Landmark Eye Tracking kann fehlschlagen, wenn die Sichtlinie verdeckt ist

Ein klassisches Beispiel für die Verfolgung von Kopf und Augen ist das Trainieren eines Netzwerks, um bestimmte Orientierungspunkte rund um das Gesicht und die Augen zu finden. Auf der Grundlage dieser Orientierungspunkte fügen Sie eine Logik hinzu, die die Daten berechnet, an denen Sie eigentlich interessiert sind. Die Offenheit der Augen kann beispielsweise ermittelt werden, indem man ein Netzwerk trainiert, um Orientierungspunkte um das Auge herum zu finden, und dann eine Logik schreibt, die die Position der Punkte im 2D-Bild verwendet, um das Seitenverhältnis zwischen den oberen und unteren Augenlidern und die Breite des Auges zu berechnen. Um zuverlässig zu sein, muss diese Logik Fälle berücksichtigen, in denen einige der interessanten Punkte vor der Kamera verborgen sind, und Fälle, in denen der Winkel des Auges das Seitenverhältnis beeinflusst.

Diese Methode stammt aus einer Zeit, in der die einzigen Trainingsdaten, die man bekommen konnte, von Hand beschriftete Fotos waren. Diese Fotos auf konsistente Weise zu kommentieren, ist schwierig, so dass Ihre Lösung auf mehreren Schichten von Annäherungen aufgebaut werden muss. Um diese Annäherungen auszugleichen, müssen die Netze ebenfalls komplex sein, was mehr Rechenleistung erfordert.

Orientierungspunkte um ein Auge herum - ein veralteter Ansatz, um die Offenheit der Augen zu ermitteln.

Pupillenzentrierte Hornhautreflexion (PCCR) erfordert eine komplexe Installation und Kalibrierung

Eine ähnlich bewährte Methode zur Bestimmung der Offenheit der Augen ist die Betrachtung der Reflexionen, die durch die aktive Beleuchtung in den Augen der untersuchten Person verursacht werden. Indem man z. B. untersucht, wie viel der Beleuchtung von den Augen reflektiert wird, kann man den Grad der Offenheit bestimmen. Das Tracking kann mit der Methode Pupil Center Corneal Reflection (PCCR) durchgeführt werden, bei der der Abstand zwischen der Pupillenmitte und der Hornhautreflexion zur Bestimmung der Blickrichtung verwendet wird.

Diese Methode ist zwar etwas ausgefeilter als die oben erwähnte Landmarkenmethode, weist aber einige der gleichen Schwächen auf. Sie erfordert eine zusätzliche Logik, nachdem die Points of Interest gefunden wurden, und man braucht eine Strategie für den Umgang mit der Verdeckung der Points of Interest. Darüber hinaus stellt es hohe Anforderungen an die Genauigkeit der Hardwareinstallation. Damit die Lösung funktioniert, muss die aktive Beleuchtung korrekt auf das Gesicht treffen. Die Technologie hat ihre Wurzeln in Eye-Tacking-Headsets, bei denen man immer den Abstand zwischen den zu untersuchenden Augen und der Beleuchtungsquelle kennt und die Augen immer aus demselben Winkel betrachtet. In dieser kontrollierten Umgebung können mit dieser Methode sehr genaue Ergebnisse erzielt werden. Um diese Genauigkeit zu erreichen, ist jedoch eine umfangreiche Gerätekalibrierung erforderlich. Wenn Sie die Methode zur Verfolgung von Objekten aus der Ferne verwenden (so genanntes Remote Tracking), kann die Lösung nur Objekte verfolgen, die sich innerhalb einer vorkalibrierten "Headbox" befinden. Wenn Sie in der Lage sein wollen, Personen zu verfolgen, egal wo sie sich im Bild befinden, wird diese Lösung versagen. Die Methode ist einfach nicht dafür ausgelegt, die volle Komplexität einer 3D-Welt zu bewältigen.

Neuer Ansatz für neuronale Netze beseitigt die Komplexität und verbessert die Robustheit

Der Neonode-Ansatz für neuronale Netze beruht auf unserer langjährigen Verwendung von synthetischen Daten. Mit unserer Fabrik für synthetische Daten können wir Daten erstellen, die genau unseren Anforderungen entsprechen, und haben so die Möglichkeit, neuronale Netze zu erstellen, die eine direkte Antwort auf die von uns gestellte Frage geben. Bei diesen Daten werden wir auch sicherstellen, dass wir alle Augen und alle Gesichter auf die gleiche Weise behandeln. Die Anmerkungen werden in den gesamten Trainingsdatensätzen konsistent sein. So können wir leichtgewichtige Netze erstellen, die sich für eingebettete Anwendungen eignen.

Eye Tracking: Erkennung der Augenöffnung

Bei Neonode verwenden wir eine reine KI-Methode für die Schätzung der Kopfhaltung und die Augenverfolgung. Im Falle der Offenheit der Augen können wir unsere Netzwerke so trainieren, dass sie uns direkt einen Offenheitsgrad liefern. Für eine wirklich robuste Antwort werden diese Informationen mit anderen Informationen kombiniert, die unsere Netzwerke aus der Szene sammeln können.

Indem wir verschiedene Objektivparameter, Kamerapositionen und -typen sowie Verdeckungsphänomene in unseren Trainingsdaten simulieren, können wir ein System schaffen, das alle Herausforderungen der realen Welt bewältigen kann, ohne sie im Training gesehen zu haben. Unsere Netze werden eine Person auch dann erfolgreich verfolgen, wenn wichtige Merkmale nicht sichtbar sind. Die klassische Erkennung von Landmarken hat immer noch ihre Berechtigung, wenn es um die Validierung und Visualisierung geht, aber wenn man sich nur auf Landmarken verlässt, wird das System nicht in der Lage sein, die gesamte Komplexität der 3D-Welt zu bewältigen.

Im Gegensatz zu PCCR-Lösungen können unsere neuronalen Netze Personen ohne zusätzliche Kalibrierung verfolgen. Und zwar unabhängig davon, wo im Bild sich eine Person befindet, vorausgesetzt, sie ist nahe genug an der Kamera, um im Bild erkennbar zu sein. Der Neonode-Ansatz zur Kopf- und Augenverfolgung wurde speziell für die Fernverfolgung von Personen entwickelt und eignet sich daher hervorragend für schwierige Bedingungen in der Praxis.

Eine Lösung, der Sie vertrauen können

Sprechen Sie mit uns, wenn Sie mehr über Neonode's Head Pose Estimation und Eye Tracking Lösungen für die Fahrer- und Kabinenüberwachung erfahren möchten.