Künstliche Netzhaut ermöglicht die Wahrnehmung und Kodierung von Mitte

Jan 23, 2024

Im Bestreben, neue Computersysteme zu entwickeln, die das Gehirn nachahmen, haben Forscher in Singapur und China ein künstliches Netzhautgerät zur Wahrnehmung und Erkennung von Objekten entwickelt, die Strahlung im mittleren Infrarotbereich (MIR) aussenden. Inspiriert von der Funktionsweise des menschlichen Sehvermögens ist das neuromorphe Gerät ein Schritt hin zu einem besseren MIR-Maschinensehen, einer wichtigen Technologie für medizinische Diagnose, autonomes Fahren, intelligente Nachtsicht und militärische Verteidigung.

Aktuelle Infrarot-Bildverarbeitungssysteme verfügen über physisch getrennte Sensor- und Verarbeitungseinheiten, wodurch große Mengen redundanter Daten entstehen. Dies ist nicht ideal, da es zu Rechen- und Energieineffizienzen führt. Im Gegensatz dazu ist das visuelle Sinnessystem des Menschen sehr effizient, mit einer kompakten Netzhaut, die visuelle Daten – mehr als 80 % der von unserem Gehirn empfangenen Daten – wahrnimmt und verarbeitet, die dann zur weiteren Verarbeitung an den visuellen Kortex des Gehirns weitergeleitet werden. Die Photorezeptoren der Netzhaut empfangen kontinuierliche Lichtreize, die in elektrische Potenziale umgewandelt werden, und diese werden dann in Folgen elektrischer Impulse, sogenannte Spikes, kodiert. Eine Reihe von Spitzen, die die Reizinformationen enthalten, wandert dann zum visuellen Kortex.

Inspiriert von der biologischen Netzhaut haben Fakun Wang und Fangchen Hu von der Nanyang Technological University in Singapur zusammen mit Kollegen eine optoelektronische Netzhaut erfunden, die auf einer 2D-Van-der-Waals-Heterostruktur basiert. Diese Heterostruktur besteht aus einer Schicht aus schwarzem Arsenphosphor (b-AsP) auf einer Schicht aus Molybdäntellurid (MoTe2). Diese Materialien wurden aufgrund ihrer schnellen Reaktion auf Licht und ihrer hohen Absorptionseffizienz ausgewählt.

Frühere Studien konzentrierten sich auf die Entwicklung neuromorpher Geräte, die auf Licht mit sichtbaren und nahinfraroten (NIR) Wellenlängen reagieren. Diese Studie erweitert den Wellenlängenbereich auf das MIR. Eine weitere wichtige Neuheit dieser neuesten Forschung besteht darin, dass die Kodierungsfunktion optisch und nicht elektrisch gesteuert wird, was für den Hochgeschwindigkeitsbetrieb vielversprechend ist.

Programmierbare NIR-Laserimpulse, die gleichzeitig mit MIR-Laserimpulsen angewendet werden, kodieren die Informationen in Spike-Züge. Die stochastischen NIR-Impulse verändern den MIR-erregten Strom im Gerät, wobei eine Spitze erzeugt wird, wenn der Strom den Schwellenwert überschreitet. Dies emuliert die Kodierung in der menschlichen Netzhaut. Selbst bei einer NIR-Pulsfrequenz von 100 kHz reagiert das Gerät stabil auf Licht, was eine hochpräzise MIR-Intensitätskodierung gewährleistet.

Ein weiteres wichtiges Merkmal intelligenter Systeme ist die Anpassung. Um sich an die visuelle Umgebung anzupassen, sollte das MIR-Bildverarbeitungssystem über einen breiten dynamischen Arbeitsbereich von MIR-Intensitäten und eine hohe Kodierungspräzision verfügen. Die Forscher testeten ihr Gerät mit einer Metallmaske mit neun Hohlfiguren der Zahl „3“, die von einem MIR-Laser beleuchtet wurden. Dies wurde verwendet, um echte MIR-Ziele wie eine Gewebeprobe zu imitieren. Sie stellten eine hervorragende Codierungspräzision fest, wobei das codierte Bild mit einer Genauigkeit von über 97 % mit dem Originalbild übereinstimmte. Das Team zeigte außerdem, dass die NIR-Pulsparameter zur Steuerung des dynamischen Arbeitsbereichs und der Präzision verwendet werden können.

Das künstliche Auge hat das Potenzial, das menschliche Sehvermögen zu übertreffen

Darüber hinaus verbanden sie ihr Gerät mit einem der effizientesten und gehirnähnlichen künstlichen neuronalen Netze (ANNs), dem so genannten Spiking Neural Network. In diesem KNN kommunizieren Neuronen durch das Senden und Empfangen von Spitzen als Informationsträger, ähnlich wie im Gehirn. Sie verwendeten dieses System zur Klassifizierung von MIR-Bildern numerischer Zahlen im MNIST-Datensatz, der zum Trainieren von Bildverarbeitungssystemen verwendet wird, und erreichten eine Genauigkeit von mehr als 96 %.

Wang, der die Forschung leitete, sagt, dass ihre künstliche Netzhaut mit der CMOS-Technologie kompatibel ist, und schlägt zwei Möglichkeiten vor, die Forschung voranzutreiben: „Eine besteht darin, Gerätefunktionen zu verbessern, wie zum Beispiel die Integration der Speicherfunktion in dieses Gerät, um die Integration von zu realisieren.“ Wahrnehmung, Kodierung, Erinnerung und Verarbeitung. Die andere besteht darin, das Gerät mit geführter Nanophotonik zu kombinieren, um schnellere Betriebsgeschwindigkeiten und einen geringeren Energieverbrauch zu erreichen.“

Die Forschung wird in Nature Communications beschrieben.