Siliziumchips und die Rettung des Sehvermögens von Menschen sind das Vermächtnis der OP-Forscher

Jul 05, 2023

Forschung mit künstlicher Intelligenz (KI) – durchgeführt in den späten 1990er Jahren von Ken Tobin und anderen am Oak Ridge National Laboratory – steht hinter der Technologie, die jetzt in den Gesundheitskliniken einer Drogeriemarktkette eingesetzt wird, um Hunderttausenden Menschen sehkrafterhaltende telemedizinische Diagnosen zu stellen Diabetiker.

Stellen Sie sich Folgendes vor: Ein Patient, der kürzlich von einem Gesundheitsdienstleister in einer Drogerieklinik erfahren hat, dass er Diabetes hat, kehrte zu einer Augenuntersuchung in die Klinik zurück.

In diesem Szenario machte der Drogerieanbieter mit einer kleinen Kamera Fotos von beiden Augen. Sie lud die Bilder von einem Computer auf eine Internetseite hoch, die von einem Augenarzt, der Augenkrankheiten und -störungen behandelt, aus der Ferne betrachtet wurde. Die Diagnose wird ihr innerhalb etwa eines Tages per E-Mail zugesandt und sie wird den Patienten über die Ergebnisse informieren.

Sie hätte dem Patienten vielleicht sagen können: „Sie sollten sich jedes Jahr dieser Untersuchung unterziehen.“ Eine schwerwiegende Komplikation kann eine diabetische Retinopathie sein. Dabei kann ein hoher Blutzuckerspiegel kleine Blutgefäße in der Netzhaut im hinteren Teil Ihrer Augen schädigen.

„Die Krankheit kann Sie schließlich blind machen. Aber wenn wir sie früh genug erkennen, bevor Sie bemerken, dass Sie Ihr Sehvermögen verlieren, können Sie sich einer Laseroperation unterziehen, um Ihr Sehvermögen zu retten.“

Der Augenarzt, der die Diagnose stellt, verwendet ein Content-based Image Retrieval (CBIR)-System, das automatisch nach Augenbildern des Patienten sucht und diese mit ähnlichen Augenbildern in einer großen Datenbank abgleicht. Das Archiv enthält Bilder mit Signaturen von gesunden Augen, von Augen, die die ersten Anzeichen einer diabetischen Retinopathie zeigen (die durch Laserchirurgie korrigiert werden kann) und von Augen, die so stark von der Krankheit betroffen sind, dass eine Erblindung unvermeidlich ist.

Was ist der Ursprung dieser Technologie, die zur bequemen Nutzung der Dienste von CVS MinuteClinic und Endokrinologen geführt hat? Es stammt aus Forschungen zu KI von Tobin und anderen am ORNL.

Tobin, seit 2020 Chief Research and University Partnerships Officer bei Oak Ridge Associated Universities, beschrieb CBIR-Systeme, die er und ORNL-Kollegen entwickelt und patentiert hatten, während eines kürzlichen Vortrags über seine 35 Jahre Innovation und Führung vor Friends of ORNL. Er sagte, die CBIR-Entwicklung sei „ein Vorläufer für KI-Fortschritte, über die wir in letzter Zeit in den Nachrichten gelesen haben, wie zum Beispiel ChatGPT.“

„Wenn ich an meine Karriere zurückdenke, ist es die Errungenschaft der telemedizinischen Netzhautdiagnose, die mich nachts gut schlafen lässt, weil sie das Sehvermögen von Tausenden von Patienten rettet oder erhält“, sagte Tobin, der sich selbst als „einen Bildtechniker, der KI nutzte“ bezeichnete. "

Er fügte hinzu, dass er auch stolz auf die von ihm vorangetriebene Technologieentwicklung sei, die der US-amerikanischen Halbleiterindustrie dabei geholfen habe, „die Produktausbeute zu verbessern und Abfall zu reduzieren“, um qualitativ hochwertige Geräteprodukte herzustellen und die Gewinne der Branche zu steigern. Halbleiterbauelemente, auch „Chips“ genannt, sind wesentliche Komponenten in den elektronischen Schaltkreisen unserer Autos, Laptops, Smart-Tablets und Smartphones.

Die automatisierte Halbleiter-Bildabruftechnologie des ORNL steht auf Platz neun der zehn erfolgreichsten Technologietransfers des Labors. Auf diese Top-10-Technologien entfallen 48 % der Lizenzgebühren des Labors.

Tobins erste Arbeit mit Shaun Gleason, Tom Karnowski und anderen für SEMATECH, ein Konsortium aus Halbleiterunternehmen wie Hewlett Packard, IBM und Motorola, führte dank der Finanzierung durch Laboratory Directed Research & Development (LDRD) zur Entwicklung eines CBIR-Systems für Hersteller 1998-99 von ORNL.

Halbleiterunternehmen produzieren Siliziumwafer, die integrierte Schaltkreise in elektronischen Geräten herstellen. Ein Wafer mit einem Durchmesser von 8 bis 11 Zoll kann bis zu 600 Halbleiterchips enthalten, von denen jeder potenziell Millionen oder Milliarden Transistoren enthält. Ein einzelner Wafer, der bis zu drei Millionen Komponenten enthalten kann, kostet Tausende von Dollar.

„Chiphersteller möchten wissen, wie der Herstellungsprozess zu schlechten oder fehlerhaften Chips führen kann“, sagte Tobin. Um die Zahl der guten Chips zu erhöhen und die Zahl der schlechten zu minimieren, muss der Hersteller schnell feststellen, welcher der komplizierten Halbleiterfertigungsprozesse fehlerhaft ist und repariert werden muss.

Tobin und seine Kollegen entwickelten einen Klassifikator für digitale Bilder einzelner Wafer, die von Halbleiterunternehmen bereitgestellt wurden und Kratzer und andere Defekte in unterschiedlichen Mustern aufwiesen. Diese Karten wurden als Signaturen einer Maschine gekennzeichnet, die nicht richtig funktionierte oder während eines Beschichtungs- oder chemischen Abscheidungsprozesses, der die Schichten eines Wafers bildete, eine Partikelverunreinigung erzeugte.

Durch den Abgleich von Bildern neu geformter Wafer mit Bildern in einer Datenbank „erzeugte unser Klassifikator schnell Ergebnisse darüber, welche Prozesse korrigiert werden mussten, und sendete automatisch stündlich, täglich oder wöchentlich Berichte an die Ingenieure“, sagte Tobin. „Eine Reihe von Unternehmen, die mit SEMATECH zusammengearbeitet haben, wollten unsere Technologie in ihren Fabriken“, weil sie ihnen helfen würde, Abfall zu reduzieren, die Effizienz zu steigern und den Gewinn zu steigern.

Da das ORNL mit SEMATECH nur eine Arbeitsvereinbarung für andere hatte, konnte es leider keine Lizenzgebühren aus der Lizenzierung der Technologie des Labors durch SEMATECH an Halbleiterunternehmen außerhalb des Konsortiums eintreiben. Daher entwickelte UT-Battelle, der Laborleiter, „geistiges Hintergrundeigentum“, das zu Patenten führte, die zunächst an Applied Materials und später im Jahr 2004 an Rudolph Technologies lizenziert wurden. ORNL erhielt von 2004 bis 2019 Lizenzgebühren für seine automatisierte Fehlersignaturanalyse, die Verbesserungen in Halbleiterherstellungsprozessen ermöglichte.

ORNL-Forscher haben CBIR-Systeme mit großen Bilddatenspeichern für die medizinische Bildgebung von Organen bei Kleintieren zur Bestimmung von Krankheitszuständen und für Geodatenaufnahmen durch Satelliten zur Identifizierung von Standorten von Kraftwerken und Luftwaffenstützpunkten entwickelt.

Tobin beschäftigte sich mit der automatisierten Diagnose von Augenkrankheiten, als Lee Riedinger, der viele Jahre als Physiker und Forschungsdirektor an der University of Tennessee in Knoxville verbrachte, Anfang dieses Jahrhunderts als stellvertretender Direktor für Wissenschaft und Technologie am ORNL arbeitete. Riedinger lud Angehörige der Gesundheitsberufe vom UT Health Science Center in Memphis in das Labor ein. So lernte Tobin Edward Chaum vom Hamilton Eye Institute des Zentrums kennen.

„Er arbeitete mit Patienten, die an diabetischer Retinopathie und altersbedingter Makuladegeneration litten“, sagte Tobin. „Er wollte wissen, ob er mir eine große Sammlung von Augenbildern zur Verfügung stellen würde, ob ich die Diagnose von Augenkrankheiten automatisieren und eine diabetische Retinopathie früh genug erkennen könnte, um eine Erblindung zu verhindern.“

Schätzungsweise 100 Millionen Menschen auf der Welt sind von diabetischer Retinopathie betroffen.

Tobin, Karnowski und Chaum erhielten ein Patent für „eine Methode zur Diagnose einer erblindenden Augenerkrankung unter Verwendung von Bildinhalten und einem Archiv diagnostizierter menschlicher Patientendaten“.

Sie haben an neun Standorten in drei Bundesstaaten ein Netzwerk zur telemedizinischen Netzhautbildanalyse und -diagnose (TRIAD) aufgebaut. Das Testnetzwerk bewies, dass das Konzept erfolgreich sein könnte.

Die ersten Versuche von UT-Battelle, TRIAD an ein Unternehmen zu lizenzieren, scheiterten jedoch an Bedenken hinsichtlich der Zurückhaltung der Food and Drug Administration bei der Zulassung von Diagnosetechniken mit KI. Daher wurde TRIAD im Jahr 2009 an Tobins Start-up-Unternehmen Hubble Telemedical Inc. in Knoxville lizenziert.

Im Jahr 2010 erhielt sein Unternehmen eine Risikokapitalinvestition von Memphis Biomed Ventures, die die Einstellung eines CEO, Computerprogrammierers und Marketingspezialisten ermöglichte.

„Wir hatten Abonnements für unseren Remote-Screening-Service für diabetische Retinopathie“, sagte Tobin.

Im Januar 2015 wurde Hubble von einem New Yorker Unternehmen, Welch Allyn Inc., übernommen, einem führenden Unternehmen für medizinische Diagnosegeräte, das praktische Innovationen am Point-of-Care lieferte. Im Juni 2015 wurde Welch Allyn von Hill-Rom, Inc. übernommen.

Im Jahr 2022 hat Hill-Rom mit CVS MinuteClinic eine Vereinbarung getroffen, um Kunden mithilfe eines zertifizierten Lesegeräts auf Blinderkrankungen zu untersuchen. Tobins Vision, Computer-Vision-Techniken zu nutzen, um die Suche nach Bildern zu automatisieren, die mit fehlerhaften Herstellungsprozessen in Verbindung gebracht werden können, gipfelte in einer Technologie, die das Sehvermögen Tausender Menschen rettet.