Neuronale Hardware für Bilderkennung in Nanosekunden

Physik-News vom 04.03.2020


Ein ultraschneller Bildsensor mit eingebautem neuronalen Netzwerk wurde an der TU Wien entwickelt. Er kann trainiert werden, bestimmte Objekte zu erkennen. Präsentiert wurde er nun in „Nature“.

Automatische Bilderkennung ist heute weit verbreitet: Es gibt Computerprogramme, die mit großer Zuverlässigkeit Hautkrebs diagnostizieren, selbstfahrende Autos navigieren oder Roboter steuern. Bisher beruhte das alles auf der Auswertung von Bilddaten, wie sie von ganz normalen Kameras geliefert werden – und das ist aufwändig. Insbesondere wenn die Zahl der aufgenommenen Bilder pro Sekunde hoch ist, entsteht rasch eine Datenmenge, die kaum bewältigt werden kann.


Der Chip sieht ein Bild und liefert das gewünschte Outputsignal.

Publikation:


L. Menneli et al.
Ultrafast machine vision with 2D material neural network image sensors
Nature (2020)

DOI: 10.1038/s41586-020-2038-x



An der TU Wien ging man daher nun einen anderen Weg: Aus einem speziellen 2D-Material entwickelte man einen Bildsensor, der darauf trainiert werden kann, bestimmte Objekte zu erkennen. Der Chip selbst stellt ein lernfähiges, künstliches neuronales Netz dar. Die Daten müssen also erst gar nicht ausgelesen und von einem Computer verarbeitet werden, sondern der Chip selbst gibt Auskunft darüber, was er gerade sieht – und zwar innerhalb von Nanosekunden. Die Arbeit wurde nun im Fachjournal „Nature“ präsentiert.


Der Chip (im Zentrum) mit elektrischen Verbindungen außen.

Lernende Hardware

Neuronale Netze sind künstliche Systeme, die ähnlich funktionieren wie unser Gehirn: Nervenzellen sind mit vielen anderen Nervenzellen verbunden. Wenn eine Zelle aktiv ist, kann das die Aktivität der benachbarten Nervenzellen beeinflussen. Genau nach diesem Prinzip funktioniert auch künstliches Lernen am Computer: Ein Netz von Neuronen wird digital simuliert, die Stärke mit der ein Knotenpunkt dieses Netzes den anderen beeinflusst, wird so lange verändert, bis das Netz das gewünschte Verhalten zeigt.

„Typischerweise werden die Bilddaten zuerst Pixel für Pixel ausgelesen und dann am Computer verarbeitet“, sagt Thomas Müller. „Wir hingegen integrieren das neuronale Netz mit künstlicher Intelligenz direkt in die Hardware des Bildsensors. Damit erfolgt die Objekterkennung um viele Größenordnungen schneller als bisher.“ Der Chip wurde an der TU Wien entwickelt und hergestellt. Er basiert auf Photodetektoren aus Wolframdiselenid – ein ultradünnes Material, das nur aus drei Atomschichten besteht. Die einzelnen Photodetektoren, die „Pixel“ des Kamerasystems, sind alle mit einer kleinen Zahl von Ausgangs-Elementen verbunden, die das Ergebnis der Objekterkennung liefern.

Lernen durch variable Empfindlichkeit

„In unserem Chip können wir die Empfindlichkeit jedes einzelnen Detektorelements gezielt einstellen – also die Art, wie sich das Signal, das ein bestimmter Detektor aufnimmt, auf das Ausgangssignal auswirkt“, erklärt Lukas Mennel, Erstautor der Publikation. „Dafür müssen wir einfach nur ein lokales elektrisches Feld direkt am Photodetektor anpassen.“ Diese Anpassung erfolgt von außen, mit Hilfe eines Computerprogramms. Man kann zum Beispiel mit dem Sensor verschiedene Buchstaben aufnehmen und die Empfindlichkeiten der einzelnen Pixel Schritt für Schritt verändern, bis ein bestimmter Buchstabe immer genau zu einem korrespondierendem Ausgangssignal führt. So wird das neuronale Netz im Chip konfiguriert – mit stärkeren und schwächeren Verbindungen.

Ist dieser Lernprozess abgeschlossen, wird der Computer nicht mehr benötigt. Das neuronale Netz kann nun alleine arbeiten. Wird dem Sensor ein bestimmter Buchstabe präsentiert, erzeugt er innerhalb von 50 Nanosekunden das antrainierte Ausgangssignal – zum Beispiel ein Zahlencode, der für den Buchstaben steht, den der Chip gerade erkannt hat.

Objekterkennung, wenn es schnell gehen muss

„Unser Test-Chip ist momentan noch klein, aber man kann die Technologie problemlos hochskalieren, je nachdem, welche Aufgabe man lösen möchte“, sagt Thomas Müller. „Prinzipiell könnte man den Chip auch darauf trainieren, Äpfel von Bananen zu unterscheiden, wir sehen aber dessen Einsatz eher bei der Durchführung wissenschaftlicher Experimente oder anderen spezialisierten Anwendungen.“

Die Technologie ist überall dort sinnvoll einsetzbar, wo extrem hohe Geschwindigkeit gefragt ist: „Von der Bruchmechanik bis zur Teilchendetektion – in vielen Forschungsbereichen werden kurze Ereignisse untersucht“, sagt Thomas Müller. „Oft muss man nicht alle Daten über dieses Ereignis aufzubewahren, sondern eine ganz bestimmte Frage beantworten: Breitet sich ein Riss von links nach rechts aus? Welches von mehreren möglichen Teilchen ist gerade vorbeigeflogen? Genau für solche Einsatzzwecke eignet sich unsere Technologie ausgezeichnet.“


Die News der letzten 14 Tage 11 Meldungen

28.11.2022
Elektrodynamik | Festkörperphysik
Wie man Materialien durchschießt, ohne etwas kaputt zu machen
Wenn man geladene Teilchen durch ultradünne Materialschichten schießt, entstehen manchmal spektakuläre Mikro-Explosionen, manchmal bleibt das Material fast unversehrt.
25.11.2022
Sonnensysteme | Astrophysik
Im dynamischen Netz der Sonnenkorona
In der mittleren Korona der Sonne entdeckt ein Forscherteam netzartige, dynamische Plasmastrukturen – und einen wichtigen Hinweis auf den Antrieb des Sonnenwindes.
25.11.2022
Exoplaneten | Astrophysik
Rätselraten um einen jungen Exo-Gasriesen
Eine Foschergruppe hat einen Super-Jupiter um den sonnenähnlichen Stern HD 114082 entdeckt, der mit einem Alter von 15 Millionen Jahren der jüngste Exoplanet seiner Art ist.
24.11.2022
Teilchenphysik | Festkörperphysik | Quantenphysik
Spin-Korrelation zwischen gepaarten Elektronen nachgewiesen
Physiker haben erstmals experimentell belegt, dass es eine negative Korrelation gibt zwischen den beiden Spins eines verschränkten Elektronenpaares aus einem Supraleiter.
23.11.2022
Festkörperphysik | Quantenoptik
Lichtstrahlen beim Erlöschen zusehen
Ein Forschungsteam konnte erstmals messen, wie das Licht eines Leuchtzentrums in einem Nanodraht nach dessen Anregung durch einen Röntgenpuls abklingt.
22.11.2022
Exoplaneten | Teleskope
Weltraumteleskop JWST: Neues von den Atmospären von Exoplaneten
Beobachtungen des Exoplaneten WASP-39b mit dem James-Webb-Weltraumteleskop (JWST) haben eine Fülle von Informationen über die Atmosphäre des Planeten geliefert.
21.11.2022
Galaxien | Schwarze Löcher | Teleskope
Schärfster Blick in den Kern eines Quasars
Eine internationale Gruppe von Wissenschaftlern präsentiert neue Beobachtungen des ersten jemals identifizierten Quasars.
22.11.2022
Festkörperphysik | Physikdidaktik
Chemielehrbücher: Es gibt keine Kohlensäure - Falsch!
Die Existenz von Kohlensäure war in der Wissenschaft lange umstritten: theoretisch existent, praktisch kaum nachweisbar, denn an der Erdoberfläche zerfällt die Verbindung.
21.11.2022
Quantenphysik
Ein Quant als Winkel
Die Feinstrukturkonstante ist eine der wichtigsten Naturkonstanten überhaupt: In Wien fand man nun eine bemerkenswerte neue Art, sie zu messen – nämlich als Drehwinkel.
21.11.2022
Akustik | Quantenoptik
Akustische Quantentechnologie: Lichtquanten mit Höchstgeschwindigkeit sortiert
Einem deutsch-spanischen Forscherteam ist es gelungen einzelne Lichtquanten mit höchster Präzision zu kontrollieren.

Mehr zu den Themen

26.06.2018
Festkörperphysik | Quantenoptik

Asymmetrische Nano-Antennen liefern Femtosekunden-Pulse für Optoelektronik
Einem Team unter Leitung der TUM-Physiker Alexander Holleitner und Reinhard Kienberger ist es erstmals gelungen, mit Hilfe nur wenige Nanometer großer Metallantennen ultrakurze, elektrische Pulse auf einem Chip zu erzeugen, diese dann einige Millimeter weiter wieder kontrolliert auszulesen.
16.05.2018
Festkörperphysik | Biophysik

Stärkstes Biomaterial der Welt schlägt Stahl und Spinnenseide
An DESYs Röntgenlichtquelle PETRA III hat ein Forscherteam unter schwedischer Führung das stärkste Biomaterial hergestellt, das je produziert worden ist.
29.04.2019
Atomphysik | Festkörperphysik

Entkoppeltes Graphen dank Kaliumbromid
Bei der Herstellung von Graphen auf einer Kupferoberfläche kann Kaliumbromid zu besseren Resultaten führen.
28.01.2020
Festkörperphysik

Auf die Nähe kommt es an: Wie Kristall den Widerstand von Graphen beeinflusst
Graphen wird oft als Wundermaterial der Zukunft bezeichnet.
01.05.2020
Festkörperphysik | Quantenphysik

Der richtige Abstand für eine ideale Beziehung
Regensburger Physiker maßschneidern die Bindung von Elektron-Loch-Paaren in atomar dünnen Kristallen und erleichtern damit die Suche nach neuen Quantenmaterialien.
14.06.2018
Festkörperphysik | Quantenphysik

Quanten-Übertragung auf Knopfdruck
In den neuen Quanten-Informationstechnologien müssen empfindliche Quantenzustände zwischen entfernten Quanten-Bits übertragen werden.
08.08.2018
Festkörperphysik | Optik

Weltrekord: Schnellste 3D-Tomographien an BESSY II
Ein HZB-Team hat an der EDDI-Beamline an BESSY II einen raffinierten Präzisions-Drehtisch entwickelt und mit einer besonderen, schnellen Optik kombiniert.
09.07.2020
Festkörperphysik | Quantenphysik

Neue Erkenntnisse über Flüssigkeiten, die ohne Widerstand fließen
Verlustfreie Stromleitung bei Raumtemperatur?
26.11.2018
Elektrodynamik | Festkörperphysik

Thermoelektrische Kühlung wird fit für die Mikrotechnologie
Wissenschaftler des Leibniz-Instituts für Festkörper- und Werkstoffforschung haben die Herstellung thermoelektrischer Bauelemente deutlich verbessert, so dass sie schnell, zuverlässig und in Mikrochips integrierbar sind.
16.09.2019
Elektrodynamik | Thermodynamik | Festkörperphysik

Womit werden wir morgen kühlen - Wissenschaftler bewerten das Potenzial von Werkstoffen für die magnetische Kühlung
Für das Jahr 2060 erwarten Zukunftsforscher einen Paradigmenwechsel beim globalen Energiekonsum: Erstmals wird die Menschheit mehr Energie zum Kühlen aufwenden als für das Heizen.
19.03.2021
Festkörperphysik | Teilchenphysik

Elektronen eingegipst
Eine scheinbar einfache Wechselwirkung zwischen Elektronen kann in einem extremen Vielteilchenproblem zu verblüffenden Korrelationen führen.
02.05.2019
Elektrodynamik | Festkörperphysik | Quantenphysik

Laserinduzierte Spindynamik in Ferrimagneten: Wohin geht der Drehimpuls?
Durch intensive Laserpulse kann die Magnetisierung eines Materials sehr schnell manipuliert werden.
24.10.2018
Elektrodynamik | Festkörperphysik

Erste elektronische Autobahnen auf der Nanoskala
Internationale Forschungskooperation: Die gezielte Funktionalisierung von kohlenstoff-basierten Nanostrukturen erlaubt es erstmals, Strompfade direkt abzubilden und eröffnet dabei Wege für neuartige Quantenbauelemente.
22.11.2018
Festkörperphysik

Konzentrator-Photovoltaik mit höchster Effizienz – 41,4 Prozent Modulwirkungsgrad
Konzentrator-Photovoltaik (CPV) erreicht bei Weitem die höchsten Wirkungsgrade für die Umwandlung von Sonnenlicht in elektrische Energie.
25.07.2018
Festkörperphysik

Extreme Zustände in Halbleitern
Physikern der Universitäten Konstanz, Paderborn und der ETH Zürich gelingt experimenteller Nachweis der Wannier-Stark-Lokalisierung.
24.07.2018
Festkörperphysik

Meilenstein auf dem Weg zu neuen Materialien für die Wasserstoffspeicherung erreicht
Wissenschaftler des Helmholtz-Zentrums Geesthacht haben gemeinsam mit europäischen Partnern ein neues Material zur Feststoffspeicherung von Wasserstoff entwickelt.
11.05.2018
Festkörperphysik | Teilchenphysik

Physiker haben den Dreh mit den zweidimensionalen Kristallen raus
Regensburger Physiker untersuchen in einem internationalen Team atomar dünne Heterostrukturen.
27.04.2020
Festkörperphysik

Untersuchung der Entstehung von „metallischem Glas“ widerlegt jahrzehntealtes Paradigma der Glasforschung
Metallische Gläser sind Legierungen, die bei schnellem Abkühlen nicht kristallisieren.
30.01.2015
Festkörperphysik | Quantenphysik | Relativitätstheorie

Wie allgemein ist die Allgemeine Relativitätstheorie?
Egal ob Feder, Apfel oder Ziegelstein: Im Vakuum, wenn es keine Reibung mehr gibt und nur noch die Gravitation wirkt, fallen alle Körper gleich schnell.
30.06.2017
Festkörperphysik

Mainzer Physiker gewinnen neue Erkenntnisse über Nanosysteme mit kugelförmigen Einschränkungen
Großes Potenzial für Anwendungen in der gezielten Pharmakotherapie und zur Herstellung maßgeschneiderter Nanoteilchen.
06.04.2018
Festkörperphysik | Quantenoptik

Winzige Strukturen – große Wirkung
Materialwissenschaftler der Universität Jena gestalten Oberfläche winziger, gekrümmter Kohlenstofffasern durch Laserstrukturierung.
06.11.2020
Festkörperphysik | Quantenoptik

„Schilde hoch!“ – Licht definiert seinen eigenen geschützten Weg
Wissenschaftler der Universität Rostock haben eine neue Art photonischer Schaltkreise entwickelt, in denen hochenergetische Lichtstrahlen ihren eigenen Weg definieren können – und sich dabei von äußeren Störeinflüssen abschirmen.
01.11.2019
Festkörperphysik | Quantencomputer

Der ganz besondere rote Diamant - Forschung zu angewandter Quantentechnologie an der Universität Leipzig
Physikern der Universität Leipzig ist ein wichtiger Schritt bei der Nutzung der Quantentechnologie für Computer und Sensoren gelungen.
12.07.2018
Elektrodynamik | Festkörperphysik | Teilchenphysik

Magnetische Wirbel: Erstmals zwei magnetische Skyrmionenphasen in einem Material entdeckt
Erstmals entdeckte ein Forscherteam in einem Material zwei unabhängige Phasen mit magnetischen Wirbeln, sogenannten Skyrmionen.
04.10.2019
Festkörperphysik | Quantenoptik

Wie schnell Elektronenspins tanzen: Chemiker untersuchen Wechselwirkung von Metallverbindungen und Licht
Metallverbindungen zeigen ein faszinierendes Verhalten in ihrer Wechselwirkung mit Licht, was zum Beispiel in Leuchtdioden, Solarzellen, Quantencomputern und sogar in der Krebstherapie angewendet wird.
25.05.2018
Festkörperphysik

Kugelmühlen statt Lösungsmittel: Nanographene mit Mechanochemie
Chemiker Dr.
14.04.2022
Elektrodynamik | Festkörperphysik | Klassische Mechanik

Elektrisierte Wassertropfen
Etwas so einfaches wie die Bewegung von Wassertropfen auf Oberflächen sollte eigentlich verstanden sein – würde man mutmaßen.
09.02.2021
Festkörperphysik

Weltweit erste Videoaufnahme eines Raum-Zeit-Kristalls gelungen
Einem Forschungsteam ist der Versuch gelungen, bei Raumtemperatur einen Mikrometer großen Raum-Zeit-Kristall aus Magnonen entstehen zu lassen.
24.07.2018
Festkörperphysik | Quantenphysik

Neuartiger Quantenzustand in Halbleitern
Wissenschaftlerteam der Universitäten Konstanz, Paderborn und der ETH Zürich veröffentlicht in „Nature Communications“.
09.06.2020
Festkörperphysik

Atome streicheln für Fortgeschrittene
Wie kann man Oberflächen möglichst sanft und zerstörungsfrei auf atomarer Skala abbilden?
16.08.2021
Festkörperphysik | Quantenoptik

Ultraschnelle Dynamik in Materie sichtbar gemacht
Ein Forschungsteam hat eine kompakte Elektronen-„Kamera“ entwickelt, mit der sich die schnelle innere Dynamik von Materie verfolgen lässt.
02.05.2019
Thermodynamik | Festkörperphysik

Beton beim Explodieren beobachtet
Auch wenn Beton nicht brennbar ist, kann es bei Tunnelbränden gefährlich werden: Hochleistungsbeton kann bei hohen Temperaturen explodieren.
26.04.2019
Elektrodynamik | Thermodynamik | Festkörperphysik

Terahertz-Spektroskopie vertieft Einblick in Halbleiter
Billiardstoß oder Auffahrunfall?
09.04.2018
Festkörperphysik

Winzige Nanomaschine absolviert erfolgreich Probefahrt
Wissenschaftler der Universität Bonn und des Forschungszentrums caesar in Bonn haben mit Kollegen aus den USA aus Nanostrukturen eine winzige Maschine konstruiert, die sich auf einem Rad gezielt in eine bestimmte Richtung bewegen kann.
18.10.2022
Raumfahrt | Festkörperphysik

Funktionieren Kleber im Weltraum?
Allgemeiner gefragt: Ändern sich die Eigenschaften von Materialien, wenn sie sich in Schwerelosigkeit aus flüssigen Vorstufen bilden?
09.05.2022
Festkörperphysik | Optik

Eine neue Methode zur Erforschung der Nanowelt
Wissenschaftler präsentieren einen großen Fortschritt bei der Charakterisierung von Nanopartikeln.
10.04.2018
Festkörperphysik | Quantenoptik

Fraunhofer INT und Fraunhofer Space auf der ILA 2018: Bestrahlungstests und Satellitentechnologie
Auf der ILA 2018 in Berlin präsentiert das Fraunhofer-Institut für Naturwissenschaftlich-Technische Trendanalysen INT am Stand 202 in Halle 4 den Nachbau einer Co-60-Bestrahlungsanlage und bestrahlte Materialproben, die den Einfluss von Strahlung auf verschiedene Materialien veranschaulichen.
21.02.2019
Elektrodynamik | Thermodynamik | Festkörperphysik

Wie man Wärmeleitung einfriert
An der TU Wien wurde ein physikalischer Effekt entdeckt, der elektrisch leitende Materialien mit extrem niedriger Wärmeleitfähigkeit ermöglicht.
09.05.2018
Festkörperphysik | Thermodynamik

Vorsicht, Glatteis!
Gleiten auf Eis oder Schnee ist viel einfacher als das Gleiten auf den meisten anderen Oberflächen, dies ist allgemein bekannt. Aber warum ist die Eisoberfläche rutschig?
17.05.2018
Festkörperphysik | Physikgeschichte

Countdown für Kilogramm, Kelvin und Co.
Mit dem diesjährigen Weltmetrologietag (wie immer am 20.
25.07.2018
Elektrodynamik | Festkörperphysik

Was passiert in einer Solarzelle, wenn das Licht ausgeht
Was in einer Solarzelle passiert, wenn das Licht ausgeht, hängt stark vom verwendeten Material ab.
22.11.2022
Festkörperphysik | Physikdidaktik

Chemielehrbücher: Es gibt keine Kohlensäure - Falsch!
Die Existenz von Kohlensäure war in der Wissenschaft lange umstritten: theoretisch existent, praktisch kaum nachweisbar, denn an der Erdoberfläche zerfällt die Verbindung.
22.06.2021
Festkörperphysik | Teilchenphysik

Exotische Supraleiter: Das Geheimnis, das keines ist
Wie reproduzierbar sind Messungen in der Festkörperphysik?
22.05.2018
Elektrodynamik | Festkörperphysik | Quantenoptik

Faserlaser mit einstellbarer Wellenlänge
Faserlaser sind ein effizientes und robustes Werkzeug zum Schweißen und Schneiden von Metallen beispielsweise in der Automobilindustrie.
19.01.2022
Festkörperphysik

Mit Physik mehr Bier im Glas
Ist Schaum in der Badewanne oder auf dem Bier durchaus gewünscht, ist die Vermeidung von Schaum – beispielsweise in industriellen Prozessen – ein viel diskutiertes Thema.
07.05.2020
Festkörperphysik

Neue Messmethode hilft, Physik der Hochtemperatur-Supraleitung zu verstehen
Von einer nachhaltigen Energieversorgung bis hin zu Quantencomputern: Hochtemperatur-Supraleiter könnten unsere heutige Technik revolutionieren.
17.07.2019
Teilchenphysik | Festkörperphysik

Hocheffiziente Solarzellen dank solidem Fundament
Die Sonne ist eine unerschöpfliche und nachhaltige Energiequelle.
16.04.2018
Festkörperphysik | Quantenoptik

Ein Wimpernschlag vom Isolator zum Metall
Dank der geschickten Kombination neuartiger Technologien lassen sich vielversprechende Materialien für die Elektronik von morgen untersuchen.
26.09.2019
Festkörperphysik | Quantenoptik

(Laser)Photonen und Elektronen schalten die Silber-Silber-Wechselwirkung und Reaktivität
Forschern aus dem Transregio-Sonderforschungsbereich „Kooperative Effekte in homo- und heterometallischen Komplexen“ (SFB/TRR 88 „3MET“) gelang es, eine neue Komplexverbindung aus Silber und Wasserstoff (Silberhydrid) herzustellen, die interessante optische Eigenschaften und Reaktivität gegenüber Sauerstoff aufweist.
23.08.2019
Festkörperphysik | Quantenphysik

Licht-Materie-Wechselwirkung ohne Störeinflüsse
Bestimmte Halbleiterstrukturen, Quantenpunkte genannt, könnten die Basis für eine Quantenkommunikation darstellen.