Deep Learning

Was ist Deep Learning?

Deep Learning ist eine Art des maschinellen Lernens, die mehrschichtige neuronale Netze verwendet, um Aufgaben wie Klassifikation, Regression und Repräsentationslernen durchzuführen. Das “Deep” in Deep Learning bezieht sich auf die Verwendung mehrerer Schichten im Netzwerk - von drei bis mehreren Hundert oder Tausenden.

Diese Netze sind darauf ausgelegt, Daten auf eine Weise zu verarbeiten, die lose von biologischen Neuronen inspiriert ist, indem künstliche Neuronen in Schichten gestapelt und “trainiert” werden, Muster zu erkennen. Ein Netzwerk wird typischerweise als “deep” bezeichnet, wenn es mindestens zwei versteckte Schichten zwischen Eingabe und Ausgabe hat.

Historische Zeitleiste

1943: Walter Pitts und Warren McCulloch schufen das erste Computermodell basierend auf neuronalen Netzen.

1965: Alexey Ivakhnenko veröffentlichte den ersten funktionierenden Deep-Learning-Algorithmus (Group Method of Data Handling) in der Sowjetunion.

1979: Fukushima führte frühe Faltungsnetzwerke mit mehreren Schichten ein.

1985: Rumelhart, Hinton und Williams demonstrierten, dass Backpropagation nützliche verteilte Repräsentationen liefern kann.

1991: Sepp Hochreiter identifizierte das Vanishing-Gradient-Problem und schlug LSTM (Long Short-Term Memory) mit Schmidhuber vor.

2012: AlexNets Sieg bei ImageNet revolutionierte Computer Vision und löste die moderne Deep-Learning-Ära aus.

2017: Die Transformer-Architektur definierte Natural Language Processing neu.

2022-heute: Große Sprachmodelle (GPT, Claude, Gemini) und multimodale Modelle dominieren.

Warum GPUs alles veränderten

Die Deep-Learning-Revolution kam dank der Videospiel-Industrie. Die komplexen Bilder und das schnelle Tempo moderner Spiele erforderten spezialisierte Hardware - Grafikprozessoren (GPUs). Forscher entdeckten, dass dieselben Chips das Training neuronaler Netze um Größenordnungen beschleunigen konnten, was Deep Learning praktikabel machte.

Gängige Architekturen

• Vollständig verbundene Netze: Jedes Neuron verbindet sich mit allen Neuronen in benachbarten Schichten
• Convolutional Neural Networks (CNNs): Spezialisiert für Bildverarbeitung
• Recurrent Neural Networks (RNNs): Verarbeiten sequentielle Daten
• Transformer: Attention-basierte Architektur, die moderne LLMs antreibt
• Generative Adversarial Networks (GANs): Zwei Netzwerke konkurrieren, um realistische Ausgaben zu erzeugen

Die drei Pioniere

Der moderne Erfolg des Deep Learning wird oft drei Forschern zugeschrieben, die durch “KI-Winter” durchhielten, als der Ansatz unmodern war:

• Geoffrey Hinton - “Pate der KI,” Pionier der Backpropagation
• Yann LeCun - Erfand Faltungsnetzwerke, jetzt bei Meta
• Yoshua Bengio - Entwickelte rekurrente Netzwerke weiter, fokussiert auf KI-Sicherheit

Alle drei erhielten 2018 den Turing Award für ihre Beiträge.

Warum es wichtig ist

Deep Learning transformierte KI von regelbasierten Systemen zu Systemen, die aus Daten lernen. Vor Deep Learning mussten Ingenieure Features für Erkennungsaufgaben manuell spezifizieren. Deep Networks lernen diese Features automatisch, was Durchbrüche ermöglichte in:

• Computer Vision (Bilderkennung, selbstfahrende Autos)
• Natural Language Processing (Übersetzung, Chatbots, LLMs)
• Spracherkennung (Sprachassistenten)
• Spielen (AlphaGo, Schach-Engines)
• Wissenschaftliche Entdeckung (Proteinfaltung, Arzneimittelentdeckung)

Weiterführende Lektüre

• Geoffrey Hinton - Pionier der Backpropagation
• Yann LeCun - Erfinder von CNNs
• Yoshua Bengio - RNN- und Sicherheitsforscher