CUDA-Verbreitung: von frühen GPU-Experimenten zum AlexNet-Durchbruch

KI-Forschende erkannten zwischen 2006 und 2009 den enormen Leistungsvorteil von CUDA für neuronale Netze, der entscheidende Durchbruch in der breiten Anwendung folgte 2012. Vor diesem Wandel galten neuronale Netze weithin als zu langsam und rechenintensiv, um praktikabel zu sein.

Wichtige Meilensteine bei der Verbreitung von CUDA

• 2006 (CUDA erscheint): NVIDIA brachte CUDA auf den Markt und ermöglichte Forschenden, GPUs mit Standard-C/C++ statt mit komplexen Grafik-Shadern (wie OpenGL) zu programmieren.

• 2007–2008 (frühe Experimente mit neuronalen Netzen): Frühe Anwender begannen, Algorithmen für neuronale Netze auf CUDA zu portieren. 2008 zeigten der Forscher Rajat Raina und das Team von Andrew Ng in Stanford, dass GPUs mit CUDA Deep Belief Networks bis zu 70-mal schneller trainieren konnten als Mehrkern-CPUs.

• 2009–2010 (rekordbrechende Benchmarks): Das Labor von Jürgen Schmidhuber (darunter Dan Cireșan) trainierte mit CUDA-beschleunigten GPUs tiefe neuronale Netze, die die Rekorde bei der Handschrifterkennung (MNIST) brachen und bewiesen, dass tiefere Netze ohne spezialisierte Supercomputer trainiert werden können.

• 2012 (der Wendepunkt AlexNet): Der entscheidende Moment kam beim ImageNet-Wettbewerb. Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton trainierten AlexNet mit eigenen CUDA-Kerneln auf zwei NVIDIA GTX 580 GPUs und halbierten die Fehlerrate bei der Bildklassifikation im Vergleich zu herkömmlichen Methoden fast. Dieser Sieg löste die moderne Deep-Learning-Revolution aus.

• 2014 (cuDNN erscheint): Nach dem AlexNet-Boom veröffentlichte NVIDIA cuDNN (CUDA Deep Neural Network library) und gab damit jedem KI-Forschenden optimierte, sofort einsetzbare GPU-Bausteine für Frameworks wie Caffe, Theano, TensorFlow und PyTorch.

Warum es alles veränderte

Vor CUDA dauerte das Training eines mittelgroßen neuronalen Netzes auf CPUs Wochen oder Monate, sodass Forschung durch Ausprobieren fast unmöglich war. CUDA verkürzte diese Trainingszeiten auf Tage oder Stunden und erlaubte es Forschenden, Datensätze zu vergrößern, mehr Schichten zu stapeln und moderne Architekturen wie Transformer und große Sprachmodelle zu erfinden.