Deutsche Nachrichten
Aktuell

AI

Illustrativer Speicherblock eines Mikrocontrollers, nicht die im Artikel behandelte GPU.

Selbstaufmerksamkeit, CUDA-Kernel und FlashAttention

Moderne Transformer nutzen die Matrixberechnungen der Selbstaufmerksamkeit, GPU-Compiler auf höherer Abstraktionsebene wie Triton und speicherbewusste CUDA-Kernel wie FlashAttention, um riesige Token-Sequenzen mit maxima

Illustrative Rechenzentrums-Racks am Fermilab, keine bestimmte KI-Trainingsanlage.

Wie CUDA Deep Learning antreibt

CUDA (Compute Unified Device Architecture) ist die parallele Rechenplattform und das Programmiermodell von NVIDIA, mit dem Deep-Learning-Frameworks aufwendige mathematische Berechnungen auf GPUs ausführen können. Indem C

Illustratives Detail eines Prozessor-Dies, nicht die im Artikel besprochene NVIDIA-GPU.

AlexNet: die CUDA-Technik hinter dem Durchbruch von 2012

Im Jahr 2012 bewies der Durchbruch von AlexNet, dass tiefe neuronale Netze in Verbindung mit CUDA-fähigen GPUs jahrzehntelange traditionelle Entwicklung im Bereich Computer Vision übertreffen konnten. Bei der ImageNet La