NVME für KI-Anwendungen
KI-Anwendungen drängen immer stärker auf den Markt und verändern die Anforderungen beim Computing. Die enorme Rechengeschwindigkeit sorgt dafür, dass die Infrastruktur schnell zur Bremse wird. Damit das nicht geschieht und KI-Anwendungen das gesamte Potenzial entfalten können, ist die richtige Hardware notwendig. Eine wichtige Rolle hierbei spielen Festplatten als Datenspeicher und die Schnittstellen in den Servern, die hier zum Einsatz kommen. NVMe ist eine der Technologien, die gerade in Verbindung mit KI-Anwendungen die erforderliche Performance bereitstellt.
1. Das unterscheidet NVMe von anderen Speichertechnologien
Bei NVMe handelt es sich um ein Protokoll, das auf der Schnittstelle PCI-Express basiert. Es gibt die Technologie bereits seit 2011, in der Praxis kommt Hardware mit dieser Technik aber vor allem seit dem Jahr 2020 zum Einsatz. NVMe bringt eine Reihe von Stärken mit und kommt in Verbindung mit SSD-Datenträgern zum Einsatz. Diese Laufwerke bieten durch die Flash-Speichertechnik eine höhere Leistung als die klassischen mechanischen Festplatten. Flash-Laufwerke besitzen faktisch keine Suchzeiten, die bei mechanischen Festplatten die Zugriffszeit auf Daten variabel beeinflusst. Die Daten sind bei einer NVMe-SSD direkt abrufbereit, während eine HDD diese erst auf dem Datenträger mit dem Lesekopf finden und abfragen muss. Fragmentierung ist zudem bei Flash-Speichern kein Problem. Das ist gerade beim professionellen Einsatz mit KI-Anwendungen ein starkes Argument. Hier sorgen die hohen I/O-Zugriffe schnell dafür, dass mechanische Festplatten fragmentieren, was die Zugriffszeiten erhöht.
Es gibt verschiedene Formfaktoren, die NVMe mit SSDs kombinieren, unter anderem ermöglichen M.2-Steckplätze und PCI-Express-Slots die Anbindung dieser Laufwerke in Systemen. SSDs gibt es auch mit anderen Schnittstellen, vor allem SAS im Bereich der Server oder SATA. Jedoch stehen die Vorteile des Protokolls hier nicht zur Verfügung, auch wenn die SSD-Technologie theoretisch dieselben Voraussetzungen mitbringt.
So liegt die maximale Bandbreite bei der Übertragung von Daten über NVMe bei bis zu 32 GB/s. Dies gilt beim Standard PCIe 4.0 und wenn alle 16 PCIe-Lanes genutzt werden. Die Geschwindigkeit von SATA im Standard III liegt hingegen bei nur maximal 6,0 GB/s. Auch Serial Attached SCSI (SAS), das im professionellen Bereich weitverbreitet ist, kommt an die Bandbreite von NVMe nicht heran. Hier sind Übertragungsgeschwindigkeiten von bis zu 5,625 GB/s möglich. Die Bandbreite ist entscheidend, denn sie bestimmt, mit welcher Geschwindigkeit Daten zwischen der CPU sowie der GPU und den Laufwerken übertragen werden können.
Ein weiterer Aspekt, der für NVMe spricht, ist die geringere Latenz im Vergleich zu anderen Speichertechnologien. Durch die Anbindung über die PCI-Express-Schnittstelle ist das Protokoll NVMe die schnellste Option für den Datentransfer und bietet eine deutlich höhere Leistung. So liegt die Latenz bei NVMe-Datenträgern teilweise bei niedrigen 2,8 Mikrosekunden, während SATA als Schnittstelle eine Latenz von um die 100 Mikrosekunden aufweist. Besonders bei Workloads mit parallelen Zugriffen, wie beispielsweise bei der Verarbeitung von großen Datenbanken für das Machine Learning, spielt die geringe Latenz eine wichtige Rolle.
Die Kombination aus niedriger Latenz und hohem Datendurchsatz resultiert weiterhin in einer hohen Anzahl an möglichen Operationen pro Sekunde. So schafft NVMe 500.000 IOPS (Input/Output operations per Second) und mehr, während SATA-Festplatten auf rund 100.000 IOPS begrenzt sind. Dies ist primär für Server wichtig, die durch CPUs wie AMD EPYC und spezielle GPUs für KI-Anwendungen wie Nvidia GeForce RTX 4090 eine enorme Leistung für Berechnungen bieten.
2. Speicherbedarf für Anwendungen mit KI – darum reichen herkömmliche Lösungen nicht mehr aus
Durch den technischen Fortschritt im Bereich der Künstlichen Intelligenz haben sich die Anforderungen an die Hardware und Server deutlich geändert. Gefordert sind jetzt schnelle Grafikprozessoren für die Echtzeit-Datenverarbeitung sowie hohe Datenübertragungsraten in den Servern zwischen den zentralen Punkten wie den Festplatten und Prozessoren. Ein potenzieller Engpass in klassischen Systemen ist der Bereich Storage. Vor allem bieten die Schnittstellen nicht ausreichend Performance, um die großen Mengen an Daten schnell genug zu bewegen. Dies bremst die Systeme und damit die Anwendungen sowie die Leistung deutlich aus.
Durch die hohen Kosten für solche Hochleistungs-GPUs und SoCs in Servern lohnen sich diese Systeme aber meist nur dann, wenn sie effizient sowie permanent laufen. So dürfen die Systeme keine Schwachpunkte aufweisen und benötigen Speicherlösungen, die mit den modernen Anwendungen aus dem Bereich KI und Machine Learning Schritt halten. Diese Anwendungen benötigen hohe Bandbreiten mit niedriger Latenz, um Daten schnell zwischen dem flüchtigen und permanenten Speicher zu bewegen. Nur NVMe bietet hier ausreichend Leistung, um diese Anforderungen zu erfüllen.
Eine wichtige Eigenschaft, die ebenfalls in dieser Form nur NVMe ermöglicht, sind Backup-Snapshots in Echtzeit. Dies ist beim Training von Modellen im Bereich Machine Learning erforderlich. Die Modelle bewegen hier Daten mit einem Umfang von mehreren Terabyte zwischen dem RAM und dem Storage. Während die Daten bewegt werden, wartet der Grafikprozessor auf neue Inputs, steht also still. Somit entscheidet die Geschwindigkeit im Storage, wie schnell die Berechnungen laufen und wie effizient das System arbeitet. Für die datenintensive Echtzeitverarbeitung ist NVMe eine Grundvoraussetzung für effiziente Server.
Selbst bei kleineren KI-Projekten bieten Laufwerke mit NVMe aufgrund ihrer Eigenschaften enorme Vorteile. Der höhere Datendurchsatz, der so möglich ist, beschleunigt die Aufgaben enorm. Zudem stehen die vergleichsweise geringen Kosten für NVMe-Laufwerke in keinem Vergleich zu den hohen Investitionen für die spezielle Hardware. Alleine die Grafikprozessoren liegen schnell in einem Bereich um die 5.000 Euro pro Stück.
3. NVMe spielt eine zentrale Rolle bei KI-Workloads – auch in der Cloud
Die Künstliche Intelligenz verändert die Welt der IT rapide. Der Innovation stehen jedoch neue Herausforderungen gegenüber. Immer mehr Unternehmen setzen Systeme ein, die gezielt für KI-Anwendungen entwickelt sind, und setzen dabei auf Hochleistungsserver, in denen Laufwerke mit NVMe-Technologie arbeiten. Da die Investition in solche Systeme hoch ist und nicht alle Unternehmen über die notwendigen Ressourcen zum Betrieb verfügen, rückt auch in diesem Bereich die Cloud in den Fokus.
Die Künstliche Intelligenz in der Cloud bietet Unternehmen eine Menge Chancen. Auf diesem Weg ist der Zugang zu enorm leistungsstarken Plattformen möglich, auf denen Anwendungen aus den Bereichen Machine Learning, Deep Learning und allgemein KI effizient laufen. Managed Services im Bereich KI-Hosting sind hier ein besonders bequemer Weg, um Systeme mit hoher Leistung für das gesamte Spektrum an KI-Anwendungen zu erhalten. IT-Dienstleister wie TelemaxX bieten solche Lösungen in der Cloud an.
In naher Zukunft werden KI-Anwendungen in den meisten Unternehmen ganz selbstverständlich in die IT-Abläufe integriert sein. Die Möglichkeiten, die neuronale Netze, die Analyse von Big Data oder auch Machine Learning bieten, sind für viele Unternehmen wichtige Vorteile im Alltag.