Aufbau Ihrer KI-Ready-Infrastruktur: Ein Leitfaden für die IT im Unternehmen
Viele technische Entscheidungen sind notwendig, um KI zu unterstützen – von der Auswahl der LLMs, dem Einsatzort, den erforderlichen Infrastrukturen bis hin zur Schulung der Mitarbeitenden. Kürzlich haben wir IT-Entscheidungsträger in Unternehmen in den USA befragt und fast die Hälfte (44 %) gab an, dass der Aufbau einer KI-fähigen Dateninfrastruktur die oberste Priorität darstellt. IT-Organisationen trainieren zudem bestehende Modelle individuell (37 %), nutzen Cloud-Dienste für KI (32 %), entwickeln eigene Lernmodelle (32 %), erlauben Mitarbeitenden die Nutzung kommerzieller KI-Modelle (29 %) und schulen das Personal (33 %).
In diesem Artikel beleuchte ich diese verschiedenen Bereiche und gebe Unternehmen Überlegungen an die Hand, die eine sogenannte KI-fähige Infrastruktur aufbauen. Wie immer spielt das Budget eine große Rolle bei Technologieentscheidungen rund um KI, aber auch Sicherheit, Compliance und die Verfügbarkeit von IT-Fachkräften mit den passenden KI- und ML-Kompetenzen sind entscheidend.
Aufbau einer KI-fähigen Dateninfrastruktur
Der Start einer KI-Initiative im Unternehmen kann die Entwicklung und das Training eigener Modelle erforderlich machen, falls ein eigenes generatives KI-Modell benötigt wird. Dies beginnt in der Regel mit der Beschaffung leistungsfähiger Rechenressourcen – die teuren CPUs, GPUs und TPUs, die nötig sind, um Machine-Learning-Modelle zu betreiben und Daten mit Höchstgeschwindigkeit zu verarbeiten. Während vorgefertigte Infrastrukturlösungen, öffentliche Modelle und Cloud-Dienste Kostenvorteile und Benutzerfreundlichkeit bieten, müssen IT-Organisationen ebenso abwägen, ob sie KI im eigenen Haus behalten, um bessere Kontrolle zu gewährleisten, oder ein hybrides Modell einführen, das den Anforderungen an Daten-Governance, Transparenz und Sicherheit entspricht.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
Die durchschnittlichen Kosten für einen KI-Server liegen bei 32.000 US-Dollar. „Gartner Distinguished Analyst John-David Lovelock weist darauf hin, dass ein Rack mit KI-Servern über 1 Million US-Dollar kostet." Flashbasierte Speichertechnologien, die für KI konzipiert sind, können die Kosten zusätzlich erhöhen. Hinzu kommen Wartung und Support dieser Ausstattung, was fest angestellte IT-Mitarbeiter und ein hochmodernes Rechenzentrum erfordert.
-
Atera
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.6 -
SuperAnnotate
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.9 -
Nanonets
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.9
Einsatz von Unternehmensdaten mit KI
Unabhängig davon, ob ein eigenes Modell entwickelt oder – wahrscheinlicher – vorgefertigte Modelle angepasst und genutzt werden, ist ein Datenmanagement notwendig, um die richtigen unstrukturierten Daten für die KI bereitzustellen. Das Management unstrukturierter Daten automatisiert KI-Daten-Workflows und steuert die unternehmensweite Daten-Governance, insbesondere im Umgang mit sensiblen Daten.
Unstrukturierte Daten, die laut IDC etwa 90 % aller Daten ausmachen, sind meist über zahlreiche Silos verteilt. Genau hier setzt das Datenmanagement an: Es ermöglicht die schnelle Suche, das Tagging und die Weitergabe geeigneter Daten an KI-Modelle.
Cloud-Dienste für KI
Die wichtigsten Cloud-Anbieter haben umfassende Services entwickelt, um KI für Organisationen zu unterstützen, die die Technologie nicht selbst betreiben möchten oder können. Die Komponenten reichen von schnellen Speicher- und Rechenressourcen bis hin zu Machine Learning, GenAI und Entwicklungstools. Während cloudbasierte KI klare Kostenvorteile hat – denn es müssen weder eigene Server oder Speicher gekauft noch der gesteigerte Energiebedarf sowie die erhöhte Rechenzentrumsfläche bezahlt werden – kann man in der Cloud jedoch auch schnell überdimensionieren und zu viel ausgeben. Ebenso gibt es häufig Kompetenzlücken im Bereich Cloud.
Eine Cloud-KI-Strategie kann dann erfolgreich und kosteneffizient sein, wenn das Datenmanagement stimmt. Wird beispielsweise eine große Menge an unstrukturierten Daten in die Cloud kopiert und erst anschließend analysiert, welche Daten für die KI wirklich nützlich sind, treibt dies schnell die Kosten in die Höhe.
Auch sollte man vermeiden, eine KI-Anwendung zu füttern, ohne die Daten vorher aufzuräumen: In den meisten Unternehmen existieren große Mengen doppelter, veralteter oder überflüssiger Daten, die gelöscht werden sollten. Die Daten sollten vor der Migration gut klassifiziert und strukturiert sein – und verschieben Sie nur jene Daten, die wirklich in den Umfang Ihres Projekts passen. Es empfiehlt sich außerdem, Fragen der Cloud-Daten-Governance zu berücksichtigen.
Wählen Sie Anwendungsfälle mit vorhersehbarem ROI und stellen Sie sicher, dass Sie die Ergebnisse später messen können. Sicherheits- und Compliance-Anforderungen können dagegen sprechen, KI in der Cloud zu hosten. Mindestens sollte man die Risiken für die eigenen Daten bei jedem KI-Service verstehen und wissen, wie Projekte im Hinblick auf Datenrisiken geprüft werden können, bevor sie gestartet werden.
Entscheidungen zu Machine-Learning-Modellen
Beliebte Machine-Learning-Modelle wie GPT, Claude, Gemini, TensorFlow und PyTorch basieren auf riesigen öffentlichen Datensätzen für ihr Training. Um KI jedoch für Unternehmenseinsätze wie die Optimierung von Prozessen, Forschung & Entwicklung oder die Kundenbetreuung sinnvoll und glaubwürdig zu machen, sollte ein Modell mit eigenen, unternehmenseigenen Daten trainiert und privat gehalten werden.
Das Training und/oder die Entwicklung eines Modells erfordert spezialisierte Data Scientists, die führende Programmiersprachen wie Python und R, Big-Data-Modellierung und -Analyse, Kenntnisse von Machine-Learning-Modellen sowie Security und Cloud Computing beherrschen.
Ein ehrgeiziges, gut finanziertes Analytics- und Data-Science-Team kann sich sogar dafür entscheiden, ein Modell von Grund auf neu zu entwickeln. Die Gründe hierfür sind der Wunsch nach vollständiger Kontrolle über die Architektur und Sicherheit und/oder die Unterstützung eines hochsensiblen, wettbewerbsintensiven Projekts. Während es Communities wie Hugging Face und OpenAI gibt, die dabei helfen, Komponenten auszuwählen und mit anderen zusammenzuarbeiten, ist dies ein enormer Aufwand. Es beinhaltet die Bereinigung und Vorbereitung von Daten, die Auswahl und das Training von Algorithmen sowie die Feinabstimmung des Modells hinsichtlich Genauigkeit und Zuverlässigkeit. Dafür benötigt man nicht nur die entsprechende Infrastruktur, sondern auch ein Team von Ingenieuren, das die Arbeit übernimmt.
Aufgrund der begrenzten Ressourcen der meisten Unternehmen ist die Nutzung vortrainierter proprietärer oder Open-Source-ML-Modelle mit Unternehmensdaten wahrscheinlich der häufigste Weg zu KI. Das sogenannte AI-Inferencing ist ein wesentlich größerer und breiterer Markt als das Training von KI-Modellen. Daher investieren IT-Organisationen zunehmend in den Aufbau einer geeigneten Dateninfrastruktur, um Unternehmensdaten für KI zu finden, zu kuratieren, zu prüfen und bereitzustellen – und dabei die Daten-Governance aufrechtzuerhalten.
Der Aufstieg von KI-Tools von der Stange
Die Komprise-Umfrage ergab, dass nur 30 % der Unternehmen ein festes Budget für KI eingeplant haben – was darauf hindeutet, dass 70 % noch mit der Technologie experimentieren und recherchieren. Und heute bedeutet das wahrscheinlich die Nutzung kostengünstiger Anwendungen wie OpenAI ChatGPT, Anthropic Claude, Microsoft Copilot oder Google Gemini. Mitarbeitende in allen Abteilungen nutzen diese Tools, um Fragen zu beantworten, Texte zu verfassen, Grafiken und Bilder zu erstellen oder Software-Code zu schreiben – mit enormer Geschwindigkeit und guten, praxisnahen Ergebnissen.
Was fehlt, sind Standards und etablierte Best Practices. Für welche Projekte ist GenAI sicher und geeignet? Welche Daten sollten verwendet und welche vor dem Einlesen geschützt werden? Wie sollten von GenAI abgeleitete Ergebnisse auf Genauigkeit und Legitimität überprüft werden? Was passiert, wenn IP oder Kundendaten in ein allgemeines LLM gelangen? Wie kann ein Unternehmen sich gegen Urheberrechts- oder Verleumdungsklagen schützen, die auf von GenAI erstellten Arbeiten basieren?
Beginnen Sie damit, Ihren Datenbestand hinsichtlich der Datencharakteristika und der Menge sensibler Daten wie PII und IP zu verstehen. Diese Analyse hilft dem Unternehmen dabei, Richtlinien für die Nutzung von GenAI zu entwickeln, die sowohl Daten als auch Anwendungsfälle regeln. Sie benötigen ein Tool, um die Einhaltung zu überwachen und mögliche Probleme zu untersuchen, die bei der Nutzung von GenAI auftreten können – falls dies der Fall ist.
Können Sie nachvollziehen, welche Daten von welchen Nutzern oder Abteilungen in das KI-Tool eingespeist wurden? Können Sie sensible Daten aus Verzeichnissen finden und verschieben, aus denen sie aufgefunden und von einem KI-Tool verwendet werden könnten? Einige Lösungen für das Management unstrukturierter Daten bieten diese Funktionalitäten bereits; die Data Governance für KI ist ein stark wachsender Bereich, um Rückschläge durch KI zu verhindern, die das Kundenvertrauen, die Loyalität und die Glaubwürdigkeit auf dem Markt gefährden könnten.
Need expert help selecting the right tool?
Die Notwendigkeit von GenAI-Governance
Angesichts der allgemeinen Bedenken am Markt hinsichtlich KI, der bekannten Fähigkeit falsche Ergebnisse und schädliche Halluzinationen zu erzeugen, des Risikos, dass Unternehmensdaten in generische LLMs gelangen, sowie der hohen Kosten für die Entwicklung und Implementierung von KI-Technologien werden IT-Leitungen einen wasserdichten Plan und Prozess zur Bewertung und Einführung des KI-Stacks ausarbeiten wollen.
Sie möchten mehr Einblicke rund um KI? Abonnieren Sie den Newsletter des CTO Clubs für Tipps und Tools direkt in Ihr Postfach!
