Skip to main content
Join the Community
Join the Community Join the Community
Strategie & Innovation

KI-Inferenz: Warum Ihre Datenplattform eine Rundumerneuerung braucht

Krishna Subramanian
By
Krishna Subramanian
Krishna Subramanian Co-founder and COO

More about Krishna
QUICK SUMMARY

KI-Inferenz ist die nächste Grenze für Unternehmen und erfordert neue Ansätze im Datenmanagement, um unstrukturierte Daten zu verarbeiten und eine ordnungsgemäße Governance sicherzustellen. CTOs sollten die besonderen Anforderungen berücksichtigen.

TABLE OF CONTENTS Der geschäftliche Nutzen der KI-Inferenz Warum KI-Inferenz eine neue Datenarchitektur benötigt Die neuen Anforderungen im Überblick Kritische Fragen vor der Einführung
Why Your Data Platform Needs a Makeover in the Era of AI Inferencing featured image

Bis vor Kurzem drehten sich die meisten Schlagzeilen rund um KI hauptsächlich um das Wettrennen bei der Entwicklung und Verbesserung von LLMs und anderen KI-Modellen sowie um NVIDIAs Aufstieg zum bevorzugten KI-Prozessor. Da die KI-Branche zwei Jahre nach der Einführung von ChatGPT reift, erleben wir nun eine Wende hin zum eigentlichen Ziel: Künstliche Intelligenz praktisch einzusetzen – also das sogenannte Inferencing. Die meisten IT-Abteilungen in Unternehmen müssen ihr Datenmanagement neu gestalten, um eine ordnungsgemäße Datenverwaltung für das KI-Inferencing sicherzustellen.

Werfen wir einen genaueren Blick darauf, warum das so ist.

Der geschäftliche Mehrwert von KI-Inferencing

KI-Inferencing ist nicht immer gleich. Während manche Aufgaben, wie das Verfassen von Texten für soziale Medien, einfach erledigt werden können, indem man sein bevorzugtes generatives KI-Tool öffnet und eine Eingabe macht, liegt der größere Nutzen für Unternehmen darin, interne Daten zu nutzen, um Ausgaben individuell auf Geschäfts- und Kundenbedürfnisse zuzuschneiden. Den geschäftlichen Nutzen von KI erkennt man insbesondere mit den Unternehmensdaten.

Want more from The CTO Club?

Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.

Have an account? Log In

This field is for validation purposes and should be left unchanged.
Name*

Beispielsweise lassen sich Chat-Verläufe analysieren, um Kundenzufriedenheit und Stimmungstrends zu erkennen, oder klinische Notizen aus Krankenhausterminen eingeben, um Fälle zusammenzufassen und Trends bei Behandlung und Prävention von Krankheiten aufzudecken.

Warum KI-Inferencing eine neue Datenarchitektur erfordert

KI-Inferencing entwickelt sich zu einem riesigen Markt mit enormen Auswirkungen auf die IT-Infrastruktur. „Mehrere Quellen, einschließlich Technologieunternehmen wie Amazon oder NVIDIA, schätzen, dass die Inferenz in weit verbreiteten Systemen die Kosten für das Training übersteigen kann und dass die Inferenz bis zu 90 % der Kosten für maschinelles Lernen in eingesetzten KI-Systemen ausmacht“, so Forscher, die in Science Direct veröffentlicht wurden.

Durch die starke Investition von Zeit, Kosten und Energie in KI-Inferencing werden IT-Verantwortliche ihre unterstützende Technologiebasis – von Datenplattformen bis zur Rechenzentrumsinfrastruktur, egal ob lokal oder in der Cloud – und auch Laptops und Smartphones, die für KI-Prozesse optimiert werden, genau unter die Lupe nehmen. Sie werden ihre Systeme möglicherweise aufrüsten müssen, um Effizienz, Leistung und Kostenoptimierung zu gewährleisten und fit für die Zukunft zu sein.

Top KI-Plattformen!

  1. Nanonets

    This is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.
    4.9
    Visit Website

  2. Athenic

    This is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.
    4.4
    Visit Website

  3. iguazio

    This is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.
    4.8
    Visit Website

Was die neuen Anforderungen bedeuten

Obwohl das KI-Inferencing der nächste Schritt nach der Modellentwicklung ist, unterscheiden sich die Anforderungen hier so stark, dass ein neues Datenparadigma erforderlich ist – insbesondere für unstrukturierte Daten:

  • Routinemäßige Nutzung von Unternehmensdaten verwalten: Schauen wir uns zunächst den Prozess des KI-Inferenzierungsprozesses auf hoher Ebene an, wie er von IBM Research erklärt wird: „Während der Inferenz arbeitet ein KI-Modell mit Echtzeitdaten, vergleicht die Anfrage des Nutzers mit Informationen, die während des Trainings verarbeitet und in seinen Gewichten oder Parametern gespeichert wurden. Die Antwort, die das Modell zurückliefert, hängt von der Aufgabe ab – sei es das Erkennen von Spam, das Umwandeln von Sprache in Text oder das Destillieren eines langen Dokuments auf die wichtigsten Erkenntnisse. Das Ziel der KI-Inferenz ist es, ein umsetzbares Ergebnis zu berechnen und auszugeben.“ Anders ausgedrückt: Die Inferenzierung in der KI und ihre Nutzung erfordern, dass Organisationen das, was das Modell gelernt hat, mit relevanten Unternehmensdaten ergänzen.
  • Muss einfach für alle Mitarbeitenden sein, nicht nur für Data Scientists: Während die Modellentwicklung ein hochspezialisierter KI-Markt für Data Scientists ist, richtet sich die KI-Inferenz an alle Nutzenden und muss daher leicht nutzbar und einsetzbar sein. Wie können Sie es Mitarbeitenden erleichtern, die richtigen Unternehmensdaten für den passenden KI-Prozess zu finden und einzuspeisen? Wie stellen Sie sicher, dass der Daten-Workflow für Audits festgehalten wird? Das Trainieren von KI-Modellen ist wie der Bau eines Kraftwerks – nur wenige verfügen über das Spezialwissen und die Ressourcen dazu. Aber die KI-Inferenz sollte so einfach sein wie Stromverbrauch: Jeder sollte den Schalter nach Belieben umlegen können.
  • Unstrukturierte Daten müssen durchsuchbar und einspeisbar für KI sein: Heute dreht sich mit KI und ML alles um unstrukturierte Daten – die Millionen oder Milliarden von Dateien wie Dokumente, Nachrichten, Bilder, Videos und Maschinendaten, die im Unternehmen über verschiedene Verzeichnisse und Freigaben verteilt sind. Aufgrund der Größe und der verteilten Silos ist es kosten- und zeitmäßig nicht praktikabel, diese in ein System zu verschieben. Nutzende greifen daher eher auf viele KI-Tools zurück als auf ein riesiges Data-Warehouse.
  • Daten zuerst zu verschieben funktioniert nicht mehr: Da unstrukturierte Daten leicht Petabyte-Größe erreichen und teuer zu bewegen sind, funktioniert das traditionelle Extrahieren-Transformieren-Laden-(ETL)-Paradigma, bei dem Daten zunächst in einen Data Lake oder Lakehouse geladen werden, nicht mehr. IT-Teams benötigen eine Möglichkeit, unstrukturierte Daten systematisch zuzugreifen und zu verwalten, ohne sie zentral verschieben zu müssen. Sie brauchen automatisierte Tools zur Datenvorbereitung – um irrelevante Daten auszusortieren, Kontext und Struktur per Metadaten-Anreicherung hinzuzufügen und sichere Workflows zu schaffen, damit die richtigen Datensätze zielgerichtet an die passenden Werkzeuge gelangen. Ein einheitlicher globaler Index ist ein sinnvoller Ausgangspunkt, um Daten sichtbar zu machen und schnelle Suche über hybride Datenbestände zu ermöglichen.
  • Automatisierte Daten-Governance: Darüber hinaus wird Daten-Governance für KI zu einer entscheidenden Fähigkeit im Datenmanagement. Um zu verhindern, dass sensible Daten in KI-Tools gelangen, falsche Ergebnisse, Halluzinationen oder Klagen wegen Urheberrechtsverletzungen entstehen, benötigen Unternehmen Möglichkeiten, die Bewegung von Daten in KI-Systeme zu überwachen und nachzuverfolgen. Automatisierte Methoden werden benötigt, um sensible Daten wie personenbezogene Informationen (PII) zu erkennen und diese an Orte zu verschieben, an denen sie für Mitarbeitende nicht aus KI-Anwendungen heraus zugänglich sind. Durch die Automatisierung der Workflows für den Zugriff auf KI können Sie sicherstellen, dass Automatisierung die Daten-Governance nachhält und steuert.
  • Ein neues Datenmanagementmodell für KI: Die entstehende „Datenbank“-Schicht für unstrukturierte Daten ist virtuell und speichert nicht mehr alle Daten. Sie wird sich weiterentwickeln, um die oben genannten Fähigkeiten (und weitere) zu umfassen. Sie muss über alle Speichertechnologien und Umgebungen hinweg funktionieren – vom Rechenzentrum bis zum Edge und in die Cloud – und dabei effizient Petabytes an Datei- und Objektdaten verwalten können.

Kritische Fragen vor der Einführung

Bevor Sie in neue Technologien für KI investieren, sollten die Beteiligten gemeinsam die wichtigsten Ziele und Einschränkungen bestimmen, die sie zur Risikominimierung umsetzen möchten. Dabei helfen folgende Fragen:

  1. Welche Abteilungen und/oder Anwendungsfälle liefern die schnellsten Lernerfolge bei geringstem Risiko?
  2. Was sind die wichtigsten langfristigen Ziele und erwarteten Ergebnisse bei der KI-Nutzung – insbesondere in Verbindung mit Unternehmensdaten?
  3. Wie sollen Nutzende mit KI-Systemen interagieren können? Wird es bestimmte, freigegebene KI-Tools geben oder obliegt die Entscheidung den Nutzenden?
  4. Welche internen Richtlinien werden für die KI-Nutzung benötigt und wie werden sie durchgesetzt? Zum Beispiel kann eine Organisation vorschreiben, welche KI-Tools am Arbeitsplatz verwendet werden dürfen und/oder welche Arten von Daten in die Systeme eingespeist werden dürfen. Möglicherweise sollen etwa Protokolle von Vorstandssitzungen, F&E-Besprechungen oder Kundentelefonaten ausgeschlossen werden.
  5. Welche Branchenvorschriften müssen beachtet werden, wenn Unternehmensdaten für KI genutzt werden?
  6. Wie werden Ergebnisse oder abgeleitete Werke aus KI auf Richtigkeit und Legitimität überprüft?
  7. Wie können abgeleitete Werke intern oder extern genutzt werden?
  8. Welches KI-Governance- und Sicherheitsframework wird benötigt und welche Lücken in der Sicherheitstechnologie-Infrastruktur sind zu schließen?
  9. Welche Systeme können in der Cloud betrieben werden und welche sollten lokal verbleiben?
  10. Wie suchen, finden und füttern Nutzende Unternehmensdaten an KI?
  11. Wie wird das Ergebnis der KI dauerhaft gespeichert?

Richtig eingesetzt kann AI-Inferencing Unternehmen einen erheblichen Wettbewerbsvorteil verschaffen. Allerdings können dabei auch Datenrisiken entstehen, da Unternehmensdaten offengelegt werden müssen. AI-Inferencing erfordert eine neue Datenarchitektur, weil das traditionelle Modell, Daten in ein Data Warehouse oder einen Data Lake zu laden und sie zentral zu verarbeiten, nicht mehr funktioniert. Für AI-Inferencing sind eine effiziente Indexierung, Suche, Aufbereitung und Bereitstellung unstrukturierter Daten für KI mit automatisierter Protokollierung und Nachverfolgung notwendig.

Abonnieren Sie den Newsletter des CTO Club für weitere Daten-Insights und Best Practices.

You may also like