Integrationen af vektordatabasemuligheder i bredt anvendte open source-databaser som PostgreSQL og Apache Cassandra udgør et betydeligt fremskridt for udbredelsen af AI i virksomhedsmiljøer.
Pete Lilley, vicepræsident og generaldirektør hos NetApp Instaclustr, bringer over 25 års erfaring med IT-tjenester og implementering af løsninger ind i diskussionen. Med sin dybe ekspertise inden for skalerbar datainfrastruktur deler Pete indsigter i, hvordan disse fremskridt inden for open source gør vektorsøgning og Retrieval Augmented Generation (RAG) til en praktisk og effektiv realitet for AI-drevne virksomheder.
Disse teknologier gør det muligt for CTO'er at fremskynde AI-initiativer, understøtte ydeevne på virksomhedsniveau og håndtere mulighederne og udfordringerne ved at integrere vektorfunktioner i eksisterende datainfrastrukturer.
- Hvordan ser du integrationen af vektordatabasemuligheder i populære open source-databaser som PostgreSQL og Apache Cassandra påvirke udbredelsen af AI-teknologier i virksomhedsmiljøer?
Muligheden for at udnytte vektorsøgning gennem velkendte open source-databaser som PostgreSQL (med pgvector-udvidelsen), den nye Apache Cassandra 5.0 og OpenSearch (som et tredje eksempel) betyder en lettere vej til at etablere og skalere AI-initiativer i virksomheden. Hver af disse fuldt ud open source-teknologier – som er open source-teknologier, de fleste virksomheder allerede har som en del af deres teknologistak – har udviklet sig til nu at levere ikke kun vektorsøgningsfunktioner på virksomhedsniveau, som er afgørende for at muliggøre AI-præcision, men også den underliggende datainfrastruktur, der sikrer, at AI-projekter kan trives på lang sigt.
Teknologiledere forstår, at de har brug for vektordatabaser, men mange er tilbageholdende med at indføre proprietære vektordatabaser og opbygge ekspertise omkring dem, fordi de er dyre og fremmer leverandørlåsning. Fuldstændigt open source-baserede alternativer kan være langt mere attraktive på grund af det brede udvalg af eksperter og administrerede tjenester, der er tilgængelige, samt de støttende open source-fællesskaber omkring hvert af de førnævnte projekter. Hvor proprietære vektordatabaser medfører indledende omkostninger og tab af fleksibilitet, giver open source-vektordatabaser virksomheder mulighed for at komme hurtigt i gang og forfølge AI-projekter med større selvtillid.
- Hvad er nogle af de specifikke fordele ved at implementere Retrieval Augmented Generation (RAG) med open source-vektordatabaser til virksomhedsspecifikke AI-anvendelser?
Uden en RAG-arkitektur og vektorsøgning er LLM'er i virksomheder nødt til at anvende traditionel søgemaskineteknologi for at forsøge at forstå relationerne mellem nøgleord, mens de fortolker forespørgsler. Resultatet er ofte ineffektivitet og manglende kontekstforståelse – eller endda en fuldstændig misforståelse af forespørgslens kontekst, hvilket kan føre til AI-hallucinationer. Uden en tilstrækkeligt effektiv måde at forstå den kontekstuelle hensigt bag en brugers forespørgsel på er AI-projekter i virksomheder tilbøjelige til dårlig LLM-ydeevne og resultater af lav kvalitet … hvis ikke de er katastrofalt misvisende.
Vektorsøgning giver en bedre vej frem mod kontekstforståelse – en vej, der er særligt effektiv, når den understøttes af anvendelse af RAG med vektordatabaser. Vektordatabaser gemmer indlejringsvektorer, som tildeler rumlige data til nøgleord som sæt af numeriske koordinater. Jo tættere disse tal er på hinanden, desto mere ens er de to nøgleord. Vektorsøgning anvender disse indlejringer til at fokusere søgninger på begrænsede datasæt, der er mest relevante for forespørgslens kontekst. Det smallere fokus betyder, at store datasæt kan udnyttes mere effektivt. Det reducerer risikoen for hallucinationer og giver samtidig bedre ydeevne.
- Hvilke af de vigtigste udfordringer kan CTO'er møde, når de introducerer vektordatabasemuligheder i deres eksisterende datainfrastruktur, og hvordan kan de bedst forberede deres teams på denne overgang?
CTO'er bør forvente en læringskurve, som deres teams skal overvinde, før en vektordatabase leverer den omkostningseffektive drift og ydeevne, de ønsker at se. Langsigtet planlægning er afgørende for at sikre, at teams får de nødvendige ressourcer og den nødvendige tid til at implementere og løbende optimere databasen korrekt.
Det har også stor indflydelse på AI-projekters resultater, at man følger specifikke bedste praksisser for data. Disse bør omfatte brug af data af høj kvalitet, korrekt opdeling og indlejring af dataene samt brug af metadata og hybride søgetermer (en kombination af traditionelle søgemetoder og vektorsøgning). Det kræver dedikation og en vedvarende indsats at bringe AI-projekter, der er drevet af LLM'er og vektorsøgning, fra demonstrationsstadiet til produktion på virksomhedsniveau. Hvis man sikrer, at der er erfarne medarbejdere inden for drift af vektordatabaser og datavidenskabelige roller – eller at der er adgang til ekstern ekspertise baseret på administrerede tjenester – bliver læringskurven mindre stejl, og projekterne kan hurtigere levere meningsfulde resultater.
- Hvordan ser du rollen for administrerede tjenester i forbindelse med at hjælpe IT-ledelsen med at implementere og optimere vektordatabasemuligheder, især for dem med begrænset intern ekspertise?
Administrerede tjenester kan give virksomheder en genvej til at få deres intelligente datainfrastruktur op at køre og få alt til at fungere korrekt første gang, selv uden interne eksperter ansat. Virksomheder, der anvender populære open source-teknologier som PostgreSQL, Cassandra 5.0 eller OpenSearch, vil ikke have problemer med at finde administrerede tjenester, der er klar til at hjælpe med at implementere og optimere deres AI-projekter, samtidig med at nogle af de vanskeligheder, teams uundgåeligt oplever, når de finder fodfæste, reduceres.
- Hvis du ser fremad, hvordan tror du så, at landskabet for AI-drevne datateknologier vil udvikle sig, og hvilke skridt bør CTO'er tage nu for at sikre, at deres organisationer er godt positioneret til fremtidige udviklinger?
Øget efterspørgsel efter mere højtydende, mere fleksible og mere kapable AI-datateknologier er stort set en given faktor fremover. CTO'er bør bestemt se på open source-software, der allerede har demonstreret pålidelighed, skalerbarhed, sikkerhed, effektivitet og holdbarhed på virksomhedsniveau i branchen, og overveje, hvordan disse muligheder kan anvendes i den intelligente datainfrastruktur, der understøtter deres AI-projekter. Når alt kommer til alt, kan valget af de rette værktøjer til datalaget gøre hele forskellen, når det handler om at få virksomhedens AI-vision til at stemme overens med virksomhedens AI-virkelighed.
Hvad sker der nu?
Efterhånden som AI-drevne teknologier omformer datahåndtering og -analyse, giver udvidelsen af vektorsøgningsfunktioner i open source-databaser som PostgreSQL og Apache Cassandra virksomheder et tilgængeligt og effektivt grundlag for AI-innovation.
Ved at udnytte disse teknologier med strategisk fremsyn kan organisationer skalere AI effektivt, afbøde almindelige implementeringsudfordringer og sikre overensstemmelse med langsigtede AI-mål.
Ved at prioritere open source-muligheder og administrerede tjenester, der understøtter drift af vektordatabaser, kan CTO'er fremtidssikre deres infrastruktur og positionere deres organisationer til at udnytte den næste bølge af AI-fremskridt inden for datateknologi.
Tilmeld dig The CTO Clubs nyhedsbrev for at få flere open source-indsigter.
