Integreringen av vektordatabasemuligheter i mye brukte åpen kildekode-databaser som PostgreSQL og Apache Cassandra representerer et betydelig fremskritt for innføringen av kunstig intelligens i virksomhetsmiljøer.
Pete Lilley, visepresident og daglig leder i NetApp Instaclustr, bringer med seg over 25 års erfaring innen IT-tjenester og implementering av løsninger. Med sin dype ekspertise innen skalerbar datainfrastruktur deler Pete innsikt i hvordan denne utviklingen innen åpen kildekode gjør vektorsøk og generering med utvidet informasjonsinnhenting (RAG) til en praktisk og kraftig realitet for virksomheter som drives av kunstig intelligens.
Disse teknologiene gjør CTO-er i stand til å fremskynde KI-initiativer, støtte ytelse på virksomhetsnivå og håndtere mulighetene og utfordringene ved å bygge inn vektormuligheter i eksisterende datainfrastrukturer.
- Hvordan ser du for deg at integreringen av vektordatabasemuligheter i populære åpen kildekode-databaser som PostgreSQL og Apache Cassandra vil påvirke innføringen av KI-teknologier i virksomhetsmiljøer?
Muligheten til å utnytte vektorsøk ved å ta i bruk kjente åpen kildekode-databaser som PostgreSQL (med pgvector-utvidelsen), den nye Apache Cassandra 5.0 og OpenSearch (som et tredje eksempel) betyr en enklere vei til å etablere og skalere KI-initiativer på virksomhetsnivå. Hver av disse fullstendig åpne kildekodeteknologiene – som er åpen kildekode-teknologier de fleste virksomheter allerede har som en del av teknologistakken sin – har utviklet seg til å tilby ikke bare vektorsøkfunksjoner på virksomhetsnivå, som er avgjørende for å muliggjøre KI-nøyaktighet, men også den underliggende datainfrastrukturen som sikrer at KI-prosjekter kan blomstre på lang sikt.
Teknologiledere forstår at de trenger vektordatabaser, men mange er tilbakeholdne med å ta i bruk og bygge opp kompetanse rundt proprietære vektordatabaser som er kostbare og fremmer leverandørbinding. Fullstendig åpne kildekodealternativer kan være langt mer attraktive, gitt bredden av tilgjengelige eksperter og administrerte tjenester, samt de støttende åpen kildekode-miljøene som omgir hvert av de nevnte prosjektene. Mens proprietære vektordatabaser innebærer forhåndskostnader og tap av fleksibilitet, gjør vektordatabaser med åpen kildekode det mulig for virksomheter å komme raskt i gang og forfølge KI-prosjekter med større trygghet.
- Hva er noen konkrete fordeler ved å implementere generering med utvidet informasjonsinnhenting (RAG) med vektordatabaser med åpen kildekode for virksomhetsspesifikke KI-bruksområder?
Uten en RAG-arkitektur og vektorsøk må LLM-er i virksomheter bruke tradisjonell søkemotorteknologi for å forsøke å forstå forholdet mellom nøkkelord når de tolker forespørsler. Resultatet er ofte ineffektivitet og manglende kontekstforståelse – eller til og med fullstendig misforståelse av konteksten i forespørselen, noe som kan føre til KI-hallusinasjoner. Uten en tilstrekkelig god måte å forstå den kontekstuelle hensikten med en brukers forespørsel på, er KI-prosjekter i virksomheter utsatt for svak LLM-ytelse og resultater av lav kvalitet … hvis de ikke blir katastrofalt feiljusterte.
Vektorsøk gir en bedre vei frem mot kontekstforståelse – en vei som er spesielt effektiv når den støttes av bruk av RAG med vektordatabaser. Vektordatabaser lagrer innebyggingsvektorer som representerer nøkkelord som sett med numeriske koordinater. Jo nærmere disse tallene ligger hverandre, desto mer like er de to nøkkelordene. Vektorsøk bruker disse innebyggingene til å konsentrere søkene om begrensede datasett som er mest relevante for konteksten i forespørselen. Det smalere omfanget betyr at store datasett kan utnyttes mer effektivt. Det reduserer risikoen for hallusinasjoner samtidig som det gir bedre ytelse.
- Hva er noen av de viktigste utfordringene CTO-er kan møte når de introduserer vektordatabasemuligheter i den eksisterende datainfrastrukturen sin, og hvordan kan de best forberede teamene sine på denne overgangen?
CTO-er bør forvente en læringskurve som teamene deres må overvinne før en vektordatabase leverer den kostnadseffektive driften og ytelsen de ønsker å se. Langsiktig planlegging er avgjørende for å sikre at teamene får ressursene og tiden som kreves for å implementere databasen riktig og kontinuerlig optimalisere den.
Det å følge spesifikke anbefalte fremgangsmåter for data vil også ha stor innvirkning på resultatene av KI-prosjekter. Disse bør omfatte bruk av data av høy kvalitet, riktig oppdeling og innebygging av dataene samt bruk av metadata og hybride søkeord (som kombinerer tradisjonelle søkemetoder og vektorsøk). Det krever engasjement og vedvarende innsats å ta KI-prosjekter som drives av LLM-er og vektorsøk, fra demonstrasjonsstadiet til produksjon på virksomhetsnivå. Ved å sørge for at det finnes erfarne medarbeidere innen drift av vektordatabaser og datavitenskap – eller at ekstern ekspertise basert på administrerte tjenester er tilgjengelig for støtte – kan man flate ut læringskurven og fremskynde prosjektene mot meningsfulle resultater.
- Hvordan ser du for deg rollen til administrerte tjenester når det gjelder å hjelpe IT-ledelsen med å implementere og optimalisere vektordatabasemuligheter, særlig for dem med begrenset intern ekspertise?
Administrerte tjenester kan gi virksomheter en snarvei til å få den intelligente datainfrastrukturen sin i drift og til å gjøre alt riktig første gang, selv uten interne eksperter. Virksomheter som bruker populære teknologier med åpen kildekode, som PostgreSQL, Cassandra 5.0 eller OpenSearch, vil ikke ha problemer med å finne administrerte tjenester som er klare til å bidra med implementering og optimalisering av AI-prosjektene deres, samtidig som de reduserer noen av utfordringene team uunngåelig opplever mens de finner fotfestet.
- Hvis vi ser fremover, hvordan tror du landskapet for datateknologier drevet av AI vil utvikle seg, og hvilke tiltak bør CTO-er iverksette nå for å sikre at organisasjonene deres er godt posisjonert for fremtidig utvikling?
Økt etterspørsel etter mer ytelsessterke, mer fleksible og mer kapable AI-datateknologier er nærmest gitt fremover. CTO-er bør absolutt se på programvare med åpen kildekode som allerede har vist pålitelighet, skalerbarhet, sikkerhet, effektivitet og varig relevans på bedriftsnivå i bransjen, og vurdere hvordan disse alternativene kan tas i bruk i den intelligente datainfrastrukturen som støtter AI-prosjektene deres. Når alt kommer til alt, kan valg av riktige verktøy for datalaget utgjøre hele forskjellen når det gjelder å omsette virksomhetens AI-visjon til AI-realitet.
Hva skjer videre
Etter hvert som AI-drevne teknologier omformer datahåndtering og analyse, gir utvidelsen av vektorsøkfunksjonalitet i databaser med åpen kildekode, som PostgreSQL og Apache Cassandra, virksomheter et tilgjengelig og kraftig grunnlag for AI-innovasjon.
Ved å ta i bruk disse teknologiene med strategisk fremsyn kan organisasjoner skalere AI effektivt, redusere vanlige implementeringsutfordringer og sikre samsvar med langsiktige AI-mål.
Ved å prioritere alternativer med åpen kildekode og administrerte tjenester som støtter drift av vektordatabaser, kan CTO-er fremtidssikre infrastrukturen sin og posisjonere organisasjonene sine for å dra nytte av den neste bølgen av AI-fremskritt innen datateknologi.
Abonner på nyhetsbrevet fra The CTO Club for mer innsikt i åpen kildekode.
