Att driva på AI-användningen: en intervju med Pete Lilley om vektordatabaser med öppen källkod

1. Hur ser du på att integreringen av vektordatabaskapacitet i populära databaser med öppen källkod, såsom PostgreSQL och Apache Cassandra, påverkar införandet av AI-teknik i företagsmiljöer?

Möjligheten att utnyttja vektorsökning genom välbekanta databaser med öppen källkod, såsom PostgreSQL (med pgvector-tillägget), den nya Apache Cassandra 5.0 och OpenSearch (som ett tredje exempel), innebär en enklare väg till att starta och skala AI-initiativ på företagsnivå. Var och en av dessa helt öppna källkodstekniker – tekniker med öppen källkod som de flesta företag redan har som en del av sin teknikstack – har utvecklats så att de nu inte bara tillhandahåller den vektorsökningskapacitet på företagsnivå som är avgörande för AI-precision, utan även den underliggande datainfrastruktur som krävs för att AI-projekt ska kunna utvecklas framgångsrikt på lång sikt.

Teknikledare förstår att de behöver vektordatabaser, men många är tveksamma till att införa och bygga upp kompetens kring proprietära vektordatabaser som är dyra och främjar inlåsning. Helt öppna källkodsalternativ kan vara mycket mer attraktiva, med tanke på bredden av tillgängliga experter och hanterade tjänster samt de stödjande gemenskaperna kring öppen källkod som omger vart och ett av de ovan nämnda projekten. Medan proprietära vektordatabaser innebär initiala kostnader och minskad flexibilitet, gör vektordatabaser med öppen källkod det möjligt för företag att komma igång direkt och driva AI-projekt med större självförtroende.

2. Vilka specifika fördelar finns det med att implementera generering med förstärkt informationshämtning (RAG) med vektordatabaser med öppen källkod för företagsspecifika AI-användningsområden?

I avsaknad av en RAG-arkitektur och vektorsökning måste företags-LLM:er använda traditionell sökmotorteknik för att försöka förstå relationerna mellan nyckelord när de tolkar frågor. Resultatet är ofta ineffektivitet och bristande kontextuell förståelse – eller till och med en fullständig missuppfattning av frågans sammanhang, vilket kan leda till AI-hallucinationer. Utan ett tillräckligt bra sätt att förstå den kontextuella avsikten bakom en användares fråga riskerar AI-projekt på företagsnivå dålig LLM-prestanda och resultat av låg kvalitet … om de inte blir katastrofalt missvisande.

Vektorsökning erbjuder en bättre väg framåt för att uppnå kontextuell förståelse – en väg som är särskilt effektiv när den stöds av användning av vektordatalager i en RAG-lösning. Vektordatabaser lagrar inbäddningsvektorer som tilldelar rumsliga data till nyckelord som uppsättningar av numeriska koordinater. Ju närmare dessa tal ligger varandra, desto mer lika är de två nyckelorden. Vektorsökning använder dessa inbäddningar för att koncentrera sökningarna till begränsade datamängder som är mest relevanta för frågans sammanhang. Det snävare omfånget innebär att omfattande datamängder kan utnyttjas mer effektivt. Det minskar risken för hallucinationer samtidigt som prestandan förbättras.

3. Vilka är några av de viktigaste utmaningarna som CTO:er kan möta när de introducerar vektordatabaskapacitet i sin befintliga datainfrastruktur, och hur kan de bäst förbereda sina team för denna övergång?

CTO:er bör räkna med en inlärningskurva som deras team behöver ta sig igenom innan en vektordatabas levererar den kostnadseffektiva drift och prestanda som de vill se. Långsiktig planering är avgörande för att säkerställa att teamen får de resurser och den tid som krävs för att implementera och kontinuerligt optimera databasen på rätt sätt.

Att följa specifika bästa praxis för data kommer också att ha stor inverkan på resultaten av AI-projekt. Dessa bör omfatta användning av data av hög kvalitet, korrekt uppdelning och inbäddning av data samt användning av metadata och hybrida söktermer (som kombinerar traditionella sökmetoder och vektorsökning). Att ta LLM- och vektorsökningsdrivna AI-projekt från demonstrationsstadiet till produktion på företagsnivå kräver engagemang och ihållande arbete. Genom att säkerställa att erfaren kompetens finns på plats inom drift av vektordatabaser och roller inom datavetenskap – eller att extern expertis baserad på hanterade tjänster finns tillgänglig för support – kan inlärningskurvan planas ut och projekten snabbare nå fram till meningsfulla resultat.

4. Hur ser du på rollen för hanterade tjänster när det gäller att hjälpa IT-ledningen att implementera och optimera vektordatabaskapacitet, särskilt för dem med begränsad intern expertis?

Hanterade tjänster kan ge företag en snabb väg till att få sin intelligenta datainfrastruktur igång och att göra allt rätt från början, även utan interna experter. Företag som använder populära tekniker med öppen källkod som PostgreSQL, Cassandra 5.0 eller OpenSearch kommer inte att ha några problem med att hitta hanterade tjänster som är redo att hjälpa till med att implementera och optimera sina AI-projekt, samtidigt som de minskar en del av de hinder som team oundvikligen stöter på när de försöker hitta rätt.

5. Med blicken framåt, hur tror du att landskapet för AI-drivna datatekniker kommer att utvecklas, och vilka steg bör CTO:er ta nu för att säkerställa att deras organisationer är väl positionerade inför framtida utveckling?

Den ökade efterfrågan på mer prestandastarka, mer flexibla och mer kapabla AI-datatekniker är i princip given framöver. CTO:er bör definitivt titta på programvara med öppen källkod som redan har visat prov på tillförlitlighet, skalbarhet, säkerhet, effektivitet och långsiktig hållbarhet på företagsnivå inom branschen, och överväga hur dessa alternativ kan användas i den intelligenta datainfrastruktur som stöder deras AI-projekt. I slutändan kan valet av rätt verktyg i datalagret göra hela skillnaden när det gäller att förena företagets AI-vision med företagets AI-verklighet.

Vad händer härnäst

När AI-drivna tekniker omformar datahantering och dataanalys ger utbyggnaden av vektorsökningsfunktioner i databaser med öppen källkod som PostgreSQL och Apache Cassandra företag en tillgänglig och kraftfull grund för AI-innovation. 

Genom att utnyttja dessa tekniker med strategisk framförhållning kan organisationer skala AI effektivt, minska vanliga implementeringsutmaningar och säkerställa överensstämmelse med långsiktiga AI-mål. 

Genom att prioritera alternativ med öppen källkod och hanterade tjänster som stöder drift av vektordatabaser kan CTO:er framtidssäkra sin infrastruktur och positionera sina organisationer för att dra nytta av nästa våg av AI-framsteg inom datateknik.

Prenumerera på nyhetsbrevet från The CTO Club för fler insikter om öppen källkod.