Integracja możliwości baz danych wektorowych z powszechnie używanymi bazami danych o otwartym kodzie źródłowym, takimi jak PostgreSQL i Apache Cassandra, stanowi znaczący krok naprzód w upowszechnianiu sztucznej inteligencji w środowiskach korporacyjnych.
Pete Lilley, wiceprezes i dyrektor generalny w firmie NetApp Instaclustr, wnosi do tej dyskusji ponad 25 lat doświadczenia w zakresie usług IT i wdrażania rozwiązań. Dzięki swojej rozległej wiedzy specjalistycznej dotyczącej skalowalnej infrastruktury danych Pete dzieli się spostrzeżeniami na temat tego, jak te postępy w technologiach o otwartym kodzie źródłowym sprawiają, że wyszukiwanie wektorowe i generowanie wspomagane wyszukiwaniem (RAG) stają się praktyczną i potężną rzeczywistością dla przedsiębiorstw wykorzystujących sztuczną inteligencję.
Technologie te umożliwiają dyrektorom technicznym przyspieszanie inicjatyw związanych ze sztuczną inteligencją, wspieranie wydajności klasy korporacyjnej oraz podejmowanie wyzwań i wykorzystywanie możliwości związanych z osadzaniem funkcji wektorowych w istniejących infrastrukturach danych.
- Jak, Państwa zdaniem, integracja możliwości baz danych wektorowych z popularnymi bazami danych o otwartym kodzie źródłowym, takimi jak PostgreSQL i Apache Cassandra, wpłynie na wdrażanie technologii sztucznej inteligencji w środowiskach korporacyjnych?
Możliwość korzystania z wyszukiwania wektorowego za pośrednictwem znanych baz danych o otwartym kodzie źródłowym, takich jak PostgreSQL (z rozszerzeniem pgvector), nowy Apache Cassandra 5.0 oraz OpenSearch (jako trzeci przykład), oznacza łatwiejszą drogę do uruchamiania i skalowania inicjatyw związanych ze sztuczną inteligencją w przedsiębiorstwach. Każda z tych w pełni otwartoźródłowych technologii — a są to technologie o otwartym kodzie źródłowym, które większość przedsiębiorstw już posiada w swoim stosie technologicznym — rozwinęła się i obecnie zapewnia nie tylko możliwości wyszukiwania wektorowego klasy korporacyjnej, kluczowe dla osiągnięcia dokładności sztucznej inteligencji, lecz także podstawową infrastrukturę danych, dzięki której projekty AI mogą rozwijać się w perspektywie długoterminowej.
Liderzy technologiczni rozumieją, że potrzebują baz danych wektorowych, jednak wielu z nich obawia się wdrażania własnościowych baz danych wektorowych i budowania wokół nich kompetencji, ponieważ są one drogie i sprzyjają uzależnieniu od dostawcy. W pełni otwartoźródłowe alternatywy mogą być znacznie bardziej atrakcyjne ze względu na szeroką dostępność ekspertów i usług zarządzanych, a także wspierające społeczności skupione wokół otwartego kodu źródłowego każdego z wymienionych wcześniej projektów. Podczas gdy własnościowe bazy danych wektorowych wiążą się z kosztami początkowymi i utratą elastyczności, bazy danych wektorowych typu open source pozwalają przedsiębiorstwom szybko rozpocząć działania i z większą pewnością realizować projekty związane ze sztuczną inteligencją.
- Jakie są konkretne zalety wdrażania generowania wspomaganego wyszukiwaniem (RAG) z wykorzystaniem otwartoźródłowych baz danych wektorowych w przypadku zastosowań sztucznej inteligencji specyficznych dla przedsiębiorstw?
W przypadku braku architektury RAG i wyszukiwania wektorowego korporacyjne modele LLM muszą korzystać z tradycyjnej technologii wyszukiwarek, aby próbować zrozumieć relacje między słowami kluczowymi podczas interpretowania zapytań. Rezultatem jest często nieefektywność i brak zrozumienia kontekstu — a nawet całkowite niezrozumienie kontekstu zapytania, co może prowadzić do halucynacji sztucznej inteligencji. Bez wystarczająco skutecznego sposobu rozumienia intencji kontekstowej zapytania użytkownika korporacyjne projekty AI są narażone na słabą wydajność modeli LLM i wyniki niskiej jakości… jeśli nie na katastrofalnie błędne rezultaty.
Wyszukiwanie wektorowe oferuje lepszą drogę do osiągnięcia zrozumienia kontekstu — szczególnie skuteczną, gdy jest wspierane przez wykorzystanie RAG i wektorowych magazynów danych. Bazy danych wektorowych przechowują wektory osadzeń, które przypisują słowom kluczowym dane przestrzenne w postaci zbiorów współrzędnych liczbowych. Im mniejsze są różnice między tymi liczbami, tym bardziej podobne są do siebie oba terminy kluczowe. Wyszukiwanie wektorowe wykorzystuje te osadzenia, aby koncentrować wyszukiwanie na ograniczonych zbiorach danych najbardziej istotnych dla kontekstu zapytania. Węższy zakres oznacza efektywniejsze wykorzystanie ogromnych zbiorów danych. Zmniejsza to ryzyko halucynacji, zapewniając jednocześnie lepszą wydajność.
- Jakie są najważniejsze wyzwania, z którymi dyrektorzy techniczni mogą się spotkać podczas wprowadzania możliwości baz danych wektorowych do istniejącej infrastruktury danych, i jak mogą najlepiej przygotować swoje zespoły do tej transformacji?
Dyrektorzy techniczni powinni spodziewać się okresu nauki, który ich zespoły będą musiały przejść, zanim baza danych wektorowych zapewni efektywność kosztową i wydajność operacyjną, jakich oczekują. Planowanie długoterminowe ma kluczowe znaczenie dla zapewnienia zespołom zasobów i czasu niezbędnych do prawidłowego wdrożenia oraz ciągłej optymalizacji bazy danych.
Przestrzeganie konkretnych najlepszych praktyk dotyczących danych również będzie miało istotny wpływ na rezultaty projektów AI. Powinny one obejmować wykorzystywanie danych wysokiej jakości, prawidłowe dzielenie tych danych na fragmenty i tworzenie ich osadzeń, a także korzystanie z metadanych i hybrydowych terminów wyszukiwania (łączących tradycyjne metody wyszukiwania z wyszukiwaniem wektorowym). Przeniesienie projektów AI opartych na modelach LLM i wyszukiwaniu wektorowym z etapu demonstracyjnego do produkcji klasy korporacyjnej wymaga zaangażowania i konsekwentnych działań. Zapewnienie doświadczonych specjalistów w obszarze obsługi baz danych wektorowych i nauki o danych — lub skorzystanie z zewnętrznej wiedzy specjalistycznej opartej na usługach zarządzanych — spłaszczy krzywą uczenia się i przyspieszy projekty, pomagając im dostarczać wartościowe rezultaty.
- Jak wyobrażają sobie Państwo rolę usług zarządzanych we wspieraniu liderów IT we wdrażaniu i optymalizacji możliwości baz danych wektorowych, szczególnie w przypadku osób dysponujących ograniczoną wiedzą specjalistyczną wewnątrz organizacji?
Usługi zarządzane mogą zapewnić przedsiębiorstwom szybki start w uruchamianiu inteligentnej infrastruktury danych i zagwarantować, że od samego początku wszystko będzie działać prawidłowo, nawet bez zatrudnionych wewnętrznie ekspertów. Przedsiębiorstwa korzystające z popularnych technologii open source, takich jak PostgreSQL, Cassandra 5.0 czy OpenSearch, bez trudu znajdą usługi zarządzane gotowe pomóc we wdrażaniu i optymalizacji projektów AI, jednocześnie ograniczając część problemów, których zespoły nieuchronnie doświadczają podczas zdobywania doświadczenia.
- Jak, patrząc w przyszłość, sądzisz, że będzie ewoluować krajobraz technologii danych opartych na AI i jakie kroki powinni podjąć już teraz CTO, aby zapewnić swoim organizacjom dobrą pozycję wobec przyszłych zmian?
Wzrost zapotrzebowania na wydajniejsze, bardziej elastyczne i oferujące większe możliwości technologie danych dla AI jest w przyszłości praktycznie pewny. CTO zdecydowanie powinni przyjrzeć się oprogramowaniu open source, które już wykazało się niezawodnością, skalowalnością, bezpieczeństwem, efektywnością i trwałością na poziomie korporacyjnym, a także rozważyć, jak te rozwiązania mogą zostać wykorzystane w inteligentnej infrastrukturze danych wspierającej ich projekty AI. Ostatecznie wybór odpowiednich narzędzi warstwy danych może mieć decydujące znaczenie, jeśli chodzi o przełożenie wizji AI przedsiębiorstwa na rzeczywistość AI przedsiębiorstwa.
Co dalej
W miarę jak technologie oparte na AI zmieniają zarządzanie danymi i ich analizę, rozwój możliwości wyszukiwania wektorowego w bazach danych open source, takich jak PostgreSQL i Apache Cassandra, zapewnia przedsiębiorstwom dostępną i potężną podstawę do wprowadzania innowacji w dziedzinie AI.
Strategiczne i dalekowzroczne wykorzystywanie tych technologii może umożliwić organizacjom skuteczne skalowanie AI, ograniczenie typowych problemów związanych z wdrażaniem oraz zapewnienie zgodności z długoterminowymi celami dotyczącymi AI.
Stawiając na rozwiązania open source i usługi zarządzane, które obsługują operacje baz danych wektorowych, CTO mogą zabezpieczyć swoją infrastrukturę na przyszłość i zapewnić organizacjom pozycję umożliwiającą wykorzystanie kolejnej fali postępów AI w technologii danych.
Zapisz się do newslettera The CTO Club, aby uzyskać więcej informacji na temat rozwiązań open source.
