Rozwikłując ukryte wyzwanie AI: dług techniczny – wywiad z Tonym Lee

Dług techniczny odnosi się do koncepcji w tworzeniu oprogramowania, zgodnie z którą stosowanie skrótów, wybieranie łatwych lub szybkich rozwiązań albo korzystanie z nieoptymalnych praktyk programistycznych w krótkiej perspektywie może prowadzić do dodatkowej pracy, komplikacji i kosztów w dłuższej perspektywie. Ten metaforyczny „dług” narasta, gdy projekt stawia szybkie dostarczenie nad idealny kod. 

Zgodnie z niedawnym badaniem przeprowadzonym przez firmę CompTIA wśród setek specjalistów IT dług techniczny stanowi wyzwanie dla 74% organizacji. Co istotne, 42% z tych organizacji uważa go za poważną przeszkodę. 

Dyrektor ds. technologii firmy Hyperscience, Tony Lee, twierdzi, że dług techniczny nie jest jedynie produktem ubocznym; to kluczowa siła, która może zadecydować o sukcesie lub porażce przyszłych innowacji w dziedzinie sztucznej inteligencji. Ignorowanie go przypomina budowanie na piasku – jest niepewne i niemożliwe do utrzymania. 

Jakie inne przemyślenia ma Tony na temat długu technicznego i jego wpływu na sztuczną inteligencję? W niedawnym wywiadzie podzielił się wskazówkami dotyczącymi zarządzania długiem technicznym oraz zapewnienia, że rozwiązania AI pozostaną skalowalne i łatwe w utrzymaniu w dłuższej perspektywie.

1. W kontekście szybkiego wdrażania AI czym jest „dług techniczny” i dlaczego stanowi istotny problem dla organizacji rozpoczynających działalność w obszarze AI?

W oprogramowaniu dług techniczny zasadniczo odnosi się do narastającego długu, który pojawia się wraz z wiekiem oprogramowania, właściwie od momentu jego napisania. Wynika on z nieuwzględniania przyszłych potrzeb lub z podejmowania świadomych krótkoterminowych decyzji w celu szybszego dostarczenia rozwiązania.

Choć sam w sobie nie jest negatywny, ponieważ wdrożony kod często ma większą wartość niż idealny kod, który nigdy nie ujrzy światła dziennego, dług techniczny wymaga uważnego zarządzania. Jeśli zostanie zaniedbany, może spowolnić przyszłe prace rozwojowe i doprowadzić do powstania trudnego w obsłudze kodu, potencjalnie powodując awarie lub usterki, które negatywnie wpłyną na klientów.

W kontekście AI kluczowym przejawem długu technicznego jest dryf modelu. Zjawisko to występuje, gdy bieżące środowisko znacząco różni się od tego, w którym pierwotnie wytrenowano model AI.

Choć istnieją różne rodzaje dryfu modelu, niedawnym i prostym przykładem jest wpływ pandemii COVID-19 na globalne wzorce ruchu drogowego. Modele opracowane do prognozowania natężenia ruchu przed pandemią generowałyby bardzo niedokładne przewidywania podczas lockdownów. Inne formy dryfu modelu są znacznie bardziej subtelne. Mogą prowadzić do powolnego pogarszania się wyników z upływem czasu, stopniowo obniżając dokładność modelu w sposób, który może nie być od razu widoczny dla użytkowników. 

Dodatkowym aspektem długu technicznego w systemach uczenia maszynowego (ML) jest pomijanie integracji funkcji ciągłego monitorowania jakości i ponownego trenowania. Kuszące może być przeprowadzenie wstępnych testów dokładności po wdrożeniu systemu ML, a następnie świętowanie tych wyników. Takie podejście może jednak być problematyczne, jeśli system pozostanie bez bieżącego nadzoru, co z powodu braku wbudowanych mechanizmów obserwowalności i utrzymania prowadzi do stopniowego, niezauważonego spadku wydajności.

Biorąc pod uwagę gwałtowny wzrost zainteresowania generatywną AI i inwestycji w nią, istnieje ryzyko, że niektóre organizacje pochopnie zainwestują w kosztowne rozwiązania bez ich dokładnej oceny, co może potencjalnie doprowadzić do nieprzewidzianego dryfu modelu.

Spojrzenie w przyszłość

“Gdy dyrektorzy ds. technologii opracowują strategie na 2024 rok, kluczowe znaczenie ma nadanie temu problemowi priorytetu. Brak przepisów zobowiązujących dostawców do ujawniania danych treningowych lub przestrzegania określonych standardów dodatkowo komplikuje sytuację. Dlatego osoby podejmujące decyzje muszą rozumieć, jakie pytania należy zadawać, rozpoznawać wskaźniki niedokładności modeli oraz oceniać, które inwestycje mogą w dłuższej perspektywie okazać się nadmiernie kosztowne.”

2. Z drugiej strony, jak AI może pomóc zidentyfikować istniejący dług techniczny lub nim zarządzać?

Modele generatywnej AI mogą przeciwdziałać długowi technicznemu oprogramowania, monitorując i wskazując miejsca, w których kod może wymagać aktualizacji – a nawet wykonując te aktualizacje autonomicznie. Chociaż nadzór człowieka nadal pozostaje niezbędny, wykorzystanie generatywnej AI skróci czas potrzebny na uporanie się z długiem technicznym, przejmując proste, lecz kluczowe zadania, takie jak zarządzanie danymi. 

3. Jak oceniacie dług techniczny w swoich projektach AI i jak nim zarządzacie?

Zintegrowaliśmy funkcje zapewniania jakości uczenia maszynowego (ML QA) i ponownego trenowania bezpośrednio z naszą platformą, aby skutecznie zarządzać długiem technicznym AI. Ważne jest zapewnienie przejrzystości w zakresie dokładności systemu i efektywności automatyzacji w czasie.

Takie podejście umożliwia mojemu zespołowi ciągłe prowadzenie kontroli jakości ML i ponowne trenowanie modelu w ramach platformy, gdy jest to konieczne.

Wdrażaj procesy ciągłego monitorowania i zapewniania jakości, aby proaktywnie wykrywać wszelkie pojawiające się zobowiązania techniczne i ograniczać ich skutki.

W ramach kontroli jakości ML pobieramy próbki wyników modelu i tworzymy zadania kontroli jakości, umożliwiając użytkownikom weryfikację rezultatów za pomocą mechanizmu konsensusu. Jeśli zostaną zidentyfikowane błędy, informacje te są przekazywane z powrotem do zbioru treningowego, co zwiększa dokładność i niezawodność modelu.

4. Jak organizacje mogą równoważyć pilność strategii wejścia na rynek z potencjalnym ryzykiem narastania długu technicznego w rozwiązaniach AI?

Organizacje powinny z przekonaniem wdrażać nowe osiągnięcia w dziedzinie AI w swoich rozwiązaniach, zachowując równowagę między terminowym wejściem na rynek a skutecznym zarządzaniem ryzykiem. Uwzględnienie utrzymania danych i regularnego monitorowania w całym cyklu życia produktu może znacznie zmniejszyć ryzyko narastania długu technicznego i wystąpienia dryfu modelu. Inwestowanie w AI, choć czasami ryzykowne, powinno być częścią stosu technologicznego i może prowadzić do wzrostu innowacyjności oraz produktywności. Takie inwestycje należy jednak podejmować po starannym namyśle i w odpowiedzialny sposób, aby zapewnić optymalne rezultaty.

5. Jak zapewniasz skalowalność i łatwość utrzymania swoich rozwiązań AI w dłuższej perspektywie, biorąc pod uwagę możliwość powstania długu technicznego?

Zapewnienie skalowalności i łatwości utrzymania rozwiązania wymaga ciągłej pracy zespołu nad jego utrzymaniem. Aby uniknąć konieczności przeprowadzania kosztownego remontu, organizacje powinny stworzyć proces obejmujący regularne utrzymanie danych treningowych w celu nadzorowania dokładności modelu. Utrzymanie nadzoru człowieka jako kluczowego elementu każdej strategii AI i biznesowej będzie niezbędne, aby uniknąć dryfu modelu, a tym samym dalszego narastania długu technicznego.

6. Jak uwzględniasz koszty rozwiązania problemu długu technicznego podczas budżetowania projektów AI?

Kluczem jest rozpoczęcie od dokładnego zrozumienia konkretnych potrzeb i ograniczeń danego przypadku użycia, a także potencjalnego wpływu długu technicznego ML.

• W zastosowaniach takich jak transkrypcja drukowanego tekstu oparta na ML można uznać, że prawdopodobieństwo dryfu modelu jest stosunkowo niskie. W takich przypadkach wystarczające może być poleganie na sporadycznych ręcznych kontrolach jakości, bez częstej kontroli jakości ML (QA) ani ponownego trenowania.
• Wykorzystywanie modeli ML do podejmowania decyzji o kluczowym znaczeniu, takich jak odczytywanie zdjęć rentgenowskich na potrzeby leczenia, wymaga zdecydowanego procesu kontroli jakości ML z kontrolami jakości przeprowadzanymi przez ludzi oraz ponownym trenowaniem w razie potrzeby.

Zalecałbym rozpoczęcie od potrzeb danego przypadku użycia, zdefiniowanie wymagań, a następnie wybranie rozwiązania programowego, które jest z nimi zgodne, aby zapewnić właściwą równowagę między wydajnością, dokładnością i bezpieczeństwem.

7. Czym różni się dług techniczny w AI od długu technicznego w tradycyjnym tworzeniu oprogramowania i jak dostosowujesz się do tych różnic? 

Nawiązując do wcześniejszej dyskusji, dług techniczny w systemach AI przejawia się przede wszystkim jako dryf modelu. Występuje on, gdy zbiory danych treningowych, na podstawie których modele się uczą, zawierają stronnicze lub niedokładne informacje, prowadząc do powstawania niepożądanych wyników.

W przeciwieństwie do tradycyjnego długu technicznego, który wpływa przede wszystkim na szybkość i niezawodność systemu, dryf modelu może mieć poważniejsze konsekwencje, zwłaszcza jeśli skrajne uprzedzenia w danych treningowych pozostaną niezauważone. Wymaga to od organizacji przyjęcia innego podejścia niż w przypadku tradycyjnego długu technicznego, ponieważ konieczne jest zwracanie większej uwagi na najnowsze przepisy oraz dokładne analizowanie jakości danych. 

Przyjmowanie strategii przeciwdziałania dryfowi modelu wiąże się z podobnym sposobem myślenia jak podejście do tradycyjnego długu technicznego.

Praktycznym rozwiązaniem jest przeznaczenie części tygodniowego harmonogramu zespołu — być może 20% — na higienę danych i znaczne ograniczenie ryzyka dryfu modelu.

Priorytetowe traktowanie utrzymania danych i przeznaczanie czasu na te działania znacznie zmniejsza prawdopodobieństwo generowania błędnych wyników przez modele AI.

8. Jak twoim zdaniem relacja między wdrażaniem AI a długiem technicznym będzie się rozwijać w przyszłości?

Najnowsze osiągnięcia w dziedzinie rozwiązań generatywnej AI to dopiero początek naszej relacji z tą technologią. Ponieważ przewiduje się dalszy szybki rozwój, branża technologiczna może spodziewać się pracy z lepszymi zbiorami danych do trenowania modeli.

W miarę jak systemy stają się bardziej złożone i dostępnych jest więcej danych treningowych, ryzyko długu technicznego będzie maleć, ponieważ maszyny będą generować dokładne i skalowalne wyniki. 

Ponadto, w miarę jak generatywne narzędzia i platformy AI będą nadal doskonalić swoje możliwości programistyczne, prawdopodobne jest przesunięcie w kierunku większej samoregulacji maszyn, przy pewnym stopniu nadzoru człowieka. Interwencja człowieka pozostanie konieczna do weryfikacji danych treningowych i kodu. Oczekuje się jednak, że poleganie na autonomii maszyn przy rutynowych kontrolach stanie się coraz powszechniejsze.

Ewolucja ta doprowadzi do obniżenia kosztów, ponieważ organizacje będą w coraz większym stopniu polegać na najnowocześniejszej AI w celu ograniczenia długu technicznego. Osiągnięcie tego celu zależy od dostępności różnorodnego zbioru danych, z których wiele nie jest jeszcze szeroko dostępnych.

Równoważenie krótkoterminowych korzyści z długoterminowymi kosztami

Podobnie jak dług finansowy, dług techniczny z czasem generuje „odsetki” — jeśli nie zostanie spłacony, może prowadzić do większych trudności w utrzymaniu, obniżenia jakości kodu oraz bardziej złożonych aktualizacji lub napraw w przyszłości. Koncepcja ta podkreśla kompromis między krótkoterminowymi korzyściami a długoterminowymi kosztami tworzenia i utrzymywania oprogramowania.

Chcesz wiedzieć więcej?

Jeśli chcesz dowiedzieć się więcej o długu technicznym i przyszłości sztucznej inteligencji, zapisz się do naszego newslettera, aby otrzymywać najnowsze informacje technologiczne. 

Pomożemy Ci skalować działalność w bardziej przemyślany sposób i skuteczniej przewodzić dzięki poradnikom, zasobom dotyczącym AI oraz strategiom opracowanym przez czołowych ekspertów!