Dyrektor techniczny ostrzega inżynierów: Nie zakładajcie, że AI jest bezpieczna

Pedro Thomaz jest założycielem i dyrektorem ds. technologii Amplified Creations, a także produktów znajdujących się w jej portfolio.

Usiedliśmy z nim, aby porozmawiać o możliwościach AI, a także o jej krytycznych zagrożeniach dla bezpieczeństwa. Oto, co nam powiedział.

Kiedy AI „zaskoczyło”

Jestem Pedro, dyrektorem ds. technologii, twórcą i byłym programistą kierującym się zasadą „po prostu to wdroż”.

Zacząłem pracę w branży technologicznej tak jak większość osób: pisząc kod, dostarczając projekty i dbając o zadowolenie klientów. Przez lata kierowałem Amplified Creations, studiem kreatywnym i technologicznym, które założyłem wraz ze wspólnikiem w 2007 roku. Tworzyliśmy niestandardowe oprogramowanie, wirtualne wycieczki i cyfrowe doświadczenia dla firm w Portugalii i poza jej granicami. Dobra praca. Solidna praca. Ale przede wszystkim praca nastawiona na realizację.

Potem pojawiła się AI. Nie fala szumu, lecz ta naprawdę użyteczna część. Przełom nastąpił u mnie pod koniec 2023 roku, gdy pracowałem nad RVer — systemem opieki zdrowotnej w VR, który tworzymy wewnętrznie.

Tworzyliśmy immersyjne środowiska mające zmniejszać niepokój pacjentów w placówkach medycznych: szpitalach, domach opieki itd. Gdy włączyliśmy AI do systemu, coś się zmieniło. Lekarze, klinicyści i terapeuci — osoby pracujące w naprawdę złożonym środowisku, w którym stawka jest wysoka — stali się mierzalnie bardziej efektywni.

Wtedy przestałem myśleć o AI jako o funkcji i zacząłem budować z jej użyciem fundament całego rozwiązania.

Dziś, za pośrednictwem Amplified Creations, współpracuję z firmami z różnych branż, pomagając im stosować AI tam, gdzie przynosi ona rzeczywiste efekty: w operacjach, tworzeniu treści, automatyzacji i dostarczaniu rozwiązań.

Potrzeba wyznaczenia granic technicznych i operacyjnych

Amplified Creations to wyjątkowe połączenie studia kreatywnego, firmy technologicznej i firmy konsultingowej specjalizującej się w AI.

Jesteśmy niewielkim, ale doświadczonym zespołem. W zależności od etapu projektu koordynujemy pracę ponad 25 osób — pracowników wewnętrznych i wyspecjalizowanych podwykonawców. W naszej organizacji elastyczność jest ważniejsza niż liczba pracowników.

Nasze portfolio produktów jest zróżnicowane. Z jednej strony RVer — nasza wewnętrzna platforma opieki zdrowotnej w VR — działa w prywatnej, odizolowanej infrastrukturze. Dane dotyczące zdrowia nie trafiają do chmury. Kropka. Z drugiej strony nasze prace nad automatyzacją AI dla klientów — portugalskich małych i średnich przedsiębiorstw z sektora handlu detalicznego, przemysłu i usług — zwykle bazują na chmurze, są szybko wdrażane i integrują się z istniejącymi systemami klientów.

Pod względem architektury kierujemy się pragmatyzmem. Nie wyznajemy jednej technologii. Wybieramy rozwiązania dopasowane do modelu bezpieczeństwa, dojrzałości klienta i harmonogramu dostarczenia. Zwykle oznacza to chmurę, ale gdy wymaga tego specyfika domeny, zamiast tego tworzymy rozwiązania przeznaczone do prywatnego, bezpiecznego wdrożenia lokalnego.

Przełączanie się między wszystkimi tymi obszarami tworzy złożoność. Kierowanie zespołem, który w tym samym sprincie dostarcza ściśle regulowany system opieki zdrowotnej w VR oraz rozwiązanie automatyzacji AI dla handlu detalicznego, wymaga bardzo wyraźnych granic — zarówno technicznych, jak i operacyjnych.

Pedro dzieli się

Kierowanie zespołem, który w tym samym sprincie dostarcza ściśle regulowany system opieki zdrowotnej w VR oraz rozwiązanie automatyzacji AI dla handlu detalicznego, wymaga bardzo wyraźnych granic — zarówno technicznych, jak i operacyjnych.

Jak AI zmienia sposób, w jaki dyrektorzy ds. technologii tworzą produkty i zarządzają nimi

AI dotyka wszystkiego, ale ostatnie słowo zawsze należy do człowieka. Szczególnie w opiece zdrowotnej.

Wpływa na to, jak budujemy rozwiązania, co wdrażamy i jak nimi zarządzamy.

AI wpływa na każdą warstwę: decyzje dotyczące architektury, przeglądy kodu, testowanie, ustalanie priorytetów w rejestrze zadań, reagowanie na incydenty i przeglądy bezpieczeństwa. Korzystamy również z wyspecjalizowanych agentów do tworzenia oprogramowania, przeglądów kodu, wdrażania i obsługi pętli informacji zwrotnych od klientów.

Na przykład gdy klient zgłasza problem z użytecznością, informacja trafia bezpośrednio do agenta, który pomaga nam zidentyfikować poprawkę i szybciej ją wdrożyć. Produkt staje się bardziej złożony, ale paradoksalnie zespół pracuje szybciej, ponieważ agenci przejmują dodatkowe obciążenia.

AI działa jednak jak niezwykle wydajna maszyna do tworzenia wersji roboczych, a nie jak decydent. Człowiek dokonuje przeglądu, zatwierdza lub wprowadza zmiany i ostatecznie akceptuje rozwiązanie. Za każdym razem.

W przypadku RVer nie jest to tylko filozofia. To wymóg regulacyjny. Infarmed — portugalski organ ds. produktów zdrowotnych — wymaga od nas przestrzegania standardu, w którym niewłaściwie postawiony przecinek w dokumentacji może kosztować nas utratę licencji. Błędne informacje ujawnione przez fragment kodu i opóźniona reakcja na incydent niosą ze sobą konsekwencje, za które żaden agent AI nie może ponosić odpowiedzialności. Dlatego pozostawiamy ludzi w pętli nie tylko ze względu na jakość, ale także odpowiedzialność. Za rezultat zawsze odpowiada konkretna osoba.

To powiedziawszy, granica nie zawsze jest wyraźna.

Jak działa proces tworzenia wspierany przez AI

Tak działa nasz proces tworzenia wspierany przez AI.

Wszystko zaczyna się od pomysłu. Czasami pochodzi on od zespołu, czasami z opinii klientów, a coraz częściej od AI, która sugeruje usprawnienia na podstawie zidentyfikowanych wzorców. Każdy pomysł trafia najpierw do naszego zespołu medycznego. Jeśli na papierze nie ma sensu klinicznego, kończy się na tym etapie. Nie piszemy kodu.

Jeśli pomysł przejdzie ten filtr, szybko tworzymy prototyp. AI może przygotować działający MVP w ciągu zaledwie kilku sesji, więc nie debatujemy długo nad pomysłami. To prototypy stają się przedmiotem dyskusji.

Tworzymy je, testujemy wewnętrznie zarówno z personelem medycznym, jak i technicznym, a decyzję pozostawiamy wynikom. Jeśli prototyp pokazuje potencjał, przechodzimy do wdrożenia produkcyjnego.

Wdrożenie produkcyjne oznacza, że zespół i AI wspólnie piszą kod — od pierwszego dnia wbudowujemy rejestrowanie błędów, przekazując dane do naszego zaplecza administracyjnego w czasie rzeczywistym. Gdy pojawia się nowa funkcja, obserwujemy ją na żywo. Zespół ją sprawdza, zatwierdza i nie wdraża niczego, dopóki wszystko nie działa poprawnie.

Dlaczego Claude Code ma kluczowe znaczenie dla rozwoju AI

Claude Code jest najważniejszym narzędziem w naszym stosie technologicznym.

To nie tylko asystent programistyczny; to najbliższy odpowiednik starszego programisty dostępnego dla mnie przez całą dobę, siedem dni w tygodniu. Pisze kod, dokonuje przeglądów, sugeruje rozwiązania, wykrywa błędy i integruje się ze wszystkim za pośrednictwem swojego ekosystemu wtyczek.

Większość narzędzi do programowania z użyciem AI dobrze radzi sobie z jedną rzeczą. Claude Code obsługuje cały cykl — od „oto pomysł na nową funkcję” do „oto kod, oto potencjalne problemy i oto, na co zwróciłbym uwagę na produkcji”. To nie jest narzędzie. To cały proces pracy.

Gdybym miał zbudować wszystko od zera, mając do dyspozycji tylko jedno narzędzie, wybrałbym właśnie je.

Jak AI tworzy zagrożenia dla bezpieczeństwa

AI przyspiesza wszystko, w tym działania osób próbujących włamać się do naszych systemów.

Niedawno przekonaliśmy się o tym, gdy infrastruktura serwerowa należąca do zewnętrznego dostawcy klienta została zaatakowana. Nie zarządzaliśmy ich bezpieczeństwem, ale ich klucze API znajdowały się w zbudowanym przez nas systemie AI. Klucze wyciekły. Pomogliśmy im natychmiast zmienić dane uwierzytelniające, doradziliśmy ich zespołowi serwerowemu, które elementy należy lepiej zabezpieczyć, a następnie od podstaw przebudowaliśmy warstwę bezpieczeństwa naszego systemu. Nawet jeśli ich infrastruktura ponownie zostanie zaatakowana, dostęp do kluczy znajdujących się w naszym systemie jest teraz znacznie trudniejszy.

Nauczyło mnie to, by nie polegać na bezpieczeństwie, którego nie kontrolujemy. Trzeba samodzielnie zarządzać każdą warstwą, którą można kontrolować, niezależnie od tego, kto zajmuje się poszczególnymi elementami w dalszej części łańcucha.

AI podkręciła tempo tworzenia oprogramowania do maksimum. Tempo ataków również wzrosło do maksimum. To ten sam wyścig co wcześniej, tylko znacznie szybszy.

Dlaczego liderzy techniczni muszą rozumieć, że bezpieczeństwo nie jest domyślną cechą AI

Powyższy przykład mógłby potoczyć się inaczej, gdyby system został zbudowany wyłącznie przez ludzi. Być może. Nigdy się tego nie dowiemy. Ale cały czas widzę to w projektach, w których kod powstaje intuicyjnie przy użyciu AI. To utwierdza mnie w przekonaniu, że AI przyspiesza tworzenie oprogramowania, a jeśli nadzorujący ją ludzie nie zachowują rygoru, luki stają się większe, a nie mniejsze.

Innymi słowy, AI nie spowodowała tych problemów. Spowodował je brak prawdziwego inżyniera stojącego za AI.

Dlatego każdy dyrektor techniczny musi dziś wiedzieć, że bezpieczeństwo nie jest domyślną cechą AI.

Gdy AI odmawia pomocy w zhakowaniu rządowej strony internetowej, jest to decyzja dotycząca wartości, zapisana w modelu. AI tego nie zrobi. Kropka. Jednak ten sam model z łatwością wygeneruje kod ujawniający klucze API, pomijający MFA w formularzu logowania albo umieszczający plik .env w publicznym repozytorium, ponieważ nikt nie powiedział mu, że nie powinien tego robić.

Szczerze mówiąc, ta asymetria mnie niepokoi. Jeśli AI ma architekturę pozwalającą egzekwować etyczne zabezpieczenia, ma również architekturę pozwalającą egzekwować podstawowe zasady higieny bezpieczeństwa. Jeśli początkujący programista prosi AI o zbudowanie swojej pierwszej aplikacji, nie powinien już wcześniej wiedzieć, czego nie wie na temat bezpieczeństwa. Model powinien automatycznie obsługiwać podstawowe zasady: nigdy nie zatwierdzać danych uwierzytelniających w repozytorium, zawsze wdrażać MFA do uwierzytelniania, nigdy nie ujawniać poufnej konfiguracji w wyniku kompilacji itd.

Ta sama logika, która powstrzymuje AI przed wyrządzaniem szkód na zewnątrz, powinna powstrzymywać ją przed powodowaniem szkód wewnątrz systemu. Jeszcze do tego nie doszliśmy. A dopóki tak się nie stanie, młodszy programista z asystentem AI nadal pozostaje młodszym programistą — tylko szybciej dostarcza rozwiązania i szybciej popełnia kosztowne błędy!

Jak AI zmienia harmonogramy prac programistycznych

Rezultaty korzystania z AI są znaczące. Ale znaczące są również wnioski.

Z pozytywnej strony liczby mówią same za siebie. W ramach pracy dla klientów w niektórych przypadkach skróciliśmy czas poświęcany na zadania administracyjne nawet o 85%, a część zadań jest obecnie w pełni zautomatyzowana, przez co pytanie „ile czasu zaoszczędziliśmy?” staje się niemal filozoficzne. Cykle programistyczne, które wcześniej trwałyby sześć miesięcy, teraz kończą się wydaniem produktu w ciągu trzech–czterech miesięcy.

Wewnętrznie nasza wydajność programistyczna jest mniej więcej 5 razy większa niż przed wdrożeniem AI — mierząc liczbą wierszy kodu na sesję, commitów git dziennie i funkcji dostarczanych w ramach sprintu. Tempo jest naprawdę trudne do wyjaśnienia komuś, kto nie widział tego na własne oczy.

I nikt nie został zwolniony. Nie jesteśmy wystarczająco dużą firmą, aby rozmawiać o redukcjach zatrudnienia, ale co ważniejsze, nigdy nie był to nasz cel. Zmieniło się to, czym zajmują się ludzie. Zespół, który wcześniej spędzał większość czasu na pisaniu kodu, teraz poświęca go na przeglądanie, podejmowanie decyzji i udoskonalanie. To lepszy sposób wykorzystania potencjału starszych stażem pracowników.

Jak AI przesuwa nacisk w rekrutacji na doświadczenie senioralne

W przeszłości pytanie rekrutacyjne brzmiało: „Jakie znasz języki?”. Teraz jest to niemal nieistotne. AI zajmuje się składnią. Obecnie rekrutujemy ze względu na umiejętność dokonywania trafnych ocen.

Czy potrafisz zauważyć lukę w zabezpieczeniach kodu wygenerowanego przez AI? Co zrobisz, jeśli Twój system AI przypadkowo ujawni plik .env? Czy rozumiesz, dlaczego ma to znaczenie? Jak sprawdzasz wynik, którego nie napisałeś, linijka po linijce?

W praktyce nie zatrudniamy już młodszych programistów. Nie dlatego, że nie cenimy osób na początku kariery, ale dlatego, że AI przejęła zadania wykonywane wcześniej przez juniorów. AI pisze kod. Potrzebujemy kogoś wystarczająco doświadczonego, aby wiedział, kiedy kod jest niepoprawny.

Każdego zatrudnianego programistę oceniamy teraz tak, jakbyśmy rekrutowali osobę na stanowisko senioralne. Świadomość bezpieczeństwa, krytyczna analiza, profesjonalny osąd. Poprzeczka została podniesiona, ponieważ AI podniosła poziom podstawowy.

Jak AI usuwa przewagę wynikającą ze złożoności

Liderzy nie doceniają tego, jak szybko AI umożliwia innym odtworzenie rozwiązań, których budowa zajęła lata.

Weźmy systemy CRM SaaS jako przykład. Przez lata przewagę stanowiła złożoność. Czas, koszty i wiedza potrzebne do zbudowania porównywalnego rozwiązania sprawiały, że większość firm po prostu opłacała subskrypcję i szła dalej. Ta kalkulacja się zmieniła. Pomagałem firmom budować własne systemy CRM od podstaw, dokładnie dostosowane do ich potrzeb, za ułamek długoterminowego kosztu. Bez zbędnych elementów. Bez funkcji, których nigdy nie będą używać. Bez miesięcznego rachunku rosnącego z każdym rokiem.

Firmy SaaS, które zbudowały swój biznes na przekonaniu, że „odtworzenie tego rozwiązania zajęłoby lata”, odkrywają, że nie jest to już prawdą. Odzwierciedlają to ceny akcji.

To ryzyko, którego CTO konsekwentnie nie doceniają. Nie chodzi o to, że AI zakłóci funkcjonowanie ich branży z zewnątrz, ale o to, że po cichu daje ich konkurentom, klientom, a nawet ich własnym użytkownikom narzędzia do budowania rozwiązań omijających ich ofertę.

Jeśli Twoja przewaga opiera się na złożoności i czasie potrzebnym na zbudowanie rozwiązania, AI właśnie ją usunęła. Pytanie brzmi, czy zauważyłeś to, zanim zrobił to ktoś inny.

Dlaczego apokalipsa miejsc pracy wywołana przez AI to nonsens

Pedro radzi

AI jest narzędziem, a nie pracownikiem. Nawet gdy za pośrednictwem agentów, automatyzacji lub autonomicznych potoków działa jak pracownik, ktoś ponosi odpowiedzialność za jej działanie.

Oto cztery porady. I mam na myśli wszystkie cztery.

Po pierwsze: AI to narzędzie, a nie pracownik. Nawet gdy za pośrednictwem agentów, automatyzacji lub autonomicznych potoków działa jak pracownik, ktoś ponosi odpowiedzialność za to, co robi. Człowiek musi uczestniczyć w tym procesie. Nie tylko ze względów prawnych, ale dlatego, że wynik jest naprawdę lepszy, gdy kieruje nim myśląca osoba. Nigdy o tym nie zapominaj.

Po drugie: ludzie stworzyli AI, więc ma ono błędy na ludzką miarę. Halucynuje. Idzie na skróty w kwestiach bezpieczeństwa. Popełnia pewne siebie błędy. Traktuj je jak genialnego, ale początkującego członka zespołu: tworzy niesamowite rezultaty, ale wymaga nadzoru. Chwila, w której przestajesz sprawdzać jego pracę, to chwila, w której po cichu wdraża coś, czego będziesz żałować — albo usuwa całą twoją bazę danych!

Po trzecie: prawidłowo skonfigurowane AI jest absolutnym potworem, i to w najlepszym możliwym znaczeniu. Przy odpowiednich parametrach, właściwym kontekście i odpowiednich zabezpieczeniach może zarządzać twoim kalendarzem, odbierać telefony, automatyzować pracę zaplecza, poprawiać rodzinne zdjęcia, zapełniać twój lejek sprzedażowy i robić jeszcze mnóstwo innych rzeczy. Jeśli proces obejmuje komputer, AI może go wykonać albo radykalnie skrócić czas jego realizacji. Naprawdę trudno stąd dostrzec granice jego możliwości.

Po czwarte: apokalipsa miejsc pracy związana z AI to nonsens rozpowszechniany przez ludzi, którzy nigdy nie studiowali historii. Już to przerabialiśmy. Rewolucję przemysłową. Linię montażową. Robotykę przemysłową. Za każdym razem przewidywano masowe bezrobocie. Za każdym razem ludzie przestawali wykonywać nudną, powtarzalną i wyniszczającą pracę, przechodząc do bardziej kreatywnych zadań o większej wartości. AI zrobi to samo, tylko szybciej.

Tak, niektóre role znikną. Już to widziałem. Stanowiska, które kiedyś wymagały specjalistycznej interpretacji danych, teraz lepiej i szybciej obsługuje model. Ale ci ludzie nie są zbędni. Zostają uwolnieni od tych zadań.

Pomyśl o tym w ten sposób: ilu dziesięciolatków mogłoby dziś stworzyć aplikację w swojej sypialni? Teraz zadaj to samo pytanie w świecie bez AI. Dziecko się nie zmieniło. Jego pomysły też się nie zmieniły. AI po prostu usunęło barierę między wyobraźnią a tworzeniem. To nie jest zagrożenie — to najlepsza możliwa wersja kierunku, w którym zmierzamy.

Musimy tylko zmienić sposób myślenia. Przyjąć je, poznawać je, tworzyć z jego pomocą i nauczyć się z nim żyć. Maszyny wykonują ciężką pracę. My nimi kierujemy.

Śledź dalej

Więcej o pracy Pedra dowiesz się na LinkedIn. Zajrzyj też na stronę Amplified Creations.

Na The CTO Club czekają kolejne wywiady z ekspertami!