CTO varoittaa insinöörejä: Älä oleta, että tekoäly on turvallinen

Pedro Thomaz on Amplified Creationsin ja sen tuotevalikoiman perustaja ja teknologiajohtaja.

Keskustelimme hänen kanssaan tekoälyn tarjoamista mahdollisuuksista sekä sen aiheuttamista kriittisistä tietoturvauhista. Tässä, mitä hän kertoi meille.

Kun tekoäly ”loksahti paikalleen”

Olen Pedro, teknologiajohtaja, rakentaja ja toipuva ”laita se vain tuotantoon” -kehittäjä.

Aloitin teknologia-alalla kuten useimmat: kirjoittamalla koodia, toimittamalla projekteja ja pitämällä asiakkaat tyytyväisinä. Johdin vuosien ajan Amplified Creationsia, vuonna 2007 perustamaani luovan työn ja teknologian studiota, jossa rakensimme räätälöityjä ohjelmistoja, virtuaalikierroksia ja digitaalisia kokemuksia yrityksille ympäri Portugalia ja sen ulkopuolella. Hyvää työtä. Vankkaa työtä. Mutta enimmäkseen toteutustilassa.

Sitten tekoäly tuli mukaan. Ei hypetysaallon muodossa, vaan aidosti hyödyllisenä osana. Muutos loksahti kohdallani paikalleen vuoden 2023 lopulla, kun työskentelimme sisäisesti rakentamamme RVerin, virtuaalitodellisuuteen perustuvan terveydenhuoltojärjestelmän, parissa.

Loimme immersiivisiä ympäristöjä vähentämään potilaiden ahdistusta kliinisissä ympäristöissä: sairaaloissa, hoivakodeissa ja niin edelleen. Kun liitimme tekoälyn järjestelmään, jokin muuttui. Lääkärit, kliinisen työn ammattilaiset ja terapeutit – ihmiset, jotka työskentelevät aidosti monimutkaisessa ja paljon vastuuta sisältävässä ympäristössä – tehostuivat mitattavasti.

Silloin lopetin ajattelemasta tekoälyä ominaisuutena ja aloin rakentaa sitä perustaksi.

Tällä hetkellä työskentelen Amplified Creationsin kautta eri alojen yritysten kanssa auttaakseni niitä soveltamaan tekoälyä siellä, missä sillä on todellista vaikutusta: operaatioissa, sisällössä, automaatiossa ja toimituksissa.

Teknisten ja operatiivisten rajojen tarve

Amplified Creations on ainutlaatuinen yhdistelmä luovaa studiota, teknologiataloa ja tekoälykonsultointia.

Olemme pieni mutta kokenut tiimi. Projektin vaiheesta riippuen koordinoimme yli 25 henkilöä, jotka koostuvat oman henkilöstön ja erikoistuneiden alihankkijoiden yhdistelmästä. Organisaatiossamme etusijalla on joustavuus, ei henkilöstömäärä.

Tuotevalikoimamme on monipuolinen. Toisessa päässä on RVer – oma virtuaalitodellisuuteen perustuva terveydenhuoltoalustamme –, joka toimii yksityisessä, muusta verkosta eristetyssä infrastruktuurissa. Terveystiedot eivät siirry pilveen. Piste. Toisessa päässä on asiakkaille tekemämme tekoälyautomaatio – portugalilaisille vähittäiskaupan, teollisuuden ja palvelualan pk-yrityksille –, joka on yleensä pilvinatiivi, otetaan nopeasti käyttöön ja integroidaan yritysten olemassa oleviin järjestelmiin.

Arkkitehtuurin suhteen olemme pragmaattisia. Meillä ei ole yhtä ehdotonta teknologiavalintaa. Valitsemme ratkaisun, joka sopii tietoturvamalliin, asiakkaan kypsyystasoon ja toimitusaikatauluun. Tämä tarkoittaa yleensä pilveä, mutta jos toimiala sitä edellyttää, rakennamme ratkaisun yksityistä, suojattua ja paikallisesti käyttöönotettavaa ympäristöä varten.

Siirtyminen kaikkien näiden alueiden välillä lisää monimutkaisuutta. Tiimin johtaminen, kun saman sprintin aikana toimitetaan sekä tiukasti säänneltyä virtuaalitodellisuuteen perustuvaa terveydenhuoltojärjestelmää että vähittäiskaupan tekoälyautomaatiota, edellyttää hyvin selkeitä rajoja – sekä teknisesti että operatiivisesti.

Pedro kertoo

Tiimin johtaminen, kun saman sprintin aikana toimitetaan tiukasti säänneltyä virtuaalitodellisuuteen perustuvaa terveydenhuoltojärjestelmää ja vähittäiskaupan tekoälyautomaatiota, edellyttää hyvin selkeitä rajoja – sekä teknisesti että operatiivisesti.

Miten tekoäly muuttaa sitä, miten teknologiajohtajat rakentavat ja hallinnoivat tuotteita

Tekoäly vaikuttaa kaikkeen, mutta viimeinen sana on aina ihmisellä. Erityisesti terveydenhuollossa.

Se vaikuttaa siihen, miten rakennamme, mitä otamme käyttöön ja miten hallinnoimme.

Tekoäly ohjaa jokaista kerrosta: arkkitehtuuripäätöksiä, koodikatselmointeja, testausta, työjonon priorisointia, häiriötilanteisiin reagointia ja tietoturvakatselmointeja. Käytämme myös erillisiä agentteja kehitykseen, koodikatselmointeihin, käyttöönottoon ja asiakaspalautteen käsittelyyn.

Kun asiakas esimerkiksi ilmoittaa käytettävyysongelmasta, tieto siirtyy suoraan agentille, joka auttaa meitä tunnistamaan korjauksen ja toteuttamaan sen nopeammin. Tuotteesta tulee monimutkaisempi, mutta paradoksaalisesti tiimi etenee nopeammin, koska agentit hoitavat ylimääräisen työn.

Tekoäly toimii kuitenkin erittäin kyvykkäänä luonnosten tuottajana, ei päätöksentekijänä. Ihminen tarkistaa, hyväksyy tai muokkaa tuotoksen ja antaa lopullisen hyväksynnän. Joka kerta.

RVerin tapauksessa kyse ei ole vain filosofiasta. Se on sääntelyn sanelema todellisuus. Portugalin terveydenhuollon tuotteista vastaava viranomainen Infarmed edellyttää meiltä tasoa, jossa yksikin väärässä paikassa oleva pilkku dokumentaatiossa voi maksaa meille toimilupamme. Koodikatkelmassa esiin nouseva väärä tieto ja hidas reagointi häiriötilanteeseen aiheuttavat kumpikin seurauksia, joista mitään tekoälyagenttia ei voida pitää vastuussa. Siksi pidämme ihmiset mukana prosessissa paitsi laadun myös vastuun vuoksi. Joku on aina vastuussa lopputuloksesta.

Raja ei kuitenkaan aina ole selkeä.

Näin tekoälypohjainen rakennustyönkulku toimii

Näin tekoälypohjainen rakennustyönkulkumme toimii.

Kaikki alkaa ideasta. Joskus idea tulee tiimiltä, joskus asiakaspalautteesta ja yhä useammin tekoälyltä, joka ehdottaa parannuksia havaittujen mallien perusteella. Jokainen idea menee ensin lääketieteellisen tiimimme arvioitavaksi. Jos siinä ei paperilla ole kliinistä järkeä, se jää siihen. Emme kirjoita koodia.

Jos idea läpäisee tämän suodattimen, teemme nopeasti prototyypin. Tekoäly pystyy tuottamaan toimivan MVP:n muutamassa istunnossa, joten emme väittele ideoista pitkään. Prototyypeistä tulee keskustelun kohde.

Rakennamme ne, testaamme niitä sisäisesti sekä lääketieteellisen että teknisen henkilöstön kanssa ja annamme tulosten ratkaista. Jos prototyyppi näyttää lupaavalta, siirrämme sen tuotantoon.

Tuotanto tarkoittaa, että tiimi ja tekoäly koodaavat yhdessä — sisällytämme virhelokituksen heti ensimmäisestä päivästä lähtien ja välitämme tiedot taustatoimistoomme reaaliajassa. Kun uusi ominaisuus julkaistaan, seuraamme sitä reaaliajassa. Tiimi tarkistaa ja hyväksyy sen, emmekä vie mitään eteenpäin ennen kuin kaikki on kunnossa.

Miksi Claude Code on ratkaisevan tärkeä tekoälyn kehityksessä

Claude Code on kehitystyökalupinomme tärkein työkalu.

Se ei ole vain koodausavustaja, vaan lähin vastineeni ympäri vuorokauden käytettävissä olevalle kokeneelle kehittäjälle. Se kirjoittaa, tarkistaa, ehdottaa, havaitsee virheitä ja integroituu kaikkeen liitännäisekosysteeminsä kautta.

Useimmat tekoälykoodaustyökalut tekevät yhden asian hyvin. Claude Code hoitaa koko ketjun aina siitä, että ”tässä on idea uudesta ominaisuudesta”, siihen, että ”tässä on koodi, tässä ovat mahdolliset ongelmat ja tässä ovat asiat, joita pitäisin silmällä tuotannossa”. Se ei ole työkalu. Se on työnkulku.

Jos joutuisin rakentamaan kaiken alusta alkaen uudelleen niin, että käytössäni olisi yksi työkalu, valitsisin sen.

Miten tekoäly luo tietoturvariskejä

Tekoäly nopeuttaa kaikkea – myös niitä, jotka yrittävät murtautua järjestelmiisi.

Opimme tämän hiljattain, kun asiakkaan kolmannen osapuolen palvelininfrastruktuuri vaarantui. Emme hallinnoineet heidän tietoturvaansa, mutta heidän API-avaimensa olivat rakentamassamme tekoälyjärjestelmässä. Avaimet vuotivat. Autoimme heitä vaihtamaan tunnistetiedot välittömästi, neuvoimme heidän palvelintiimiään vahvistettavista kohdista ja rakensimme sitten oman järjestelmämme tietoturvakerroksen uudelleen alusta alkaen. Vaikka heidän infrastruktuurinsa joutuisi jälleen hyökkäyksen kohteeksi, järjestelmässämme oleviin avaimiin on nyt huomattavasti vaikeampi päästä käsiksi.

Tämä opetti minulle, etten saa nojata tietoturvaan, jota emme itse hallitse. Hallitse jokaista mahdollista kerrosta itse riippumatta siitä, kuka hallinnoi mitäkin alempana järjestelmässä.

Tekoäly nosti kehityksen tahdin yhdelletoista. Se nosti myös hyökkäysten tahdin yhdelletoista. Sama kilpailu kuin ennenkin, vain paljon nopeampana.

Miksi teknisten johtajien on ymmärrettävä, ettei tietoturva ole tekoälyn oletusasetus

Yllä kuvattu tilanne olisi saattanut edetä toisin, jos järjestelmä olisi rakennettu täysin ihmistyönä. Ehkä. Emme saa koskaan tietää. Mutta näen tätä jatkuvasti intuitiivisesti koodatuissa projekteissa. Tämä vahvistaa jotain tärkeää: tekoäly nopeuttaa tuotantoa, ja jos sitä valvovat ihmiset eivät ole huolellisia, puutteet kasvavat eivätkä pienene.

Toisin sanoen tekoäly ei aiheuttanut näitä ongelmia. Niiden taustalla oli oikean insinöörin puuttuminen tekoälyn takaa.

Koska juuri nyt jokaisen CTO:n on tiedettävä, ettei tietoturva ole tekoälyn oletusasetus.

Kun tekoäly kieltäytyy auttamasta sinua hakkeroimaan valtion verkkosivustoa, kyse on malliin sisäänrakennetusta arvopäätöksestä. Se ei tee sitä. Piste. Sama malli kuitenkin tuottaa mielellään koodia, joka paljastaa API-avaimet, ohittaa MFA:n kirjautumislomakkeella tai vie .env-tiedoston julkiseen tietovarastoon, koska kukaan ei käskenyt sitä olla tekemättä niin.

Rehellisesti sanottuna tämä epäsymmetria häiritsee minua. Jos tekoälyllä on arkkitehtuuri eettisten suojakaiteiden valvomiseen, sillä on oltava arkkitehtuuri myös perustason tietoturvahygienian valvomiseen. Emme ole vielä siinä pisteessä. Ensimmäistä sovellustaan rakentavan aloittelevan kehittäjän ei pitäisi joutua valmiiksi tietämään, mitä hän ei tiedä tietoturvasta. Mallin pitäisi hoitaa perustaso automaattisesti: älä koskaan tallenna salaisuuksia versionhallintaan, ota aina käyttöön MFA-todennus, älä koskaan paljasta arkaluonteisia määrityksiä käännetyssä tulosteessa jne.

Saman logiikan, joka estää tekoälyä aiheuttamasta haittaa ulkopuolisille, pitäisi estää sitä aiheuttamasta haittaa myös sisäisesti. Emme ole vielä siellä. Ja siihen asti tekoälyavustajaa käyttävä juniorikehittäjä on edelleen juniorikehittäjä – hän vain julkaisee nopeammin ja tekee kalliita virheitä nopeammin!

Miten tekoäly muuttaa kehityksen aikatauluja

Tekoälyn vaikutukset ovat olleet merkittäviä. Niin ovat myös siitä saadut opit.

Myönteisellä puolella luvut puhuvat puolestaan. Asiakastöissä olemme lyhentäneet hallinnollisiin tehtäviin kuluvaa aikaa joissakin tapauksissa jopa 85 prosenttia, ja osa tehtävistä on nyt täysin automatisoituja, mikä tekee kysymyksestä ”kuinka paljon aikaa säästimme?” lähes filosofisen. Kehityssyklit, jotka olisivat aiemmin kestäneet kuusi kuukautta, valmistuvat nyt kolmessa tai neljässä kuukaudessa.

Sisäisesti kehitystuotantomme on noin viisinkertainen tekoälyä edeltävään aikaan verrattuna — mitattuna istuntoa kohden kirjoitettujen koodirivien, päivittäisten git-commitien ja sprintissä toimitettujen ominaisuuksien määrällä. Vauhtia on aidosti vaikea selittää ihmiselle, joka ei ole nähnyt sitä itse.

Eikä ketään irtisanottu. Emme ole tarpeeksi suuri yritys keskustelemaan henkilöstövähennyksistä, mutta vielä tärkeämpää on, ettei se koskaan ollut tavoitteena. Muuttunut asia on se, mitä ihmiset tekevät. Tiimi, joka ennen käytti suurimman osan ajastaan koodin kirjoittamiseen, käyttää sen nyt tarkistamiseen, päätöksentekoon ja parantamiseen. Se on kokeneiden työntekijöiden parempaa hyödyntämistä.

Miten tekoäly siirtää rekrytoinnin painopisteen kokeneisiin asiantuntijoihin

Ennen rekrytoinnissa kysyttiin: ”Mitä ohjelmointikieliä osaat?” Se on nyt lähes merkityksetöntä. Tekoäly hoitaa syntaksin. Nykyään palkkaamme harkintakyvyn perusteella.

Osaatko havaita tietoturvapuutteen tekoälyn tuottamassa koodissa? Mitä teet, jos tekoälyjärjestelmäsi paljastaa vahingossa .env-tiedoston? Ymmärrätkö, miksi sillä on merkitystä? Miten tarkistat tulosteen, jota et ole itse kirjoittanut rivi riviltä?

Käytännössä emme enää palkkaa juniorikehittäjiä. Emme siksi, ettemme arvostaisi uransa alkuvaiheessa olevia ihmisiä, vaan siksi, että tekoäly on omaksunut junioritason työtehtävät. Tekoäly kirjoittaa koodin. Tarvitsemme ihmisen, jolla on riittävästi kokemusta tietääkseen, milloin se on väärin.

Arvioimme nyt jokaisen palkkaamamme kehittäjän kuin kyseessä olisi kokenut asiantuntija. Tietoturvatietoisuus, kriittinen tarkastelu ja ammatillinen harkinta. Vaatimustaso nousi, koska tekoäly nosti perustason.

Miten tekoäly poistaa monimutkaisuuden luoman vallihaudan

Johtajat aliarvioivat sen, kuinka nopeasti tekoäly mahdollistaa muille vuosien työn vaatineen toteutuksen jäljittelyn.

Tarkastellaan SaaS-asiakkuudenhallintajärjestelmiä esimerkkinä. Vuosien ajan vallihauta oli monimutkaisuus. Vertailukelpoisen ratkaisun rakentamiseen tarvittava aika, raha ja asiantuntemus tarkoittivat, että useimmat yritykset yksinkertaisesti maksoivat tilausmaksun ja jatkoivat eteenpäin. Tämä laskelma on muuttunut. Olen auttanut yrityksiä rakentamaan oman asiakkuudenhallintajärjestelmänsä alusta alkaen, täsmälleen niiden tarpeisiin räätälöitynä ja murto-osalla pitkän aikavälin kustannuksista. Ei turhaa laajuutta. Ei ominaisuuksia, joita ne eivät koskaan käytä. Ei kuukausilaskua, joka kasvaa joka vuosi.

SaaS-yritykset, jotka rakensivat liiketoimintansa ajatukselle ”tämän jäljittely veisi vuosia”, huomaavat, ettei se enää pidä paikkaansa. Osakekurssit heijastavat tätä.

Tämän riskin teknologiajohtajat jatkuvasti aliarvioivat. Kyse ei ole siitä, että tekoäly mullistaisi heidän toimialansa ulkopuolelta, vaan siitä, että se antaa huomaamatta heidän kilpailijoilleen, asiakkailleen ja jopa omille loppuasiakkailleen työkalut rakentaa heidän ympärilleen.

Jos puolustettavuutesi perustuu monimutkaisuuteen ja rakentamiseen kuluvaan aikaan, tekoäly poisti juuri vallihautasi. Kysymys kuuluu, huomasitko sen ennen jotakuta toista.

Miksi tekoälyn aiheuttama työpaikkojen maailmanloppu on hölynpölyä

Pedro kertoo

Tekoäly on työkalu, ei työntekijä. Vaikka se toimisi työntekijän tavoin agenttien, automaation tai autonomisten prosessien kautta, joku on vastuussa sen toiminnasta.

Tässä on neljä neuvoa. Ja tarkoitan kaikkia niitä.

Ensinnäkin: tekoäly on työkalu, ei työntekijä. Vaikka se toimisi työntekijän tavoin agenttien, automaation tai autonomisten prosessien kautta, joku on vastuussa sen toiminnasta. Ihmisen on oltava mukana prosessissa. Ei vain vastuun vuoksi, vaan siksi, että lopputulos on aidosti parempi, kun ajatteleva ihminen ohjaa sitä. Älä koskaan unohda tätä.

Toiseksi: ihmiset rakensivat tekoälyn, joten siinä on ihmisen tasoisia virheitä. Se hallusinoi. Se oikoo tietoturvassa. Se tekee itsevarmoja virheitä. Kohtele sitä kuin nerokasta mutta nuorempaa tiimin jäsentä: erinomaista jälkeä, mutta valvontaa tarvitaan. Hetki, jolloin lopetat sen työn tarkistamisen, on hetki, jolloin se kaikessa hiljaisuudessa julkaisee jotain, mitä tulet katumaan — tai poistaa koko tietokantasi!

Kolmanneksi: oikein määritettynä tekoäly on täydellinen hirviö, parhaalla mahdollisella tavalla. Oikeilla parametreilla, oikealla kontekstilla ja oikeilla suojakaiteilla se voi hallita kalenteriasi, vastata puheluihin, automatisoida taustatoimintojasi, korjata perhekuviasi, täyttää myyntiputkesi ja paljon muuta. Jos prosessiin liittyy tietokone, tekoäly voi joko hoitaa sen tai lyhentää siihen kuluvaa aikaa huomattavasti. Tästä näkökulmasta rajoja on aidosti vaikea nähdä.

Neljänneksi: tekoälyn aiheuttama työpaikkojen maailmanloppu on historiasta tietämättömien ihmisten levittämää hölynpölyä. Olemme nähneet tämän ennenkin. Teollinen vallankumous. Liukuhihna. Teollisuusrobotiikka. Joka kerta ennustettiin massatyöttömyyttä. Joka kerta tapahtui se, että ihmiset lopettivat tylsän, toistuvan ja sielua kuluttavan työn tekemisen ja siirtyivät luovempiin ja arvokkaampiin tehtäviin. Tekoäly tekee saman, vain nopeammin.

Kyllä, jotkin tehtävät katoavat. Olen nähnyt sen jo. Tehtävät, jotka aiemmin vaativat tietojen asiantuntijatulkintaa, hoituvat nyt mallilta paremmin ja nopeammin. Mutta nämä ihmiset eivät ole tarpeettomia. He vapautuvat.

Ajattele asiaa näin: kuinka moni tämän päivän 10-vuotias voisi rakentaa sovelluksen makuuhuoneestaan käsin? Kysy sitten sama kysymys maailmassa ilman tekoälyä. Lapsi ei ole muuttunut. Hänen ideansa eivät ole muuttuneet. Tekoäly vain poisti esteen mielikuvituksen ja luomisen väliltä. Se ei ole uhka, vaan paras mahdollinen suunta, johon tämä kehitys voi kulkea.

Meidän on vain muutettava ajattelutapaamme. Otetaan se vastaan, tutkitaan sitä, rakennetaan sen avulla ja opitaan elämään sen kanssa. Koneet tekevät raskaan työn. Me komennamme niitä.

Pysy mukana

Voit tutustua tarkemmin Pedron työhön LinkedInissä. Tutustu myös yritykseen Amplified Creations.

Lisää asiantuntijahaastatteluja on tulossa The CTO Clubiin!