CTO alerta engenheiros: não presumam que a IA é segura

Pedro Thomaz é o fundador e CTO da Amplified Creations, bem como dos produtos do seu portefólio.

Reunimo-nos com ele para discutir as oportunidades da IA, bem como as suas ameaças críticas à segurança. Foi isto que nos disse.

Quando a IA "fez clique"

Sou o Pedro, CTO, criador e programador em recuperação do "é só lançar".

Comecei na tecnologia como a maioria das pessoas: a escrever código, a entregar projetos e a manter os clientes satisfeitos. Durante anos, geri a Amplified Creations, um estúdio criativo e tecnológico que cofundei em 2007, criando software personalizado, visitas virtuais e experiências digitais para empresas em Portugal e além-fronteiras. Trabalho de qualidade. Trabalho sólido. Mas, sobretudo, em modo de execução.

Depois surgiu a IA. Não a onda de entusiasmo, mas a parte realmente útil. A mudança tornou-se clara para mim no final de 2023, enquanto trabalhava no RVer, um sistema de cuidados de saúde em realidade virtual que estamos a desenvolver internamente.

Estávamos a criar ambientes imersivos para reduzir a ansiedade dos doentes em contextos clínicos: hospitais, lares, etc. Quando integrámos a IA no sistema, algo mudou. Os médicos, profissionais de saúde e terapeutas — as pessoas que trabalham num ambiente genuinamente complexo e de alto risco — tornaram-se mensuravelmente mais eficientes.

Foi então que deixei de pensar na IA como uma funcionalidade e comecei a desenvolvê-la como a base.

Hoje, através da Amplified Creations, trabalho com empresas de vários setores para as ajudar a aplicar a IA onde esta faz realmente a diferença: operações, conteúdos, automatização e entrega.

A necessidade de limites técnicos e operacionais

A Amplified Creations é uma combinação única de estúdio criativo, empresa tecnológica e consultora de IA.

Somos uma equipa pequena, mas sénior. Dependendo da fase de um projeto, coordenamos mais de 25 pessoas, entre colaboradores internos e subcontratados especializados. A nossa organização dá prioridade à flexibilidade, não ao número de colaboradores.

O nosso portefólio de produtos é diversificado. Num extremo, o RVer — a nossa plataforma interna de cuidados de saúde em realidade virtual — funciona numa infraestrutura privada e isolada. Os dados de saúde não vão para a nuvem. Ponto final. No outro extremo, o nosso trabalho de automatização de IA para clientes — PME portuguesas dos setores do retalho, da indústria e dos serviços — é geralmente nativo da nuvem, é implementado rapidamente e integra-se nos sistemas existentes.

Em termos arquiteturais, somos pragmáticos. Não seguimos uma doutrina relativamente à pilha tecnológica. Escolhemos o que se adequa ao modelo de segurança, à maturidade do cliente e ao calendário de entrega. Isto significa geralmente utilizar a nuvem, mas, quando o domínio o exige, desenvolvemos soluções para implementação privada, segura e no local.

A alternância entre todas estas áreas cria complexidade. Liderar uma equipa que entrega um sistema de saúde em realidade virtual fortemente regulamentado e uma solução de automatização de IA para o retalho no mesmo ciclo de desenvolvimento exige limites muito claros — tanto técnica como operacionalmente.

Pedro Partilha

Liderar uma equipa que entrega um sistema de saúde em realidade virtual fortemente regulamentado e uma solução de automatização de IA para o retalho no mesmo ciclo de desenvolvimento exige limites muito claros — tanto técnica como operacionalmente.

Como a IA muda a forma como os CTO constroem e governam produtos

A IA toca em tudo, mas a palavra final é sempre humana. Especialmente na área da saúde.

Afeta a forma como desenvolvemos, aquilo que implementamos e a forma como governamos.

A IA informa todas as camadas: decisões de arquitetura, revisão de código, testes, priorização do backlog, resposta a incidentes e revisão de segurança. Também utilizamos agentes dedicados ao desenvolvimento, à revisão de código, à implementação e aos ciclos de feedback dos clientes.

Por exemplo, quando um cliente assinala um problema de usabilidade, este é encaminhado diretamente para um agente que nos ajuda a identificar a solução e a implementá-la mais rapidamente. O produto torna-se mais complexo, mas, paradoxalmente, a equipa avança mais depressa porque os agentes absorvem a sobrecarga.

Mas a IA funciona como uma máquina de rascunhos altamente competente, não como um decisor. Uma pessoa revê, aprova ou ajusta e dá a sua aprovação final. Sempre.

No caso do RVer, isto não é apenas uma filosofia. É uma realidade regulamentar. O Infarmed — a autoridade portuguesa responsável pelos produtos de saúde — exige-nos um padrão em que uma vírgula mal colocada na documentação nos pode custar a licença. Uma informação errada apresentada por um fragmento de código e uma resposta lenta a um incidente têm consequências pelas quais nenhum agente de IA pode ser responsabilizado. Por isso, mantemos pessoas envolvidas, não apenas para garantir a qualidade, mas também a responsabilização. Há sempre alguém responsável pelo resultado.

Dito isto, o limite nem sempre é claro.

Como funciona um fluxo de trabalho de desenvolvimento com IA

Eis como funciona o nosso fluxo de trabalho de desenvolvimento com IA.

Começa com uma ideia. Por vezes, vem da equipa; outras vezes, dos comentários dos clientes e, cada vez mais, de sugestões da IA baseadas em padrões identificados. Todas as ideias passam primeiro pela nossa equipa médica. Se não fizer sentido do ponto de vista clínico no papel, fica por ali. Não escrevemos código.

Se passar esse filtro, criamos rapidamente um protótipo. A IA consegue produzir um MVP funcional em apenas algumas sessões, por isso não debatemos as ideias durante muito tempo. Os protótipos tornam-se o centro da discussão.

Criamo-los, testamo-los internamente com pessoal médico e técnico e deixamos que os resultados decidam. Se o protótipo mostrar potencial, avançamos para a produção.

Produção significa que a equipa e a IA escrevem código em conjunto — incorporamos o registo de erros desde o primeiro dia, alimentando o nosso sistema de retaguarda em tempo real. Quando uma nova funcionalidade é lançada, acompanhamos o seu funcionamento em direto. A equipa analisa, aprova e não disponibiliza nada até estar tudo impecável.

Porque é que o Claude Code é fundamental para o desenvolvimento com IA

O Claude Code é a ferramenta mais importante da nossa pilha de desenvolvimento.

Não é apenas um assistente de programação; é o mais próximo que tenho de um programador sénior disponível 24 horas por dia, 7 dias por semana. Escreve, analisa, sugere, deteta erros e integra-se com tudo através do seu ecossistema de extensões.

A maioria das ferramentas de programação com IA faz uma coisa bem. O Claude Code trata de todo o ciclo, desde "eis uma ideia para uma nova funcionalidade" até "eis o código, eis os potenciais problemas e eis aquilo a que eu prestaria atenção em produção". Isto não é apenas uma ferramenta. É um fluxo de trabalho.

Se tivesse de reconstruir tudo de raiz com uma única ferramenta ao meu lado, seria essa.

Como é que a IA cria riscos de segurança

A IA acelera tudo, incluindo as pessoas que tentam invadir os seus sistemas.

Aprendemos isso recentemente, quando a infraestrutura de servidores de terceiros de um cliente foi comprometida. Não geríamos a segurança desse cliente, mas as respetivas chaves de API estavam num sistema de IA que construímos. As chaves foram divulgadas. Ajudámo-los a renovar imediatamente as credenciais, aconselhámos a equipa de servidores sobre os elementos que deveriam reforçar e, de seguida, reconstruímos de raiz a camada de segurança do nosso próprio sistema. Mesmo que a infraestrutura deles seja novamente atacada, as chaves no nosso sistema são agora significativamente mais difíceis de alcançar.

Isso ensinou-me a não depender de uma segurança que não controlamos. Assuma o controlo de todas as camadas que puder, independentemente de quem gere cada elemento a jusante.

A IA acelerou o ritmo de desenvolvimento até ao máximo. Também acelerou o ritmo dos ataques até ao máximo. É a mesma corrida de antes, mas muito mais rápida.

Porque é que os líderes técnicos precisam de compreender que a segurança não é a predefinição da IA

O exemplo acima poderia ter tido um desfecho diferente se tivesse sido um sistema desenvolvido exclusivamente por humanos. Talvez. Nunca saberemos. Mas vejo isto constantemente em projetos desenvolvidos de forma improvisada com IA. E isto reforça algo importante: a IA acelera a produção e, se os humanos que a supervisionam não forem rigorosos, as falhas tornam-se maiores, não menores.

Dito de outra forma, a IA não causou esses problemas. O que os causou foi a ausência de um verdadeiro engenheiro por trás da IA.

Porque, neste momento, todos os CTO precisam de saber que a segurança não é a predefinição da IA.

Quando a IA se recusa a ajudar a piratear o site de um governo, isso é uma decisão baseada em valores, incorporada no modelo. Não o fará. Ponto final. Mas esse mesmo modelo terá todo o gosto em gerar código que expõe chaves de API, ignora a MFA num formulário de início de sessão ou envia um ficheiro .env para um repositório público porque ninguém lhe disse para não o fazer.

Sinceramente, essa assimetria incomoda-me. Se a IA tem a arquitetura necessária para impor barreiras éticas, também tem a arquitetura necessária para impor boas práticas básicas de segurança. Um programador estreante que peça à IA para criar a sua primeira aplicação não deveria já ter de saber aquilo que desconhece sobre segurança. O modelo deveria tratar automaticamente do nível básico: nunca incluir segredos num commit, implementar sempre MFA para autenticação, nunca expor configurações sensíveis no resultado compilado, etc.

A mesma lógica que impede a IA de causar danos externamente deveria impedi-la de criar danos internamente. Ainda não chegámos lá. E, até lá, um programador júnior com um assistente de IA continua a ser um programador júnior, apenas a lançar mais depressa e a cometer erros dispendiosos mais depressa!

Como a IA altera os prazos de desenvolvimento

Os resultados da IA têm sido significativos. Mas as lições também.

Pela positiva, os números falam por si. No trabalho com clientes, reduzimos o tempo dedicado a tarefas administrativas até 85% em alguns casos, e algumas tarefas estão agora totalmente automatizadas, tornando a pergunta "quanto tempo poupámos?" quase filosófica. Ciclos de desenvolvimento que teriam demorado seis meses são agora concluídos em três a quatro.

Internamente, a nossa produção de desenvolvimento é aproximadamente 5 vezes superior ao que era antes da IA — medida em linhas de código por sessão, commits do git por dia e funcionalidades entregues por sprint. O ritmo é genuinamente difícil de explicar a alguém que não o tenha testemunhado em primeira mão.

E ninguém foi despedido. Não somos suficientemente grandes para discutir despedimentos, mas, mais importante ainda, esse nunca foi o objetivo. O que mudou foi aquilo que as pessoas fazem. A equipa que costumava passar a maior parte do tempo a escrever código passa agora esse tempo a rever, decidir e melhorar. É uma utilização mais proveitosa das pessoas sénior.

Como a IA transfere o foco do recrutamento para a experiência sénior

A antiga pergunta no recrutamento era: "Que linguagens conhece?" Agora, isso é quase irrelevante. A IA trata da sintaxe. Hoje, aquilo que procuramos no recrutamento é capacidade de julgamento.

Consegue identificar uma falha de segurança em código gerado por IA? O que faz se o seu sistema de IA expuser acidentalmente um ficheiro .env? Compreende por que razão isso é importante? Como revê resultados que não escreveu, linha a linha?

Na prática, já não recrutamos programadores juniores. Não porque não valorizemos pessoas no início das suas carreiras, mas porque a IA absorveu o trabalho júnior. A IA escreve o código. O que precisamos é de alguém com experiência suficiente para saber quando está errado.

Agora avaliamos todos os programadores que recrutamos como se fossem profissionais sénior. Consciência de segurança, revisão crítica e julgamento profissional. O nível de exigência subiu porque a IA elevou o patamar mínimo.

Como a IA elimina a vantagem da complexidade

Os líderes subestimam a rapidez com que a IA permite a outros replicar aquilo que demorou anos a construir.

Considere os CRM SaaS como caso de estudo. Durante anos, a vantagem era a complexidade. O tempo, o custo e a experiência necessários para construir algo comparável significavam que a maioria das empresas simplesmente pagava a subscrição e seguia em frente. Esse cálculo mudou. Ajudei empresas a construir o seu próprio CRM de raiz, adaptado exatamente às suas necessidades, por uma fração do custo a longo prazo. Sem excesso de funcionalidades. Sem funcionalidades que nunca utilizarão. Sem uma fatura mensal que aumenta todos os anos.

As empresas SaaS que construíram o seu negócio com base na ideia de que "demoraria anos a replicar" estão a descobrir que isso já não é verdade. As cotações refletem essa realidade.

Este é o risco que os CTO subestimam constantemente. Não é o facto de a IA perturbar o seu setor a partir do exterior, mas sim o facto de dar discretamente aos seus concorrentes, clientes e até aos seus próprios consumidores as ferramentas para contorná-los.

Se a sua capacidade de defesa depende da complexidade e do tempo necessário para construir, a IA acabou de remover a sua vantagem. A questão é saber se reparou nisso antes de outra pessoa.

Porque é absurdo falar de um apocalipse de empregos causado pela IA

Pedro partilha

A IA é uma ferramenta, não um trabalhador. Mesmo quando se comporta como tal através de agentes, automatização ou fluxos autónomos, alguém é responsável pelo que faz.

Eis quatro conselhos. E refiro-me a todos eles.

Primeiro: a IA é uma ferramenta, não um trabalhador. Mesmo quando se comporta como tal através de agentes, automatização ou pipelines autónomos, alguém é responsável pelo que faz. É necessário que haja um ser humano envolvido. Não apenas por questões de responsabilidade, mas porque o resultado é genuinamente melhor quando uma pessoa ponderada a orienta. Nunca se esqueça disso.

Segundo: foram os seres humanos que criaram a IA, por isso esta tem erros ao nível humano. Alucina. Descuida a segurança. Comete erros com confiança. Trate-a como um membro brilhante, mas júnior, da equipa: resultados incríveis, mas precisa de supervisão. No momento em que deixa de verificar o trabalho dela, é também o momento em que ela pode, silenciosamente, lançar algo de que se arrependerá — ou apagar toda a sua base de dados!

Terceiro: quando configurada corretamente, a IA é um verdadeiro monstro, no melhor sentido possível. Com os parâmetros certos, o contexto certo e as salvaguardas certas, pode gerir o seu calendário, atender chamadas, automatizar as suas operações administrativas, melhorar as fotografias da sua família, preencher o seu funil de vendas e muito mais. Se um processo envolver um computador, a IA pode fazê-lo ou reduzir drasticamente o tempo necessário para o realizar. É genuinamente difícil vislumbrar o limite a partir daqui.

Quarto: o apocalipse dos empregos causado pela IA é um disparate espalhado por pessoas que nunca estudaram história. Já passámos por isto antes. A Revolução Industrial. A linha de montagem. A robótica industrial. De cada vez, a previsão era de desemprego em massa. De cada vez, o que aconteceu foi que os seres humanos deixaram de fazer o trabalho aborrecido, repetitivo e esmagador e passaram a dedicar-se a tarefas mais criativas e de maior valor. A IA fará o mesmo, apenas mais depressa.

Sim, algumas funções vão desaparecer. Já o vi acontecer. Há posições que antes exigiam a interpretação especializada de dados e que agora um modelo trata melhor e mais rapidamente. Mas essas pessoas não são redundantes. Estão libertadas.

Pense nisto da seguinte forma: quantas crianças de 10 anos conseguem hoje criar uma aplicação a partir do seu quarto? Agora faça a mesma pergunta num mundo sem IA. A criança não mudou. As suas ideias também não. A IA limitou-se a remover a barreira entre a imaginação e a criação. Isso não é uma ameaça, é a melhor versão possível do rumo que isto pode tomar.

Só temos de mudar a nossa mentalidade. Abraçá-la, explorá-la, construir com ela e aprender a viver com ela. As máquinas fazem o trabalho pesado. Nós comandamo-las.

Acompanhe

Pode saber mais sobre o trabalho do Pedro no LinkedIn. E visite também a Amplified Creations.

Haverá mais entrevistas com especialistas no The CTO Club!