Desvendar o Desafio Oculto da IA’s: Dívida Técnica – Uma Entrevista com Tony Lee

A dívida técnica refere-se ao conceito no desenvolvimento de software segundo o qual tomar atalhos, optar por soluções fáceis ou rápidas, ou utilizar práticas de desenvolvimento abaixo do ideal a curto prazo pode levar a trabalho adicional, complicações e custos a longo prazo. Esta "dívida" metafórica acumula-se quando um projeto dá prioridade à entrega rápida em detrimento de código perfeito. 

De acordo com um inquérito recente da CompTIA, que envolveu centenas de profissionais de TI, a dívida técnica constitui um desafio para 74% das organizações. É de salientar que 42% destas organizações a consideram um obstáculo substancial. 

O CTO da Hyperscience, Tony Lee, afirma que a dívida técnica não é apenas um subproduto; é uma força decisiva que pode determinar o sucesso ou o fracasso do futuro das inovações no domínio da IA. Ignorá-la é como construir sobre uma fundação de areia – algo precário e insustentável. 

Que outras ideias tem Tony sobre a dívida técnica e o seu impacto na inteligência artificial? Numa entrevista recente, partilhou conselhos sobre como gerir a dívida técnica e garantir que as soluções de IA continuam a ser escaláveis e fáceis de manter a longo prazo.

1. No contexto da rápida adoção da IA, o que é a "dívida técnica" e por que razão constitui uma preocupação significativa para as organizações que se aventuram na IA?

Em software, a dívida técnica refere-se geralmente a uma dívida acumulada que se contrai à medida que o software envelhece, essencialmente a partir do momento em que é escrito. Isto resulta de não se anteciparem necessidades futuras ou de se tomarem deliberadamente decisões de curto prazo para acelerar a entrega.

Embora não seja intrinsecamente negativa, uma vez que o código implementado é frequentemente mais valioso do que um código perfeito que nunca chega a ser utilizado, a dívida técnica exige uma gestão cuidadosa. Se for negligenciada, pode abrandar os esforços de desenvolvimento futuros e resultar em código difícil de gerir, podendo causar interrupções ou defeitos que afetam negativamente os clientes.

No contexto da IA, uma manifestação importante da dívida técnica é a deriva do modelo. Este fenómeno ocorre quando o ambiente atual diverge significativamente daquele em que o modelo de IA foi originalmente treinado.

Embora existam vários tipos de deriva do modelo, um exemplo recente e simples é o impacto da pandemia de COVID-19 nos padrões de tráfego a nível mundial. Os modelos desenvolvidos para prever o fluxo de tráfego antes da pandemia produziriam previsões altamente imprecisas durante os confinamentos. Outras formas de deriva do modelo são muito mais subtis. Podem levar a uma degradação lenta dos resultados ao longo do tempo, reduzindo gradualmente a precisão do modelo de formas que podem não ser imediatamente percetíveis para os utilizadores. 

Um aspeto adicional da dívida técnica nos sistemas de aprendizagem automática (ML) surge quando se ignora a integração de capacidades de monitorização contínua da qualidade e de novo treino. É tentador realizar testes iniciais de precisão aquando da implementação de um sistema de ML e, em seguida, celebrar esses resultados. No entanto, esta abordagem pode ser problemática se o sistema for deixado a funcionar sem supervisão contínua, levando a um declínio gradual e despercebido do desempenho devido à falta de mecanismos integrados de observabilidade e manutenção.

Dado o enorme interesse e investimento na IA generativa, existe o risco de algumas organizações investirem precipitadamente em soluções dispendiosas sem uma avaliação exaustiva, o que pode conduzir a uma deriva do modelo imprevista.

Uma antevisão

“À medida que os CTO definem as suas estratégias para 2024, é crucial dar prioridade a esta questão. A ausência de regulamentação que obrigue os fornecedores a divulgarem os seus dados de treino ou a cumprirem normas específicas complica ainda mais a situação. Por conseguinte, os decisores precisam de compreender quais são as perguntas certas a fazer, reconhecer os indicadores de imprecisão dos modelos e perceber quais os investimentos que poderão revelar-se excessivamente dispendiosos a longo prazo.”

2. Em contrapartida, como pode a IA ajudar a identificar ou gerir a dívida técnica existente?

Os modelos de IA generativa podem combater a dívida técnica de software através da monitorização e sinalização dos locais onde o código possa precisar de atualizações – podendo até realizar essas atualizações autonomamente. Embora a supervisão humana continue a ser indispensável, a utilização de IA generativa reduzirá o tempo necessário para resolver a dívida técnica ao assumir tarefas simples, mas cruciais, como a gestão de dados. 

3. Como avalia e gere a dívida técnica nos seus projetos de IA?

Integramos diretamente na nossa plataforma capacidades de garantia de qualidade da aprendizagem automática (ML QA) e de novo treino para gerir eficazmente a dívida técnica da IA. É importante proporcionar transparência relativamente à precisão do sistema e à eficiência da automatização ao longo do tempo.

Esta abordagem permite à minha equipa realizar continuamente a garantia de qualidade de ML e voltar a treinar o modelo na plataforma, conforme necessário.

Implemente processos de monitorização contínua e de garantia de qualidade para detetar e mitigar proativamente qualquer dívida técnica emergente.

Para a garantia de qualidade de ML, recolhemos amostras dos resultados do modelo e criamos tarefas de garantia de qualidade, permitindo aos utilizadores validar os resultados através de um mecanismo de consenso. Se forem identificados erros, estas informações são reintegradas no conjunto de treino, melhorando a exatidão e a fiabilidade do modelo.

4. Como podem as organizações equilibrar a urgência das estratégias de entrada no mercado com os potenciais riscos de acumulação de dívida técnica nas soluções de IA?

As organizações devem adotar com confiança os novos avanços da IA nas suas soluções, estabelecendo um equilíbrio entre uma abordagem atempada de entrada no mercado e uma gestão eficaz dos riscos. A incorporação da manutenção dos dados e da monitorização regular ao longo de todo o ciclo de vida do produto pode reduzir significativamente o risco de acumulação de dívida técnica e de ocorrência de deriva do modelo. Investir em IA, embora por vezes acarrete riscos, deve ser uma prática adotada nas pilhas tecnológicas e pode resultar em ganhos de inovação e produtividade. No entanto, estes investimentos devem ser realizados após uma ponderação cuidadosa e de forma responsável, para garantir resultados ideais.

5. Como garante que as suas soluções de IA continuam a ser escaláveis e fáceis de manter a longo prazo, tendo em conta o potencial de dívida técnica?

Garantir que uma solução continua a ser escalável e fácil de manter exige uma manutenção contínua por parte da equipa. Para evitar a necessidade de uma revisão dispendiosa, as organizações devem criar um processo com uma periodicidade regular de manutenção dos dados de treino, de modo a supervisionar a exatidão do modelo. Manter a supervisão humana como parte essencial de qualquer estratégia de IA e de negócio será fundamental para evitar a deriva do modelo e, por sua vez, mais dívida técnica.

6. Como tem em conta os custos associados à resolução da dívida técnica ao elaborar o orçamento para projetos de IA?

A chave é começar por compreender exaustivamente as necessidades e limitações específicas do seu caso de utilização, bem como o potencial impacto da dívida técnica de ML.

• Em aplicações como a transcrição baseada em ML de texto impresso, pode determinar-se que a probabilidade de deriva do modelo é relativamente baixa. Nestes casos, depender de verificações manuais ocasionais da qualidade, sem uma garantia de qualidade (QA) de ML ou um novo treino frequentes, poderá ser suficiente.
• A utilização de modelos de ML para tomar decisões críticas, como a leitura de radiografias para tratamento médico, exige um processo rigoroso de garantia de qualidade de ML, com verificações de qualidade realizadas por humanos e novo treino conforme necessário.

Recomendaria começar pelas necessidades do seu caso de utilização, definir os requisitos e, em seguida, escolher a solução de software que esteja alinhada com esses requisitos, para garantir o equilíbrio adequado entre eficiência, exatidão e segurança.

7. Em que difere a dívida técnica na IA da dívida técnica no desenvolvimento tradicional de software e como se está a adaptar a estas diferenças? 

Dando continuidade à discussão anterior, a dívida técnica nos sistemas de IA manifesta-se principalmente sob a forma de deriva do modelo. Isto ocorre quando os conjuntos de dados de treino a partir dos quais os modelos aprendem contêm informações enviesadas ou inexatas, gerando resultados indesejados.

Ao contrário da dívida técnica tradicional, que afeta principalmente a velocidade e a fiabilidade do sistema, a deriva do modelo pode ter consequências mais graves, especialmente se os enviesamentos extremos nos dados de treino não forem corrigidos. Isto exige que as organizações adotem uma abordagem diferente da que adotariam relativamente à dívida técnica tradicional, uma vez que requer uma atenção mais rigorosa à regulamentação mais recente e um maior escrutínio da qualidade dos dados. 

A adoção de estratégias para contrariar a deriva do modelo envolve uma mentalidade semelhante à utilizada para lidar com a dívida técnica tradicional.

Uma medida prática consiste em atribuir uma parte do horário semanal da equipa — talvez 20% — à higiene dos dados, reduzindo substancialmente o risco de deriva do modelo.

Ao dar prioridade à manutenção dos dados e ao dedicar tempo a estes esforços, a probabilidade de os modelos de IA gerarem resultados erróneos é significativamente reduzida.

8. Como prevê que a relação entre a implementação de IA e a dívida técnica evolua no futuro?

Os desenvolvimentos recentes das soluções de IA generativa são apenas o início da nossa relação com esta tecnologia. Prevê-se que o rápido avanço continue, pelo que o setor tecnológico pode esperar trabalhar com conjuntos de dados melhores para treinar os seus modelos.

À medida que os sistemas se tornam mais complexos e ficam disponíveis mais dados para treino, o risco de dívida técnica diminuirá, à medida que as máquinas produzem resultados exatos e escaláveis. 

Além disso, à medida que as ferramentas e plataformas de IA generativa continuam a aperfeiçoar as suas capacidades de programação, é provável que se assista a uma mudança no sentido de uma maior autorregulação por parte das máquinas, sob algum grau de supervisão humana. A intervenção humana continuará a ser necessária para verificar os dados de treino e o código. No entanto, prevê-se que a dependência da autonomia das máquinas para verificações de rotina se torne cada vez mais comum.

Esta evolução conduzirá a reduções de custos, à medida que as organizações dependerem cada vez mais de IA de ponta para mitigar a dívida técnica. A concretização deste objetivo depende da disponibilidade de uma grande variedade de dados, muitos dos quais ainda não estão amplamente acessíveis.

Equilibrar os ganhos a curto prazo com os custos a longo prazo

Tal como a dívida financeira, a dívida técnica acumula "juros" ao longo do tempo — se não for tratada, pode conduzir a maiores dificuldades de manutenção, à redução da qualidade do código e a atualizações ou correções mais complexas no futuro. O conceito realça o compromisso entre os benefícios a curto prazo e os custos a longo prazo no desenvolvimento e na manutenção de software.

Quer saber mais?

Se tiver interesse em saber mais sobre a dívida técnica e o futuro da inteligência artificial, subscreva o nosso boletim informativo para receber as informações mais recentes sobre tecnologia. 

Ajudá-lo-emos a crescer de forma mais inteligente e a liderar com mais eficácia, através de guias, recursos de IA e estratégias de especialistas de topo!