Inferência de IA: Porque é que a Sua Plataforma de Dados Precisa de uma Renovação

Discover how to deliver better software and systems in rapidly scaling environments. Join our Community

A inferência de IA é a próxima fronteira para as empresas, exigindo novas abordagens à gestão de dados para lidar com dados não estruturados e garantir uma governação adequada. Os CTO devem considerar os requisitos específicos.

Why Your Data Platform Needs a Makeover in the Era of AI Inferencing featured image

Até recentemente, a maioria das notícias sobre IA tinha girado em torno da competição para desenvolver e melhorar LLM e outros modelos de IA, bem como da ascensão da NVIDIA como processador de eleição para IA. À medida que a indústria da IA amadurece, dois anos após o lançamento do ChatGPT, estamos agora a assistir a uma mudança de foco para o objetivo final: colocar a IA em utilização – ou realizar inferências. A maioria das organizações empresariais de TI tem de reestruturar a sua gestão de dados para garantir uma governação adequada dos dados utilizados na inferência de IA.

Vejamos mais de perto porquê.

O valor empresarial da inferência de IA

A inferência de IA não é sempre igual. Embora algumas tarefas, como escrever textos para redes sociais, possam ser realizadas simplesmente abrindo a sua aplicação de IA generativa favorita e escrevendo um pedido, o maior valor para as empresas consiste em utilizar dados internos para personalizar os resultados de acordo com as necessidades da empresa e dos clientes. É possível perceber o valor empresarial da IA através dos dados empresariais.

Por exemplo, analisar registos de conversas para identificar tendências de sentimento e satisfação dos clientes ou introduzir notas clínicas de consultas hospitalares de pacientes para resumir casos e descobrir tendências no tratamento e na prevenção de doenças.

Por que motivo a inferência de IA exige uma nova arquitetura de dados

A inferência de IA está a afirmar-se como um mercado gigantesco, com enormes consequências para a infraestrutura de TI. “Várias fontes, incluindo empresas do setor tecnológico, como a Amazon ou a NVIDIA, estimam que o custo da inferência pode exceder o custo do treino em sistemas generalizados e que a inferência representa até 90% dos custos de aprendizagem automática dos sistemas de IA implementados”, segundo investigadores publicados na Science Direct.

Com tanto tempo, custo e energia investidos na inferência de IA, os responsáveis de TI vão querer analisar atentamente a sua pilha tecnológica de suporte — desde as plataformas de dados até à infraestrutura do centro de dados, quer esteja instalada localmente quer na nuvem – e aos computadores portáteis e telemóveis, que serão otimizados para o processamento de IA. Poderão ter de atualizar os seus sistemas para melhorar a eficiência, o desempenho e a otimização de custos, preparando-os para o futuro.

Análise dos novos requisitos

Embora a inferência de IA seja o passo seguinte ao desenvolvimento de modelos, os requisitos da inferência de IA são suficientemente diferentes para exigirem um novo paradigma de dados – especialmente no caso de dados não estruturados:

  • Gerir a utilização rotineira dos dados empresariais: Comecemos por analisar o processo de alto nível subjacente à inferência de IA, tal como explicado pela IBM Research: “Durante a inferência, um modelo de IA começa a trabalhar com dados em tempo real, comparando a consulta do utilizador com as informações processadas durante o treino e armazenadas nos seus pesos ou parâmetros. A resposta apresentada pelo modelo depende da tarefa, quer se trate de identificar spam, converter voz em texto ou condensar um documento longo nos seus pontos essenciais. O objetivo da inferência de IA é calcular e apresentar um resultado acionável.”  Por outras palavras, a inferência de IA e a sua utilização exigem que as organizações complementem aquilo com que o modelo foi treinado com dados empresariais relevantes. 
  • Tem de ser fácil para qualquer colaborador, e não apenas para cientistas de dados: Enquanto o desenvolvimento de modelos é um mercado de IA altamente especializado para cientistas de dados, a inferência de IA destina-se a qualquer utilizador e, por isso, tem de ser fácil de utilizar e implementar. Como pode facilitar aos colaboradores a localização e o fornecimento dos dados empresariais corretos ao processo de IA adequado? Como pode garantir que o fluxo de trabalho dos dados é registado para auditorias? O treino de modelos de IA é como construir uma central elétrica; muito poucas pessoas têm os conhecimentos especializados e os recursos necessários para criar modelos de IA. Mas a inferência de IA deve ser tão fácil como consumir eletricidade. Qualquer pessoa deve poder ligar ou desligar o interruptor para os seus fins.  
  • Necessidade de pesquisar e fornecer dados não estruturados à IA: Atualmente, com a IA e a aprendizagem automática, tudo gira em torno dos dados não estruturados — os milhões ou milhares de milhões de ficheiros, como documentos, mensagens, imagens, vídeos e dados de máquinas, distribuídos por diretórios e partilhas na empresa. Devido à sua grande dimensão e distribuição por muitos silos de dados na empresa, movê-los para um sistema não é viável, tanto do ponto de vista dos custos como do tempo necessário. Os utilizadores dependem de muitas ferramentas de IA, em vez de um enorme armazém de dados. 
  • Mover primeiro os dados já não funciona: Uma vez que os dados não estruturados podem facilmente atingir petabytes e são dispendiosos de mover, o paradigma tradicional de extração, transformação e carregamento (ETL), que consiste em mover primeiro os dados para um lago de dados ou uma arquitetura de lago de dados e depois trabalhar sobre eles, já não funciona. As equipas de TI precisam de uma forma de aceder e gerir sistematicamente os dados não estruturados sem os mover para um único local. Também precisam de ferramentas automatizadas para preparar os dados — filtrando o que não é relevante, adicionando-lhes contexto e estrutura através do enriquecimento de metadados e criando fluxos de trabalho seguros para localizar e mover os conjuntos de dados certos para as ferramentas certas. Um índice global unificado constitui um ponto de partida sensato para obter visibilidade dos dados e realizar pesquisas rápidas em ambientes de dados híbridos. 
  • Governação automatizada dos dados: Além disso, a governação dos dados de IA está a tornar-se uma capacidade fundamental da gestão de dados. Para evitar fugas de dados sensíveis para ferramentas de IA, resultados incorretos, alucinações e processos judiciais por violação de direitos de autor, as organizações precisarão de formas de monitorizar e acompanhar a movimentação de dados para ferramentas de IA. Precisam de métodos automatizados para localizar dados sensíveis, como informações pessoais identificáveis (PII), e movê-los para locais onde não possam ser acedidos pelos colaboradores para utilização em IA. Ao automatizar os fluxos de trabalho que permitem aos utilizadores aceder à IA, pode garantir que a automatização acompanha e gere a governação dos dados.
  • Um novo modelo de gestão de dados para a IA: A camada de “base de dados” emergente para dados não estruturados é virtual e não armazena efetivamente todos os dados. Veremos esta camada evoluir para abranger as capacidades acima mencionadas e muito mais. Terá de funcionar em todas as tecnologias e ambientes de armazenamento — desde o centro de dados até à periferia e à nuvem — e operar de forma eficiente sob o peso de petabytes de dados de ficheiros e objetos.

Perguntas fundamentais a colocar antes da adoção

Antes de investir em qualquer nova tecnologia de IA, as partes interessadas devem reunir-se para determinar os principais objetivos e restrições que preveem, de modo a gerir o risco. Eis algumas perguntas a considerar:

  1. Que departamentos e/ou casos de utilização proporcionarão ganhos rápidos e oportunidades de aprendizagem com o menor risco?
  2. Quais são os principais objetivos a longo prazo e os resultados esperados da utilização da IA, especialmente no que diz respeito à utilização de dados empresariais com IA?
  3. Como pretendem que os utilizadores possam interagir com os sistemas de IA? Haverá ferramentas de IA específicas autorizadas para utilização ou os utilizadores poderão decidir? 
  4. Que políticas internas serão necessárias para a utilização da IA e como serão aplicadas? Por exemplo, uma organização pode querer determinar que ferramentas de IA podem ser utilizadas no trabalho e/ou os tipos de dados que podem ser introduzidos nos sistemas. Pode querer restringir, por exemplo, as notas de reuniões da direção executiva, de sessões de I&D ou de chamadas com os principais clientes.
  5. Que regulamentação do setor deve ser cumprida ao utilizar dados empresariais com IA?
  6. Como serão avaliados quanto à exatidão e legitimidade os resultados ou trabalhos derivados da IA?
  7. Como podem os trabalhos derivados ser utilizados interna ou externamente?
  8. Que estrutura de governação e segurança da IA será necessária e que lacunas na infraestrutura tecnológica de segurança terão de ser colmatadas? 
  9. Que sistemas podem ser executados na nuvem e quais devem permanecer no local?
  10. Como irão os utilizadores pesquisar, localizar e fornecer dados empresariais à IA?
  11. Como é persistido o resultado da IA?

Quando utilizada corretamente, a inferência de IA pode ajudar as organizações a obter uma vantagem competitiva significativa. No entanto, também pode criar riscos relacionados com os dados, uma vez que os dados empresariais precisam de ser expostos. A inferência de IA requer uma nova arquitetura de dados, porque o modelo tradicional de carregar dados para um armazém de dados ou lago de dados e agir sobre eles num único local já não funciona. A inferência de IA requer indexação, pesquisa, curadoria e mobilização eficientes de dados não estruturados para a IA, com auditoria e rastreio automatizados.

Subscreva a newsletter do The CTO Club para obter mais informações e boas práticas sobre dados.

Krishna Subramanian
Krishna Subramanian is COO, president and co-founder of Komprise. In her career, Subramanian has built three successful venture-backed IT businesses and was named a “2021 Top 100 Women of Influence” by Silicon Valley Business Journal.
Follow the author:

You may also like