Muitas decisões técnicas estão envolvidas no suporte à IA — desde quais LLM utilizar, onde os implementar, que infraestrutura é necessária e como formar os colaboradores. Recentemente, inquirimos responsáveis pela tomada de decisões de TI empresarial nos EUA e quase metade (44%) afirmou que criar uma infraestrutura de dados preparada para a IA é a principal prioridade atual. As organizações de TI também estão a personalizar o treino de modelos existentes (37%), a utilizar serviços na nuvem para IA (32%), a desenvolver os seus próprios modelos de aprendizagem (32%), a permitir que os colaboradores utilizem modelos de IA disponíveis comercialmente (29%) e a formar os colaboradores (33%).
Neste artigo, analisarei estas diferentes áreas, apresentando algumas considerações para as empresas que estão a criar a sua chamada infraestrutura preparada para a IA. Como sempre, o orçamento tem um peso significativo na tomada de decisões sobre tecnologia de IA, mas também a segurança, a conformidade da governação e a disponibilidade de profissionais de TI com as competências adequadas em IA e ML.
Criar uma infraestrutura de dados preparada para a IA
O lançamento de uma iniciativa de IA na sua empresa pode exigir o desenvolvimento e o treino de um modelo, caso seja necessário criar o seu próprio modelo de IA generativa. Normalmente, isto começa pela aquisição de recursos computacionais adequados e de elevado desempenho — as dispendiosas CPUs, GPUs e TPUs necessárias para alojar modelos de aprendizagem automática e processar dados a uma velocidade impressionante. Embora a infraestrutura pré-configurada, os modelos públicos e os serviços na nuvem ofereçam vantagens em termos de custos e facilidade de utilização, as organizações de TI devem também ponderar as vantagens de manter a IA internamente para obter um maior controlo ou, em alternativa, estabelecer um modelo híbrido que proporcione os níveis adequados de governação de dados, transparência e segurança.
O custo médio de um servidor de IA é de $32,000. “O analista distinto da Gartner, John-David Lovelock, salienta que um bastidor de servidores de IA custará mais de 1 milhão de dólares.” As tecnologias de armazenamento baseadas em memória flash concebidas para IA também podem aumentar os custos. Depois, há o suporte e a manutenção de todo este equipamento, que exigem profissionais de TI a tempo inteiro e um centro de dados de última geração.
Have an account? Log In
Utilizar dados empresariais com IA
Independentemente de estar a criar o seu próprio modelo de raiz ou, mais provavelmente, a aperfeiçoar e utilizar modelos pré-construídos, necessita de uma gestão de dados que disponibilize os dados não estruturados adequados à IA. A gestão de dados não estruturados automatiza os fluxos de trabalho de dados de IA e gere a governação dos dados empresariais, especialmente no caso de dados sensíveis.
Os dados não estruturados, que, segundo a IDC, representam 90% de todos os dados, estão normalmente dispersos por muitos silos, e parte da função da gestão de dados consiste precisamente em facilitar a pesquisa rápida, a etiquetagem e o fornecimento dos dados adequados aos modelos de IA.
Serviços na nuvem para IA
Os principais fornecedores de serviços na nuvem criaram serviços abrangentes para apoiar a IA nas organizações que não podem ou não querem gerir a tecnologia internamente. Os componentes vão desde recursos rápidos de armazenamento e computação a recursos de aprendizagem automática, IA generativa e ferramentas de desenvolvimento. Embora a IA baseada na nuvem ofereça vantagens distintas em termos de custos — não é necessário comprar servidores ou armazenamento, nem pagar pelo aumento do consumo de energia, que aumentará a sua área ocupada no centro de dados —, é fácil aprovisionar em excesso e gastar demasiado na nuvem. Existe também a questão das lacunas de competências na nuvem.
Uma estratégia de IA na nuvem pode ser bem-sucedida e eficiente em termos de custos se conseguir gerir os dados de forma adequada. Por exemplo, copiar petabytes de dados não estruturados para a nuvem e tentar depois perceber quais são úteis para a IA faria a fatura aumentar rapidamente.
Também deverá evitar alimentar uma aplicação de IA sem primeiro resolver a desorganização dos dados: a maioria das organizações possui grandes quantidades de dados duplicados, obsoletos ou “zombie” que devem ser eliminados. Certifique-se de que os seus dados estão em boas condições — classificados e organizados — antes de os transferir e mova apenas os dados que sabe estarem dentro do âmbito do seu projeto. É também aconselhável considerar as questões de governação dos dados na nuvem.
Escolha casos de utilização com um ROI previsível e certifique-se de que consegue medir os resultados posteriormente. Os requisitos de segurança e conformidade podem impedir a opção de alojar a IA na nuvem. No mínimo, compreender os riscos dos seus dados em qualquer serviço de IA e saber como auditar projetos quanto ao risco dos dados são passos fundamentais antes de iniciar qualquer projeto.
Decisões sobre modelos de aprendizagem automática
Os modelos populares de aprendizagem automática, como GPT, Claude, Gemini, TensorFlow e PyTorch, dependem de enormes conjuntos de dados públicos para o treino. No entanto, para tornar a IA útil e credível em projetos empresariais destinados a melhorar as operações, a I&D ou as relações com os clientes, deverá treinar um modelo com os seus próprios dados proprietários e mantê-lo privado.
O treino e/ou desenvolvimento de um modelo exige as competências de cientistas de dados especializados que compreendam linguagens de programação de topo, como Python e R, a modelação e análise de megadados, o conhecimento de modelos de aprendizagem automática, bem como a segurança e a computação na nuvem.
Uma equipa ambiciosa e bem financiada de análise e ciência de dados poderá até optar por desenvolver um modelo de raiz. Entre as razões para tal estão o desejo de ter controlo total sobre a arquitetura e a segurança e/ou de apoiar um projeto altamente sensível e competitivo. Embora existam comunidades como a Hugging Face e a OpenAI que ajudam a escolher os componentes e a colaborar com outros, este é um empreendimento enorme. Implica limpar e preparar dados, selecionar e treinar algoritmos e ajustar o modelo para obter precisão e fiabilidade. Será necessário adquirir não só a infraestrutura, mas também uma equipa de engenheiros para realizar o trabalho.
Devido às limitações de recursos da maioria das organizações, a utilização de modelos de ML proprietários ou de código aberto, previamente treinados com dados empresariais, é provavelmente o caminho mais comum para a IA. A inferência de IA é um mercado muito maior e mais abrangente do que o treino de IA. Por isso, as organizações de TI estão a investir cada vez mais na criação da infraestrutura de dados adequada para localizar, selecionar, auditar e fornecer dados empresariais à IA, mantendo simultaneamente a governação dos dados.
More Articles
A ascensão das ferramentas de IA prontas a utilizar
O inquérito da Komprise concluiu que apenas 30% das organizações atribuíram um orçamento à IA, o que implica que 70% ainda estão a experimentar e a investigar a tecnologia. E, atualmente, isso provavelmente significa utilizar aplicações de baixo custo, como o OpenAI ChatGPT, o Anthropic Claude, o Microsoft Copilot ou o Google Gemini. Os funcionários de vários departamentos utilizam estas ferramentas para responder a perguntas, escrever textos, criar gráficos e imagens ou escrever código de software – com uma velocidade fulminante e resultados suficientemente bons.
O que falta são normas e boas práticas generalizadas. Que projetos são seguros e adequados para a GenAI? Que dados devem ser utilizados e quais devem ser protegidos contra a ingestão? Como devem ser avaliados os trabalhos derivados da GenAI quanto à precisão e legitimidade? O que acontece se propriedade intelectual ou dados de clientes forem divulgados para um LLM de uso geral? Como pode uma empresa proteger-se contra processos judiciais por violação de direitos de autor ou difamação baseados em trabalhos produzidos por GenAI?
Comece por compreender o seu património de dados em termos das características dos dados e da quantidade de dados sensíveis, como PII e IP. Essa análise ajudará a orientar a organização no desenvolvimento de políticas para a utilização da GenAI que regulem os dados e os casos de utilização. Será necessária uma ferramenta para monitorizar a conformidade e investigar os problemas que surjam da utilização da GenAI, quando e se surgirem.
Consegue acompanhar que dados foram enviados para a ferramenta de IA e por que utilizadores ou departamentos? Consegue localizar e retirar dados sensíveis de diretórios onde possam ser descobertos e integrados numa ferramenta de IA? Algumas soluções de gestão de dados não estruturados disponibilizam esta funcionalidade; a governação de dados de IA é uma área de procura crescente para evitar repercussões da IA que possam prejudicar a confiança, a lealdade dos clientes e a credibilidade no mercado.
A necessidade de governação da GenAI
Tendo em conta as preocupações gerais do mercado relativamente à IA, a sua conhecida capacidade de criar resultados falsos e alucinações prejudiciais, o risco de fuga de dados empresariais para LLMs de uso geral e os custos de desenvolvimento e implementação de tecnologias de IA, os líderes de TI procurarão um plano e um processo à prova de falhas para avaliar e implementar o conjunto de tecnologias de IA.
Quer obter mais informações sobre IA? Subscreva a newsletter do The CTO Club para receber dicas e ferramentas na sua caixa de entrada!
