A confiança nos dados tornou-se mais importante do que nunca na era da IA. Com a dependência cada vez maior dos dados para alimentar a IA generativa e outras aplicações de IA, as organizações devem avaliar estratégias e estruturas de gestão de dados que apoiem da melhor forma este cenário novo e em evolução.
A confiança nos dados garante a fiabilidade e a precisão dos dados de uma organização. Vai além do investimento em ferramentas individuais de observabilidade, catalogação ou governação — trata-se de estabelecer uma estrutura abrangente que garanta dados fiáveis ao longo de toda a cadeia de valor.
Por exemplo, uma empresa de retalho que utiliza IA para marketing personalizado deve garantir que os dados dos seus clientes são precisos e estão atualizados, de modo a evitar direcionar produtos inadequados para os grupos demográficos errados.
O desafio dos sistemas legados
O principal desafio é que as tecnologias tradicionais ficam frequentemente aquém das necessidades quando têm de lidar com a escala e a complexidade dos ecossistemas de dados modernos. Estas abordagens legadas têm dificuldades com a qualidade dos dados, a observabilidade, a catalogação e a governação — aspetos críticos que estão frequentemente isolados e desarticulados nos sistemas legados. Esta fragmentação pode levar a inconsistências nos dados, desafios de governação e um risco acrescido.
Por exemplo, uma instituição financeira como a Equifax que utilize sistemas desatualizados pode enfrentar dificuldades em manter uma qualidade de dados consistente entre diferentes departamentos, levando a erros nos relatórios de conformidade ou nas previsões financeiras.
Brian Weiss, Diretor de Tecnologia, Hyperscience
“Estabelecer a confiança nos dados é um dos maiores obstáculos à expansão da IA. A maioria dos dados empresariais não está estruturada e não pode ser utilizada imediatamente pelos sistemas de IA. Embora inúmeras ferramentas afirmem resolver este problema, as organizações devem garantir a precisão dos dados antes de os integrarem em sistemas de IA.
Os mecanismos de fundamentação, como as arquiteturas RAG, requerem dados identificados com precisão para produzirem resultados fiáveis e corretos. A utilização de ML para criar ligações entre dados incorporados reforça ainda mais a necessidade de dados de qualidade, tendo em conta o impacto significativo que uma qualidade de dados deficiente pode ter nos sistemas subsequentes.
Acredito que ensinar a IA generativa a linguagem específica da sua empresa, com base em dados de referência na base da organização, é crucial para impulsionar a adoção e desbloquear valor. Isto é especialmente relevante à medida que as organizações passam das experiências com IA generativa para projetos que geram um ROI real.”
A estrutura de maturidade da confiança nos dados
Para enfrentar estes desafios e criar uma base sólida para o sucesso da IA, as organizações devem considerar a adoção de uma estrutura de maturidade da confiança nos dados, que proporciona um roteiro para evoluir desde as primeiras fases da gestão de dados até um ecossistema de governação de dados sofisticado e escalável.
Este roteiro inclui:
- Organizações em fase inicial concentram-se na gestão de metadados e nos testes manuais de ativos essenciais. Embora seja uma fase reativa, é crucial para estabelecer as bases de práticas mais avançadas. Por exemplo, uma startup pode começar por auditar manualmente os seus dados de clientes para garantir a precisão antes de lançar o seu motor de recomendações baseado em IA.
Pode participar na revolução moderna dos dados através de (1) implementar controlos que ajudem a garantir a qualidade dos dados de origem, (2) estabelecer ferramentas e processos para uma compreensão partilhada (semântica) dos dados numa fase inicial dos fluxos de dados da sua organização e (3) democratizar o trabalho com dados através da adoção de ferramentas de baixo código / sem código e de inteligência artificial generativa para o consumo de dados.
- Fase Consciente e de Crescimento Aqui, o foco de uma organização muda para uma abordagem mais proativa, introduzindo um glossário empresarial, acompanhando a linhagem dos dados, atribuindo a responsabilidade pelos dados e implementando uma observabilidade de dados básica (as ferramentas de observabilidade de dados oferecem muitos benefícios para este efeito). Este passo é essencial para criar uma linguagem de dados comum e promover a colaboração entre as equipas de dados e as partes interessadas do negócio. Uma empresa de média dimensão pode começar a implementar um glossário empresarial para normalizar os termos e as definições nos seus vários departamentos, garantindo que todos estão alinhados ao analisar os dados de vendas.
- Fase de Escala Introduz práticas avançadas, como o mascaramento de PII, estruturas formais de governação, cobertura abrangente da infraestrutura, contratos de dados e a criação de produtos e domínios de dados. Nesta fase, os dados são tratados como um produto, com uma conceção e manutenção deliberadas destinadas a satisfazer as necessidades dos seus utilizadores. Uma grande empresa pode estabelecer estruturas formais de governação de dados para gerir informações sensíveis dos clientes em vários mercados globais, garantindo a conformidade com os regulamentos locais e reforçando a confiança dos clientes.
Com base na minha experiência a ajudar agências e organizações federais a gerir melhor os seus dados, dentro e fora do contexto de tecnologias emergentes como a inteligência artificial, o sucesso da confiança nos dados na era da inteligência artificial depende de dados de elevada qualidade, mas alcançar e manter essa qualidade apresenta desafios significativos.
A implementação de uma estrutura unificada de maturidade da confiança nos dados é fundamental para ultrapassar as limitações das tecnologias convencionais e lidar eficazmente com as complexidades da inteligência artificial e da transformação digital. Essa estrutura deve abranger vários componentes interligados:
- Descoberta de Dados e Gestão de Metadados
- Classificação e Priorização de Domínios de Dados
- Observabilidade de Dados para Monitorização da Fiabilidade e do Desempenho
- Colaboração Reforçada e Contratos de Dados
- Estratégias de Governação de Dados
Ao consolidarem estas funções numa única plataforma, as organizações podem usufruir de uma integração perfeita, de uma menor dependência dos fornecedores e de uma comunicação melhorada em todo o seu ecossistema de dados.
Uma organização de cuidados de saúde que utilize uma plataforma unificada pode simplificar a partilha de dados entre diferentes departamentos, reduzindo o risco de violações de dados e melhorando os resultados dos doentes através de decisões clínicas mais bem fundamentadas.
Uma boa recolha de dados deve ser feita com intencionalidade. Quais são as principais perguntas que está a pedir à IA para ajudar a resolver? Que dados são necessários para responder a essas perguntas? Ao conceber processos empresariais orientados por dados do início ao fim, as organizações podem ajudar a tornar a recolha de dados uma parte mais rotineira das suas operações diárias. Quando os utilizadores finais utilizam os sistemas corretamente, os dados que geram são mais precisos, e os conhecimentos obtidos a partir de modelos preditivos ou utilizados para melhorar os pedidos enviados a LLMs podem, efetivamente, gerar um valor empresarial significativo.
No final de contas, os modelos de IA não passam de pouco mais do que uma experiência científica se os seus resultados não forem utilizados para tomar melhores decisões. Para garantir que isso acontece, as organizações devem dar prioridade à promoção da confiança — e, em última análise, à adoção — destas ferramentas.
Superar os desafios da GenAI
Um dos desafios mais significativos que as organizações enfrentam atualmente é a crescente complexidade dos modelos de GenAI. Estes modelos são frequentemente treinados com conjuntos de dados massivos, o que dificulta a compreensão da forma como chegam às suas conclusões. Esta falta de transparência pode dificultar a confiança nos resultados dos modelos de GenAI.
Mike Finley, CTO e cofundador da AnswerRocket, destaca este desafio: "Os modelos de linguagem introduzem uma superfície de ataque totalmente nova para a política de governação de dados. Enviar dados para um modelo desbloqueia um valor enorme, mas também expõe novos vetores de ameaça. As empresas estão divididas quanto a esta questão, com equipas tradicionalmente conservadoras, como as de TI e Jurídica, a avançarem com cautela, enquanto as equipas de estratégia carregam no acelerador."
Para além dos desafios relacionados com a transparência, os modelos de GenAI também podem ser suscetíveis a enviesamentos. Se os dados utilizados para treinar um modelo de GenAI forem enviesados, o modelo também será enviesado. Isto pode conduzir a resultados injustos ou discriminatórios.
Para enfrentar estes desafios, as organizações devem estar conscientes das limitações dos modelos de GenAI e tomar medidas para mitigar os riscos. Isto inclui implementar práticas sólidas de governação de dados, garantir que os dados não são enviesados e ser transparente relativamente às limitações dos modelos de GenAI.
Blane Sims, CPO, Truebit
“A integridade dos dados, embora seja frequentemente ignorada na discussão sobre IA, é uma preocupação fundamental. À medida que os sistemas de IA influenciam cada vez mais decisões críticas em vários setores, estabelecer confiança nos dados subjacentes é essencial. Processos de dados transparentes e verificáveis são a base sobre a qual podemos construir sistemas de IA que não só são poderosos, como também demonstravelmente fiáveis.
Ao dar prioridade à confiança nos dados, as organizações podem garantir que as suas iniciativas de IA fornecem conhecimentos precisos, mantêm a conformidade regulamentar e conquistam a confiança das partes interessadas. Nesta nova era, a verdadeira vantagem competitiva reside não só na implementação de IA, mas na implementação de uma IA fiável.”
É importante, contudo, salientar que implementar um quadro de confiança nos dados diz tanto respeito à mudança cultural interna como às ferramentas e aos processos; requer tempo, dedicação e uma mudança de mentalidade em toda a organização.
Como salienta Ted Vial, construir confiança na IA começa pelos dados utilizados para a treinar.
A IA está rapidamente a tornar-se o novo motor de pesquisa, criando uma oportunidade significativa para a disseminação de informações falsas. As empresas de IA precisam de criar confiança junto dos seus utilizadores, começando, acima de tudo, pelos dados que utilizam para gerar respostas.
A confiança nos dados como vantagem competitiva na IA
À medida que a nova era da IA continua a crescer e a evoluir, a confiança nos dados é uma pedra angular das estratégias de sucesso orientadas por IA. A transição dos sistemas tradicionais para um ecossistema de dados robusto, escalável e fiável exige mudanças culturais, investimentos na governação e uma abordagem tecnológica virada para o futuro.
Nesta nova era, dados limpos e fiáveis distinguirão os líderes de mercado dos restantes. As organizações que colocarem a confiança nos dados no centro das suas iniciativas de IA estarão bem posicionadas para inovar mais rapidamente, proporcionar experiências mais personalizadas e garantir um crescimento a longo prazo. Ao apostar hoje na confiança nos dados, está a lançar as bases para o sucesso baseado em IA de amanhã.
Subscreva a newsletter do The CTO Club para obter mais informações sobre IA, confiança nos dados e o futuro da liderança tecnológica.
