O data wrangling —limpar, transformar e enriquecer dados— é o ponto de partida que define o sucesso ou o fracasso de um projeto de IA generativa no setor bancário. Vale a regra "garbage in, garbage out": dados mal preparados geram alucinações e respostas incompletas nos agentes conversacionais.
Literalmente, a expressão data wrangling faz referência ao ato de arrebanhar ou, de certa forma, "domar" dados para poder utilizá-los com um fim específico de forma eficiente. Essa é uma atividade-chave que devemos realizar ao encarar um projeto que envolva o uso de inteligência artificial generativa e que pode, por si só, definir seu sucesso ou fracasso. Não deve ser subestimada em termos de tempo e escopo. Por que o data wrangling é importante? A qualidade dos dados que usamos para treinar modelos de inteligência artificial é determinante para a qualidade dos resultados. Talvez você já tenha lido por aí a frase "garbage in, garbage out", que basicamente representa essa questão. Isso vale tanto para os modelos base e os LLMs, que investem bilhões de dólares nessa atividade antes e durante o treinamento dos modelos, quanto para aplicações específicas em que usamos dados próprios para alimentar e dar contexto a agentes virtuais que precisam resolver atividades superespecíficas dentro da nossa organização. Ao implementar soluções com inteligência artificial generativa no setor bancário, essa atividade se torna primordial para garantir que as interações sejam o mais corretas e seguras possível. Neste outro blog post sobre como se treina uma IA conversacional no setor bancário , detalhamos como os dados têm um papel crítico em cada fase do desenvolvimento desses sistemas. O que significa fazer data wrangling ? Embora tecnicamente essa atividade tenha vários passos e requisitos técnicos que se aplicam mais ou menos dependendo da atividade da empresa, do uso que se quer dar aos dados e do ponto de partida, podemos resumir o conceito em três pontos principais: Limpeza: corrigir erros, eliminar dados duplicados e inconsistências. Transformação: converter dados de um formato para outro para poder consumi-los corretamente. Enriquecimento: complementar os dados atuais com dados adicionais que melhorem a qualidade e deem o contexto necessário para a solução. Na implementação de um projeto que envolva inteligência artificial generativa aplicada a um caso concreto —como, por exemplo, o atendimento ao cliente ou a venda de um produto bancário como um cartão de crédito ou um empréstimo— esse processo será um dos pontos de partida de avaliação e trabalho. O estado em que se encontram os insumos a serem utilizados pela solução é um fator-chave para estimar o escopo e a duração do projeto. Se quisermos, por exemplo, que nosso agente conversacional possa interagir com clientes respondendo a perguntas complexas sobre descontos e benefícios do cartão do banco vigentes em diferentes estabelecimentos, vamos precisar que essa informação esteja no formato correto, seja compreensível para a solução e esteja constantemente atualizada. Quais formatos de dados existem? Quando falamos de formatos de dados, nos referimos à forma como determinados dados estão armazenados e prontos para serem utilizados ou consumidos. Nesse sentido, há uma distinção básica, que é a seguinte: Dados estruturados: são dados que estão em uma estrutura predefinida e com tipos e rótulos definidos, por exemplo, tabelas em arquivos do tipo Excel, CSV, bancos de dados, etc. Dados não estruturados: são dados ou informações que vêm de formatos menos predefinidos, como arquivos de texto, documentos, emails, PDFs, imagens ou até vídeos. Além de cada formato ter suas particularidades e ser mais adequado para armazenar e servir diferentes tipos de dados, como regra geral para usá-los na alimentação de agentes generativos, há considerações gerais que devemos levar em conta. Principalmente, devemos entender que os modelos generativos vão performar melhor quando os dados estiverem estruturados de uma forma que facilite sua localização, compreensão e consumo. Assim como para as pessoas, quando recebemos documentos devidamente estruturados —por exemplo, com um índice, uso adequado de hierarquias de texto, rótulos, formatos de dados específicos como números, moedas, porcentagens, etc.— nossa interpretação é muito mais simples, rápida e precisa. Além disso, temos que levar em conta que os humanos têm uma capacidade superior de inferência e bom senso que nos permite deduzir ou completar informações faltantes a partir do contexto. Quanto aos modelos generativos, embora possam tentar, ao menos por enquanto, não contam com a capacidade adequada para fazê-lo. Isso pode levar a gerar alucinações ou respostas incompletas, em função da liberdade de ação que o modelo tenha. Quais benefícios tem realizar um data wrangling correto em soluções baseadas em agentes conversacionais? Como comentamos no início, uma solução que não tenha um tratamento correto dos dados fornecidos como fonte de conhecimento tem grandes chances de não cumprir corretamente seu objetivo. Mas o bom desempenho final não é o único benefício que podemos esperar ao aplicar boas práticas nesse sentido. Alguns benefícios adicionais podem ser os seguintes: Respostas mais consistentes, com menores riscos de alucinações e de informações incompletas. Facilidade na manutenção e gestão das bases de conhecimento. Maior velocidade no processamento das informações. Detecção e correção de erros de forma mais ágil. Menores prazos de implementação dos projetos. Comentários finais A inteligência artificial generativa é uma tecnologia disruptiva que veio para mudar as regras do jogo em todas as indústrias, sendo a bancária uma das que têm maior potencial de alcançar melhorias em eficiência e na experiência dos clientes. A aplicação de agentes conversacionais é um dos casos de uso mais evidentes para aproveitar o potencial que ela tem, mas eles precisam de contexto e de um manejo de dados rigoroso. Como comentamos acima, o data wrangling é um ponto de partida-chave, às vezes subestimado. Devemos abordá-lo com a importância que merece, já que pode definir o sucesso ou o fracasso da implementação antes mesmo de iniciar a primeira interação com os usuários finais.
O que é data wrangling e por que importa no setor bancário? Data wrangling é o processo de limpar, transformar e enriquecer dados para usá-los de forma eficiente. No setor bancário, ele define o sucesso de um projeto de IA generativa: se entra lixo, sai lixo.
Quais são os três passos-chave do data wrangling? Limpeza (corrigir erros, eliminar duplicados e inconsistências), transformação (converter os dados para um formato consumível) e enriquecimento (adicionar dados que tragam contexto e qualidade à solução).
Quais benefícios um bom data wrangling traz para agentes conversacionais? Respostas mais consistentes com menor risco de alucinações, bases de conhecimento mais fáceis de manter, processamento mais rápido, correção de erros mais ágil e menores prazos de implementação.