O modelo de IA da LLYC desenvolvido para medir a reputação supera seus concorrentes em precisão, de acordo com a UCM

A Universidade Complutense de Madri certificou que o modelo de IA desenvolvido pela LLYC para medir a polaridade da reputação em conversas sociais é até 20 pontos mais preciso do que as principais referências do mercado (Amazon, Azure, Google e IBM). Especificamente, ele produz um nível de 0,66 em comparação com uma faixa entre 0,42 e 0,53 para as ferramentas rivais testadas. O modelo foi treinado em mais de 130.000 mensagens marcadas manualmente.

“Os resultados da auditoria da Universidade Complutense de Madri são um endosso do trabalho que a LLYC tem feito nos últimos anos em termos de inovação. Eles representam uma clara melhoria em relação ao que estava disponível no mercado até agora. Sem dúvida, a obtenção do modelo mais eficaz para medir a reputação nas redes sociais será muito útil para nossos clientes”, afirma Daniel Fernández Trejo, Diretor Geral de Deep Learning da empresa.

Veja como o projeto se desenvolveu

A LLYC começou a analisar em profundidade as conversas sociais digitais em 2010. Desde então, a empresa percebeu que as métricas de sentimento oferecidas pelas plataformas de escuta social (SLPs) não são muito úteis para avaliar a evolução da reputação de uma marca ou empresa. “Estou muito triste com o falecimento de Tina Turner” é uma mensagem de sentimento negativo que, no entanto, reflete uma polaridade de reputação positiva do autor em relação a Tina Turner. Os níveis de erro na medição de danos à reputação ou no aprimoramento de um problema do cliente eram tais que, para obter uma métrica confiável, era necessária uma análise humana. A análise humana é mais precisa, mas não é escalonável (não consegue lidar com grandes volumes de dados), é mais lenta e mais cara. Mesmo assim, foi a utilizada em metodologias e ferramentas de medição desenvolvidas pela LLYC na época, como, por exemplo, o MRO.

Em 2021, três circunstâncias convergem e abrem uma janela de oportunidade para a LLYC melhorar drasticamente suas capacidades de medição e análise de reputação. Por um lado, a área de tecnologia (agora Deep Learning) começa a se consolidar e fornece à empresa recursos tecnológicos que ela não tinha anteriormente. Por outro lado, o estado da arte em processamento de linguagem natural (NLP) amadureceu uma série de tecnologias (os Transformers) que significaram um salto disruptivo na capacidade das máquinas de entender a linguagem humana. Por fim, graças ao uso de ferramentas como o MRO nos últimos 10 anos, a LLYC conta com um banco de dados de mais de 120.000 mensagens cuidadosamente classificadas por especialistas em comunicação de acordo com a polaridade de reputação que expressam. A tecnologia atual (Transformers), gerenciada por uma nova especialização interna (Technology Area), poderia ser treinada com o conhecimento acumulado (as 120.000 mensagens) para ser capaz de medir a reputação de forma automática e precisa?

Para responder à pergunta acima, um projeto de inovação com o codinome Gea foi lançado para treinar uma IA de última geração com o conhecimento da LLYC sobre a polaridade da reputação. As informações do MRO foram uma boa base, mas descobriu-se que não eram suficientes para explorar todo o potencial da tecnologia: eram necessários mais dados. Assim, uma nova etapa de análise humana foi projetada, envolvendo mais de 300 profissionais da, na época, Deep Digital, com o objetivo de classificar 130.000 mensagens adicionais para treinar melhor a IA do Project Gea. O trabalho valeu a pena. Agora, a Universidade Complutense de Madri certifica que o modelo proprietário de IA desenvolvido pela LLYC mede a polaridade da reputação com mais precisão do que outras ferramentas no mercado.