O modelo de IA da LLYC desenvolvido para medir a reputação supera os seus concorrentes em termos de precisão, de acordo com a UCM

A Universidade Complutense de Madrid certificou que o modelo de IA desenvolvido pela LLYC para medir a polaridade da reputação nas conversas sociais é até 20 pontos mais preciso do que as principais referências do mercado (Amazon, Azure, Google e IBM). Mais concretamente, o seu nível de precisão é de 0,66, em comparação com um intervalo de 0,42 a 0,53 para as ferramentas rivais testadas. O modelo foi treinado em mais de 130 000 mensagens marcadas manualmente.

“Os resultados da auditoria da Universidade Complutense de Madrid são um aval do trabalho que a LLYC tem feito nos últimos anos em termos de inovação. Representam uma clara melhoria em relação ao que existe no mercado até à data. Sem dúvida, conseguir o modelo mais eficaz para medir a reputação nas redes sociais será muito útil para os nossos clientes”, afirma Daniel Fernández Trejo, Diretor Geral de Deep Learning da empresa.

Eis como o projeto se desenvolveu

A LLYC começou a analisar em profundidade a conversação social digital em 2010. Desde então, a empresa apercebeu-se de que as métricas de sentimento oferecidas pelas plataformas de escuta social (SLPs) não são muito úteis para avaliar a evolução da reputação de uma marca ou empresa. “Estou muito triste com o falecimento de Tina Turner” é uma mensagem de sentimento negativo que, no entanto, reflecte uma polaridade de reputação positiva do autor em relação a Tina Turner. Os níveis de erro na medição dos danos à reputação ou na melhoria de um problema do cliente eram tais que, para obter uma métrica fiável, era necessária uma análise humana. A análise humana é mais exacta, mas não tem escala (não consegue lidar com grandes volumes de dados), é mais lenta e mais cara. Mesmo assim, foi a utilizada nas metodologias e ferramentas de medição desenvolvidas pela LLYC na altura, como, por exemplo, o MRO.

Em 2021, convergem três circunstâncias que abrem uma janela de oportunidade para que a LLYC melhore drasticamente as suas capacidades de medição e análise da reputação. Por um lado, a Área Tecnológica (agora Deep Learning) começa a consolidar-se e dota a empresa de capacidades tecnológicas de que não dispunha anteriormente. Por outro lado, o estado da arte do processamento da linguagem natural (PNL) amadureceu uma série de tecnologias (os Transformers) que significaram um salto disruptivo na capacidade das máquinas para compreender a linguagem humana. Por fim, graças à utilização de ferramentas como o MRO nos últimos 10 anos, a LLYC dispõe de uma base de dados com mais de 120.000 mensagens cuidadosamente classificadas por especialistas em comunicação, de acordo com a polaridade reputacional que exprimem. Poderá a tecnologia atual (Transformers), gerida por uma nova especialização interna (Área Tecnológica), ser treinada com o conhecimento acumulado (as 120.000 mensagens) para poder medir a reputação de forma automática e precisa?

Para responder à pergunta acima, foi lançado um projeto de inovação com o nome de código Gea para treinar uma IA de última geração com o conhecimento da LLYC sobre a polaridade da reputação. A informação do MRO constituía uma boa base, mas descobriu-se que não era suficiente para explorar todas as possibilidades oferecidas pela tecnologia: eram necessários mais dados. Assim, foi concebida uma nova fase de análise humana, envolvendo mais de 300 profissionais da, na altura, Deep Digital, com o objetivo de classificar 130 000 mensagens adicionais para treinar melhor a IA do Projeto Gea. O trabalho deu frutos. Atualmente, a Universidade Complutense de Madrid certifica que o modelo proprietário de IA desenvolvido pela LLYC mede a polaridade da reputação com mais precisão do que outras ferramentas existentes no mercado.