A área de sistemas conversacionais vem tomando força no mercado atual,
principalmente com o advento da indústria 4.0, no qual a coleta e o acesso aos dados
são fatores bem relevantes. Chatbots têm o objetivo de simular uma conversa entre
humanos; nesta dissertação tem-se foco nos chatbots...

A área de sistemas conversacionais vem tomando força no mercado atual,
principalmente com o advento da indústria 4.0, no qual a coleta e o acesso aos dados
são fatores bem relevantes. Chatbots têm o objetivo de simular uma conversa entre
humanos; nesta dissertação tem-se foco nos chatbots prestadores de serviço. As
oportunidades e os desafios trazidos por esses tipos de sistema exigem que os
métodos tradicionais de avaliação sejam repensados, considerando a busca
crescente por este tipo de serviço. Por exemplo, com os diálogos deste tipo de chatbot
é possível identificar a intenção de emoção e satisfação do usuário. Esta dissertação
propõe uma metodologia para avaliação de chatbots prestadores de serviço, a partir
da linguagem textual do usuário. Com o objetivo de fornecer insumos para a
metodologia, foram realizados estudos para identificar métricas de como avaliar um
chatbot e a partir destes estudos foi feita uma combinação de métricas para avaliar
este tipo de sistema. Para essa avaliação, foram utilizadas duas versões de um
chatbot em produção. Os diálogos presentes nessas duas versões foram
classificados, seguindo a metodologia proposta e processados utilizando técnicas de
Processamento de Linguagem Natural (PLN) e método de análise não supervisionada
baseada em léxicos, a fim de identificar possíveis problemas e sugerir melhorias.
Palavras-chave: Agentes conversacionais, Avaliação Chatbot, Processamento de
Linguagem Natural, Chatbot

The area of conversational systems has been adopting strength in the current
market, mainly with the advancement of industry 4.0, in which data collection and
access are very relevant factors. Chatbots aim to simulate a conversation between
humans; this dissertation focuses on service provider...

The area of conversational systems has been adopting strength in the current
market, mainly with the advancement of industry 4.0, in which data collection and
access are very relevant factors. Chatbots aim to simulate a conversation between
humans; this dissertation focuses on service provider chatbots. The opportunities and
challenges brought by these types of systems, that can be recovered, considering the
growing search for this type of service. For example, with the dialogs of this type of
chatbot it is possible to identify the intention of emotion and satisfaction of the user.
This dissertation applies a methodology for evaluating service provider chatbots,
based on the user's textual language. In order to provide inputs for the methodology,
studies were carried out to identify metrics on how to evaluate a chatbot and, from
these studies, a combination of metrics was made to evaluate this type of system. For
this evaluation, two versions of a chatbot in production were used. The dialogues
present in these two versions were classified, following a proposed methodology and
processed using Natural Language Processing (PLN) techniques and an unsupervised
analysis method that is applied in the languages, in order to identify possible problems
and suggest improvements.
Keywords: Conversational Agents, Chatbot Rating, Natural Language Processing,
Chatbot