Avaliação do desempenho do Agente IA

Preparamos uma nova seção de estatísticas que permitirá acompanhar o desempenho do seu Agente IA e ajudará você a entender como ajustar o comportamento dele da melhor forma.

Você poderá monitorar a qualidade das respostas e os resultados da automação, garantindo que seus clientes recebam um atendimento de excelência. Para isso, acesse "Estatísticas" > "Agente IA".

Você pode selecionar o período que deseja analisar para avaliar o desempenho do Agente IA: hoje, ontem, últimos 7 dias, últimos 30 dias ou um período personalizado.

Ao lado de cada métrica, você verá uma porcentagem que representa a variação do indicador em relação ao período anterior de mesma duração.

Abaixo, descrevemos cada bloco de estatísticas:

Percentual de diálogos sem agente#

Representa a proporção de chats que o Agente IA encerrou de forma autônoma, sem solicitar a participação de um agente. Quanto maior esse indicador, menos frequentemente é necessária a ajuda de um funcionário para resolver a questão do cliente.

O bloco apresenta uma meta de 75%. De acordo com nossas pesquisas, esse é o nível considerado de uma automação madura.

Recomendamos avaliar esse indicador em conjunto com os blocos "Qualidade das soluções" e "Avaliação da qualidade do atendimento". Isso permitirá verificar se o Agente IA está fornecendo uma consulta adequada quando encerra o chat por conta própria.

Tempo economizado#

Exibe a soma da duração dos chats encerrados sem a participação de um funcionário, ou seja, quantas horas de trabalho foram poupadas para os agentes.

O equivalente a um funcionário, nesse caso, é calculado como:

horas economizadas / (8 × quantidade de dias no período selecionado)

Quanto maior o valor dessa métrica, maior a carga de trabalho potencial que o Agente IA conseguiu retirar da equipe. No entanto, lembre-se de que a duração de um diálogo nem sempre corresponde ao tempo de trabalho efetivo de um funcionário. Recomendamos analisar esse valor em conjunto com o volume de diálogos.

Tempo médio do diálogo#

É calculada a duração desde a primeira mensagem do cliente até o encerramento do diálogo. Neste bloco, é comparado o tempo médio dos chats atendidos exclusivamente pelo Agente IA com o dos atendimentos que tiveram a participação de um agente.

Tenha em mente que a duração também inclui o tempo de espera pela resposta do cliente.

Recomendamos avaliar esse parâmetro em conjunto com "Qualidade das soluções", pois diálogos muito curtos podem indicar que o problema do cliente não foi solucionado.

Tempo da primeira resposta#

Mostra o tempo médio entre a mensagem do cliente e a primeira resposta. Assim como no bloco anterior, aqui é comparado o indicador dos chats atendidos exclusivamente pelo Agente IA com o dos atendimentos que tiveram a participação de um agente.

Quanto menor o valor, mais rapidamente o cliente recebe uma resposta à sua solicitação. Para avaliar a utilidade dessas respostas, recomendamos analisar esse indicador em conjunto com a métrica "Avaliação da qualidade do atendimento".

Avaliação da qualidade do atendimento#

A IA analisa o diálogo com o cliente e atribui uma nota de 0 a 5. São considerados apenas os diálogos que tiveram a participação do Agente IA. Na análise, são considerados:

• Contexto do diálogo.
• Tom do cliente.
• Negatividade ou agradecimento.
• Insatisfação implícita.
• Sarcasmo e agressividade passiva.
• Resultado final, caso o diálogo tenha envolvido vários assuntos.Características linguísticas e culturais da comunicação.

O diálogo pode receber a nota "0" quando não foi possível identificar as emoções do cliente, quando o diálogo foi pouco informativo ou não relacionado ao objetivo do atendimento, ou quando o Agente IA não tem certeza sobre a precisão da avaliação.

A evolução desse indicador pode ajudar a avaliar mudanças na base de conhecimento ou nas configurações do Agente IA.

Atenção: esta é uma avaliação feita pela IA, e não pelo próprio cliente.

Humor dos diálogos#

A IA analisa o humor do cliente em um diálogo encerrado sem a participação de um agente. São identificados três estados: positivo, neutro e negativo.

Quando não é possível determinar o humor, é atribuída a classificação "Neutro".

O humor nem sempre corresponde à qualidade da solução, mas pode servir como um indicador de problemas na qualidade das respostas ou na percepção do produto.

Qualidade das soluções#

Neste bloco, é avaliado o resultado final da interação com o Agente IA: se o cliente recebeu uma solução para o problema e se os próximos passos estão claros para ele. Há três classificações: "Totalmente resolvido", "Parcialmente resolvido" e "Não resolvido".

Totalmente resolvido: o cliente recebeu uma resposta para sua principal dúvida. A resposta é correta e suficiente para solucionar sua necessidade.

Parcialmente resolvido: o cliente recebeu ajuda, mas ela não foi suficiente. Por exemplo:

• Apenas parte do problema foi resolvida.
• A resposta foi muito genérica.
• Um detalhe importante foi omitido na resposta.
• O cliente não recebeu informações suficientes.

Não resolvido: o cliente não recebeu uma solução. Por exemplo:

• Não houve resposta ou a resposta não estava relacionada ao assunto.
• O Agente IA utilizou fatos ou realizou ações sem confirmação.
• O cliente saiu antes de receber uma resposta.
• Era necessário transferir o atendimento para um agente, mas o cliente ainda assim não recebeu uma solução.

Atenção: neste parâmetro, a IA avalia o resultado para o cliente, e não a cordialidade ou o tom da comunicação. O agradecimento do cliente também nem sempre significa que a solicitação foi totalmente resolvida.

Essa métrica permite avaliar a qualidade da automação e identificar quando o Agente IA realmente ajuda os usuários, em vez de apenas encerrar o chat.

Top 5 motivos de transferência#

Principais motivos pelos quais o Agente IA solicita a participação de um agente humano no diálogo. O bloco apresenta os 5 motivos mais frequentes no período selecionado.

Os possíveis motivos incluem:

• Cliente solicitou um agente.
• Assunto fora da base de conhecimento: O Agente IA não encontrou as informações necessárias na base de conhecimento disponível.
• Solicitação complexa: A questão do cliente é complexa demais para ser resolvida de forma autônoma pelo Agente IA.
• Reclamação do cliente: O visitante apresenta uma reclamação explícita ou solicita a escalada da situação.
• Insatisfação do cliente: O usuário está irritado ou insatisfeito, mesmo que não expresse isso diretamente.
• Necessária avaliação especializada: É necessária a avaliação profissional de um agente.
• Pagamentos e reembolsos: A questão está relacionada a pagamentos, cobranças, assinaturas, reembolsos, códigos promocionais ou saldo.
• É necessária uma ação do agente: É preciso realizar uma ação que só pode ser executada por um agente. Por exemplo, alterar um pedido, registrar uma solicitação ou atualizar dados.
• Solicitação não suportada: O Agente IA não oferece suporte a esse tipo de questão ou ela está fora de sua competência, como assuntos relacionados a outro produto ou serviço.
• Verificação de dados internos: É necessária a verificação de informações por um agente, como status do pedido, entrega, reserva etc.
• Solicitação não clara: O Agente IA não consegue determinar exatamente o que o cliente precisa.
• Políticas e restrições: A solicitação do cliente envolve questões que a IA não deve interpretar ou decidir de forma autônoma.
• Não há confiança na resposta: O Agente IA entende a solicitação, mas não tem certeza de que conseguirá fornecer uma resposta correta.
• Outro.

Esses motivos ajudam a entender como melhorar as respostas do Agente IA. Por exemplo, se "Assunto fora da base de conhecimento" aparece na lista, isso pode indicar a necessidade de melhorar os documentos e as informações disponíveis para o Agente IA.

Evolução da automação#

O gráfico mostra como mudou a proporção de diálogos encerrados sem a participação de um agente em comparação com aqueles que foram transferidos para um agente.

Ao analisar o desempenho do Agente IA, recomendamos avaliar todos os indicadores em conjunto, em vez de se basear em um único critério.

Um bom resultado de automação envolve tanto o encerramento autônomo dos diálogos pelo Agente IA quanto uma alta qualidade das soluções e uma avaliação positiva do humor dos clientes.

Experimente diferentes configurações e aumente a eficiência do Agente IA para que ele gere o máximo de benefícios para você e seus clientes!