Não é seguro dizer que a ideia de “substituir a central de atendimento/resposta a consultas primárias pela IA” agora é uma ideia comum? Na verdade, o que quero fazer é claro. Queremos reduzir o tempo de espera, reduzir a carga do operador, reduzir pessoal e nivelar a qualidade da resposta. Não há objeção a esse propósito.

Um erro comum é que “deixe o RAG comer tudo” é frequentemente escolhido como método. Eu testei pessoalmente uma configuração que insere logs anteriores, wikis internos e histórico de bate-papo de uma só vez, mas o que obtive não foi a eficiência esperada, mas uma produção em massa de respostas aparentemente inúteis.

A conclusão é clara. A substituição parcial é possível, mas a substituição do SD sem projetar a operação de conhecimento tem uma alta probabilidade de falha. E a maioria das falhas não se deve a erros de seleção de modelos. A qualidade dos dados de entrada e a concepção das responsabilidades operacionais são inadequadas.

No campo do service desk, respostas corretas e auditabilidade são exigidas ao mesmo tempo. Para atingir ambos os objetivos, a única maneira de alcançar ambos é obter “conhecimento oficial que seja aprovado e correto para a organização”.

Conclusão primeiro

  • Mesmo se você inserir todo o log anterior, se a qualidade for baixa, ele simplesmente procurará lixo em alta velocidade e retornará respostas semelhantes a lixo.
  • Mesmo que todas as informações dentro da organização sejam inseridas, se a fronteira entre formal e informal for ambígua, torna-se um dispositivo para justificar respostas incorretas sem assumir o contexto oficial ou as regras da organização.
  • Uma estrutura que responde apenas em termos gerais é contra as regras da organização e não pode ser utilizada no terreno.
  • A verdadeira solução é executar um loop KCS (Knowledge-Centered Service) com assistência de IA e esclarecer a qualidade da fonte de referência e do responsável.
  • A IA que não pode se referir ao conhecimento oficial aprovado não pode ser usada na produção do service desk.

Por que “colocar tudo por enquanto” falha?

1. Registros de correspondências anteriores não são conhecimento em primeiro lugar.

Muitos registros de consulta são gravados para fechar tickets em campo. Embora isto por si só seja correto para fins comerciais, muitas vezes é insuficiente como conhecimento reutilizável.

  • Faltam informações de pré-requisito (dispositivo utilizado, autoridade, rota de conexão, diferença de ambiente).
  • O objetivo é completar o ticket, podendo em casos extremos terminar com “correspondência concluída”. Não se destina à reutilização.
  • Uma mistura de abreviaturas e coloquialismos, e depende do conhecimento tácito do responsável.
  • A causa raiz e a solução provisória não estão separadas.

Se um log neste estado for enviado ao RAG, mesmo que a pesquisa seja bem-sucedida, a resposta não será precisa. Isto ocorre porque a IA pode complementar de forma plausível documentos que são ambíguos ou incompreensíveis, mesmo quando lidos por humanos, resultando na criação de respostas delirantes e irrealistas. Isso cria uma situação problemática em que a resposta é rápida, mas o problema não é resolvido. Mesmo que você ache que o prompt está ruim e tente ajustá-lo o máximo que puder, provavelmente será em vão. Pelo menos aconteceu comigo.

2. A entrada completa de informações internas causa “diluição oficial”

A configuração que permite aos usuários ler todos os wikis internos'', todos os servidores de arquivos’’ e ``todos os registros de bate-papo’’ é abrangente à primeira vista. Porém, na realidade, isso é semelhante a organizar informações com diferentes graus de confiabilidade na mesma tela de pesquisa.

Normalmente ocorre o seguinte:

  • Procedimentos oficiais (aprovados) e notas pessoais (não aprovados) são pesquisados na mesma coluna
  • Procedimentos obsoletos permanecem e entram em conflito com os procedimentos mais recentes
  • O know-how temporário é erroneamente citado como procedimento permanente
  • Ocorre uma reversão quando a data e hora de atualização do artigo são novas, mas o conteúdo é antigo.

RAG é bom em “encontrar documentos”. Contudo, um sistema separado deve ser criado para garantir que o documento seja correto para a organização.

3. Generalizações sem o conhecimento das regras organizacionais não podem ser usadas mesmo que estejam corretas.

As IAs com conhecimento formal insuficiente muitas vezes retornam respostas que são tecnicamente corretas, mas operacionalmente inviáveis.

  • Conceda privilégios de administrador local
  • Relaxamento temporário das configurações de segurança
  • Uso de nuvem externa a critério individual
  • Acesso direto a dados multifuncionais

Mesmo que a IA retorne uma solução geral, será impossível implementá-la se violar as regras organizacionais. Neste momento, a IA do service desk pode até se tornar um dispositivo que justifica a quebra de regras. Não pode ser usado como solução para problemas de negócios.

Exemplos de falhas que ocorrem no local

Exemplo de falha 1: direcionamento incorreto devido a falha na conexão VPN

  • Sintoma: “Não é possível conectar-se à VPN em casa”
  • Resposta da IA: “Inicialize as configurações de rede do sistema operacional e reinicie.”
  • Real: a causa é a revogação do certificado no lado da infraestrutura de autenticação e não pode ser resolvida no lado do usuário.

por que você acordou? Isso ocorre porque os registros anteriores continham muitos “maus problemas temporários de dispositivos pessoais” e a IA foi atraída por eles. Além disso, o procedimento para “isolar falhas do lado do serviço” era fraco como conhecimento oficial, por isso não foi classificado como um dos principais candidatos. Além disso, o contexto organizacional de “Os usuários podem redefinir as configurações de NW sem permissão?” não é levado em consideração na resposta.

Exemplo de falha 2: Proposição de violação de regulamentos em aplicativos de software

  • Sintoma: “Quero usar ferramentas de análise”
  • Resposta da IA: “Baixe você mesmo a versão de teste e comece a usá-la.”
  • Na prática: Aquisições, gerenciamento de licenças e triagem de bagagem de mão são essenciais para as organizações.

por que você acordou? Isso ocorre porque os documentos oficiais do fluxo de compras foram enterrados por referência a artigos gerais externos e memorandos pessoais. Este é um exemplo típico de incapacidade de separar “o que pode ser feito” do “que pode ser feito”.

Exemplo de falha 3: mesma pergunta, a resposta muda sempre

  • Sintoma: “Quais são as etapas para configurar o encaminhamento de e-mail?”
  • Resposta da IA: Depende do dia
  • Real: a página de procedimento de operação antiga e a nova página de procedimento coexistem

por que você acordou? Isso ocorre porque não havia metadados indicando a “versão válida” (data de início válida, data de abolição, aprovador) e as respostas variaram nos rankings de busca. Quando e-mails pessoais e trechos de bate-papo são misturados, aumenta a probabilidade de uma explicação informal ter uma classificação mais elevada por acaso.

Então, o que fazer: execute o loop KCS com assistência de IA

A verdadeira solução não é substituir o KCS pela IA. Acelerando KCS com IA.

O que é KCS?

KCS (Knowledge-Centered Service) é um conceito operacional que registra o conhecimento gerado na área de resposta a consultas, reutiliza-o e continua a aprimorá-lo. O importante não é “escrever um documento depois de resolver o problema”, mas incorporar a atualização do conhecimento no ato de resolver o problema em si. A razão pela qual o KCS está sendo reavaliado na era RAG é simples: a qualidade do destino da pesquisa determina em grande parte a qualidade das respostas.

Conto: História antiga, mas eficaz.

KCS é uma ideia que começou em 1992, muito mais antiga que a IA. No entanto, a razão pela qual é actualmente eficaz é porque as questões no terreno não mudaram essencialmente.

  • Há um registro, mas não consigo lê-lo.
  • Existe um documento, mas não conheço a versão oficial.
  • Não atualizado e apodrece

Quando você inclui a geração de IA, essas três coisas tendem a ser amplificadas em vez de desaparecer. É por isso que faz sentido voltar ao molde KCS simples, mas inquebrável, antes de novos recursos chamativos.

Configuração mínima para operação KCS

  • Capturar: Estruture e registre sintomas, causas, contramedidas e condições aplicáveis ​​ao responder a perguntas.
  • Estrutura: Crie um modelo e torne as condições ambientais, faixa-alvo e proibições itens obrigatórios.
  • Reutilizar: Consulte a próxima consulta e apresente a resposta e a URL base como um conjunto
  • Melhorar: Refletindo diferenças na operação real e continuando a corrigir palavras ambíguas e procedimentos antigos

Ciclo de produção: estimulando respostas de IA com conhecimento oficial

No terreno, é realista expandir gradualmente o âmbito de aplicação no próximo ciclo.

  1. O usuário pergunta primeiro à IA
  2. Se a IA não resolver o problema, encaminhe para o Service Desk (SD)
  3. Converta registros de correspondência SD em conhecimento usando modelos adequados para leitura por IA
  4. Adicionar apenas conhecimento oficial aprovado e revisado às fontes de dados de referência de IA
  5. A taxa de resposta primária e a taxa de resposta correta da IA aumentam com perguntas semelhantes

O ponto-chave deste ciclo é o acúmulo de conhecimento que pode ser usado para “aprovação” ou respostas oficiais, em vez de “quantidade”. Faça apenas “informações aprovadas”, e não “informações registradas”, a fonte de dados para IA. Se isso for quebrado, o leque de respostas se expandirá, mas a precisão não.

Áreas que podem ser deixadas para IA

  • Clustering de consultas semelhantes
  • Geração de rascunhos de respostas (com evidências)
  • Aponte os itens ausentes (“SO de destino é desconhecido”, “Os pré-requisitos de autoridade não são declarados”, etc.)
  • Apresentação de candidatos para integração de conhecimento duplicado

Áreas onde os humanos deveriam ser responsáveis

  • Julgamento oficial/informal
  • Aprovação de procedimentos e decisão de aboli-los
  • Permitir tratamento de exceções
  • Gerenciamento de expiração de conhecimento

Mesmo se você tentar deixar isso para a IA, a IA não será capaz de responder adequadamente.

Pontos práticos

Os seguintes pontos devem ser mantidos em mente na prática.

Lado da operação de conhecimento

  • Definir quem irá criar e publicar que tipo de conhecimento oficial e quando, e decidir sobre o esquema de criação e garantia de qualidade.
  • Definir quem pode visualizar o conhecimento e decidir sobre os controles de acesso.

Lado da IA

  • Instrua explicitamente os alunos a fornecer justificativas para suas respostas no prompt.
  • Não permita o uso de fontes não oficiais/não autorizadas na geração de respostas.

Operação aprimorada

  • Determinar os meios para coletar respostas incorretas da IA ​​e incorporar a geração de conhecimento para melhoria nas operações normais.

Esses três pontos podem parecer abstratos, mas fazem diferença quando implementados. As equipes que decidem “quem será o responsável” primeiro melhoram rapidamente, enquanto as equipes que não tomam decisões repetidamente cometem os mesmos erros.

A resposta para “Pode ser substituído?”

Se você me perguntar se uma central de atendimento pode ser 100% substituída por um agente de IA, a resposta atual é “não”. No entanto, se você detalhar os tipos de consultas e estabelecer uma operação que esclareça as responsabilidades do conhecimento, Apresentação de respostas primárias, orientações fixas e procedimentos padrão podem ser totalmente substituídos.

Por outras palavras, o ponto em questão não é a inteligência da IA ​​em si.

  • Quais conhecimentos adotar como oficiais?
  • Quem garante qualidade?
  • Quem vai te impedir quando você cometer um erro?

Somente as organizações que puderem projetar esses três pontos serão capazes de transformar os agentes de IA de “apenas uma ferramenta de bate-papo rápido” em “uma força de negócios”. Por outro lado, uma organização que não tenha uma operação de conhecimento oficial aprovada não será capaz de criar qualidade de service desk, por mais sofisticado que seja o modelo.

resumo

A ideia de que “se você incluir todos os logs, você se tornará mais inteligente” é uma ilusão. A verdadeira razão pela qual a IA da central de serviços está travada não é a quantidade de conhecimento, mas a falta de governança do conhecimento.

O que precisamos fazer agora não é uma grande automação total. Esta é uma operação discreta que usa suporte de IA para executar o ciclo KCS e cultivar dados oficiais.

À medida que as organizações começam a aceitar esta modéstia, a qualidade das suas respostas muda visivelmente. Ao usar IA em uma central de atendimento, a prioridade máxima é sempre a mesma. **Desenvolver continuamente conhecimentos oficiais aprovados e institucionalmente corretos. **

Materiais de referência