Agenții AI sau RAG pot înlocui birourile de service? ── Motive pentru a rămâne blocat și soluții reale
Nu este sigur să spunem că ideea ``înlocuirii biroului de răspuns/service la întrebările primare cu AI’’ este acum o idee comună? De fapt, ceea ce vreau să fac este clar. Dorim să reducem timpul de așteptare, să reducem sarcina operatorului, să reducem personalul și să nivelăm calitatea răspunsului. Nu există nicio obiecție la acest scop.
O greșeală comună este aceea că ``lăsați RAG să mănânce totul’’ este adesea ales ca metodă. Am testat personal o configurație care introduce jurnalele anterioare, wiki-urile interne și istoricul chat-urilor dintr-o dată, dar ceea ce am obținut nu a fost eficiența așteptată, ci o producție în masă de răspunsuri aparent gunoaie.
Concluzia este clară. Înlocuirea parțială este posibilă, dar înlocuirea SD fără proiectarea operațiunii de cunoștințe are o probabilitate mare de eșec. Și majoritatea eșecurilor nu se datorează erorilor de selecție a modelului. Calitatea datelor de intrare și proiectarea responsabilităților operaționale sunt inadecvate.
În domeniul service desk, sunt necesare răspunsuri corecte și auditabilitate în același timp. Pentru a atinge ambele obiective, singura modalitate de a le atinge pe ambele este să ajungeți la „cunoștințe oficiale care sunt aprobate și corecte pentru organizație”.
Concluzia mai întâi
- Chiar dacă introduceți întregul jurnal din trecut, dacă calitatea este scăzută, va căuta pur și simplu gunoi la viteză mare și va returna răspunsuri asemănătoare gunoiului.
- Chiar dacă toate informațiile din cadrul organizației sunt introduse, dacă granița dintre formal și informal este ambiguă, aceasta devine un dispozitiv de justificare a răspunsurilor incorecte fără a presupune contextul sau regulile oficiale ale organizației.
- O structura care raspunde doar in termeni generali este impotriva regulilor organizatiei si nu poate fi folosita in domeniu.
- Soluția reală este de a rula o buclă KCS (Knowledge-Centered Service) cu asistență AI și de a clarifica calitatea sursei de referință și a persoanei responsabile.
- AI care nu se poate referi la cunoștințe oficiale aprobate nu poate fi utilizată în producția de birouri de service.
De ce eșuează „pune totul pentru moment”?
1. Jurnalele de corespondență anterioare nu sunt cunoștințe în primul rând.
Multe jurnale de întrebări sunt scrise pentru a închide biletele pe teren. În timp ce acest lucru în sine este corect în scopuri comerciale, este adesea insuficient ca cunoştinţe reutilizabile.
- Lipsesc informații despre cerințele preliminare (dispozitiv utilizat, autoritate, cale de conectare, diferență de mediu).
- Scopul este completarea biletului, iar în cazuri extreme se poate termina cu „corespondență finalizată”. Nu este destinat reutilizarii.
- Un amestec de abrevieri și colocviali, și se bazează pe cunoștințele tacite ale persoanei responsabile.
- Cauza principală și soluția intermediară nu sunt separate.
Dacă un jurnal în această stare este trimis către RAG, chiar dacă căutarea are succes, răspunsul nu va fi corect. Acest lucru se datorează faptului că AI poate completa în mod plauzibil documentele care sunt ambigue sau de neînțeles chiar și atunci când sunt citite de oameni, ceea ce duce la crearea de răspunsuri delirante nerealiste. Acest lucru creează o situație supărătoare în care răspunsul este rapid, dar problema nu este rezolvată. Chiar dacă credeți că promptul este rău și încercați să îl reglați cât mai tare puteți, probabil că va ajunge în zadar. Cel puțin mi s-a întâmplat.
2. Introducerea completă a informațiilor interne cauzează „diluare oficială”
Configurația care permite utilizatorilor să citească toate wiki-urile interne'' toate serverele de fișiere’’ și ``toate jurnalele de chat’’ este cuprinzătoare la prima vedere.
Cu toate acestea, în realitate, acest lucru este similar cu aranjarea informațiilor cu grade diferite de fiabilitate pe același ecran de căutare.
De obicei, apar următoarele:
- Procedurile oficiale (aprobate) și notele personale (neaprobate) sunt căutate în aceeași coloană
- Procedurile învechite rămân și intră în conflict cu cele mai recente proceduri
- Know-how-ul temporar este cotat greșit ca procedură permanentă
- O inversare are loc atunci când data și ora actualizării articolului sunt noi, dar conținutul este vechi.
RAG se pricepe la „găsește documente”. Cu toate acestea, trebuie creat un sistem separat pentru a se asigura că documentul este corect pentru organizație.
3. Generalizările fără cunoașterea regulilor organizaționale nu pot fi folosite chiar dacă sunt corecte.
AI cu cunoștințe formale insuficiente returnează adesea răspunsuri care sunt corecte din punct de vedere tehnic, dar nu sunt fezabile din punct de vedere operațional.
- Acordați privilegii de administrator local
- Relaxarea temporară a setărilor de securitate
- Utilizarea cloudului extern la discreția individuală
- Acces direct la datele interfuncționale
Chiar dacă AI-ul returnează o soluție generală, va fi imposibil de implementat dacă încalcă regulile organizaționale. În acest moment, service desk AI ar putea deveni chiar un dispozitiv care justifică încălcarea regulilor. Nu poate fi folosit ca o soluție la problemele de afaceri.
Exemple de defecțiuni care apar pe șantier
Exemplu de eșec 1: direcționare greșită din cauza eșecului conexiunii VPN
- Simptom: „Nu se poate conecta la VPN de acasă”
- Răspuns AI: „Vă rugăm să inițializați setările de rețea a sistemului de operare și să reporniți.”
- Actual: cauza este revocarea certificatului din partea infrastructurii de autentificare și nu poate fi rezolvată din partea utilizatorului.
de ce te-ai trezit? Acest lucru se datorează faptului că jurnalele din trecut conțineau multe „defecțiuni temporare ale dispozitivelor personale”, iar AI a fost atrasă de ele. În plus, procedura de „izolare a defecțiunilor din partea de serviciu” a fost slabă după cunoștințele oficiale, așa că nu a fost clasată ca un candidat de top. În plus, contextul organizațional „Este în regulă ca utilizatorii să resetați setările NW fără permisiune?” nu este luat în considerare în răspuns.
Exemplul de eșec 2: Propunerea de încălcare a reglementărilor în aplicația software
- Simptom: „Vreau să folosesc instrumente de analiză”
- Răspuns AI: „Descărcați singur versiunea de probă și începeți să o utilizați.”
- In practice: Procurement, license management, and carry-on screening are essential for organizations.
de ce te-ai trezit? Acest lucru se datorează faptului că documentele oficiale privind fluxul de achiziții au fost îngropate prin referire la articole generale externe și memorii personale. Acesta este un exemplu tipic de a nu putea separa „ceea ce se poate face” de „ce este bine de făcut”.
Exemplul de eșec 3: Aceeași întrebare, răspunsul se schimbă de fiecare dată
- Simptom: „Care sunt pașii pentru a configura redirecționarea e-mailurilor?”
- Răspuns AI: Depinde de zi
- Actual: pagina veche a procedurii de operare și pagina nouă a procedurii coexistă
de ce te-ai trezit? Acest lucru se datorează faptului că nu existau metadate care să indice „versiunea validă” (data de începere validă, data desființării, aprobare), iar răspunsurile au variat în clasamentul căutării. Atunci când e-mailurile personale și fragmentele de chat sunt amestecate, probabilitatea ca o explicație informală să fie mai ridicată din întâmplare crește.
Deci, ce trebuie să faceți: rulați bucla KCS cu asistență AI
Soluția reală nu este înlocuirea KCS cu AI. Accelerarea KCS cu AI.
Ce este KCS?
KCS (Knowledge-Centered Service) este un concept operațional care înregistrează cunoștințele generate în domeniul răspunsului la întrebări, le reutiliza și continuă să le îmbunătățească. Lucrul important nu este să „scrieți un document după rezolvarea problemei”, ci să încorporați actualizarea cunoștințelor în actul de rezolvare a problemei în sine. Motivul pentru care KCS este reevaluat în era RAG este simplu: calitatea destinației căutării determină în mare măsură calitatea răspunsurilor.
Nuvelă: Povestea veche, dar eficientă.
KCS este o idee care a început în 1992, mult mai veche decât AI. Cu toate acestea, motivul pentru care este eficient în prezent este că problemele de pe teren nu s-au schimbat în esență.
- Există un jurnal, dar nu îl pot citi.
- Există un document, dar nu cunosc versiunea oficială.
- Nu este actualizat și putrezește
Când includeți generația AI, aceste trei lucruri tind să fie amplificate mai degrabă decât să dispară. De aceea, este logic să ne întoarcem la modelul KCS simplu, dar indestructibil, înainte de noile funcții strălucitoare.
Configurație minimă pentru funcționarea KCS
- „Captură”: Structurați și înregistrați simptomele, cauzele, contramăsurile și condițiile aplicabile atunci când răspundeți la întrebări.
Structură: Creați un șablon și faceți elemente obligatorii ale condițiilor de mediu, domeniul țintă și interdicțiile.Reutilizare: Consultați următoarea întrebare și prezentați răspunsul și adresa URL de bază ca un set- „Îmbunătățire”: reflectând diferențele în funcționarea reală și continuând corectarea cuvintelor ambigue și a procedurilor vechi
Bucla de producție: Hrănirea răspunsurilor AI cu cunoștințe oficiale
În teren, este realist să extindem treptat domeniul de aplicare în bucla următoare.
- Utilizatorul întreabă mai întâi AI
- Dacă AI nu rezolvă problema, treceți la Service Desk (SD)
- Convertiți înregistrările de corespondență SD în cunoștințe folosind șabloane potrivite pentru citire prin AI
- Adăugați numai cunoștințe oficiale aprobate și revizuite la sursele de date de referință AI
- Rata de răspuns primară a AI și rata de răspuns corect cresc cu întrebări similare
Punctul cheie al acestei bucle este acumularea de cunoștințe care pot fi folosite pentru „aprobare” sau răspunsuri oficiale, mai degrabă decât „cantitate”. Faceți doar „informații aprobate”, nu „informații înregistrate”, sursa de date pentru AI. Dacă aceasta este întreruptă, gama de răspunsuri se va extinde, dar acuratețea nu se va extinde.
Zone care pot fi lăsate în seama AI
- Clustering de interogări similare
- Generarea de răspunsuri preliminare (cu dovezi)
- Subliniați elementele care lipsesc („SO-ul țintă este necunoscut”, „Condițiile preliminare de autoritate nu sunt precizate”, etc.)
- Prezentarea candidaților pentru integrarea cunoștințelor duplicate
Zone în care oamenii ar trebui să fie responsabili
- Judecata oficiala/informala
- Aprobarea procedurilor și decizia de desființare a acestora
- Permite gestionarea excepțiilor
- Gestionarea expirării cunoștințelor
Chiar dacă încercați să lăsați acest lucru în seama AI, AI nu va putea răspunde corect.
Puncte practice
Următoarele puncte trebuie reținute în practică.
Partea operațiunii de cunoștințe
- Definiți cine va crea și publica ce fel de cunoștințe oficiale și când și decide cu privire la crearea și schema de asigurare a calității.
- Definiți cine poate vedea cunoștințele și decide asupra controalelor de acces.
Partea AI
- Instruiți în mod explicit elevii să furnizeze argumente pentru răspunsurile lor în prompt.
- Nu permiteți utilizarea surselor neoficiale/neautorizate în generarea răspunsurilor.
Funcționare îmbunătățită
- Determinați mijloacele de colectare a răspunsurilor incorecte ale AI și de a încorpora generarea de cunoștințe pentru îmbunătățire în operațiunile normale.
Aceste trei puncte pot părea abstracte, dar fac diferența atunci când sunt implementate. Echipele care decid „cine va fi responsabil” mai întâi se îmbunătățesc rapid, în timp ce echipele care nu iau decizii fac în mod repetat aceleași greșeli.
Răspunsul la „Poate fi înlocuit?”
Dacă mă întrebați dacă un service desk poate fi înlocuit 100% de un agent AI, răspunsul actual este „nu”. Cu toate acestea, dacă defalcați tipurile de întrebări și stabiliți o operațiune care clarifică responsabilitățile de cunoștințe, Prezentarea răspunsurilor principale, îndrumările fixe și procedurile standard pot fi complet înlocuite.
Cu alte cuvinte, punctul în discuție nu este inteligența AI în sine.
- Ce cunoștințe să adoptați ca oficial?
- Cine garantează calitatea?
- Cine te va opri când faci o greșeală?
Doar organizațiile care pot proiecta aceste trei puncte vor putea transforma agenții AI din „doar un instrument rapid de chat” în „o forță de afaceri”. Dimpotrivă, o organizație care nu are o operațiune oficială de cunoștințe aprobată nu va putea crea calitate service desk, indiferent cât de sofisticat ar fi modelul.
rezumat
Ideea că ``dacă incluzi toate jurnalele, vei deveni mai inteligent’’ este o iluzie. Adevăratul motiv pentru care AI de la service desk este blocat nu este cantitatea de cunoștințe, ci lipsa de guvernare a cunoștințelor.
Ceea ce trebuie să facem acum nu este automatizarea totală. Aceasta este o operațiune simplă care utilizează asistența AI pentru a rula bucla KCS și a cultiva cunoștințele oficiale.
Pe măsură ce organizațiile încep să accepte această modestie, calitatea răspunsurilor lor se schimbă vizibil. Când utilizați AI la un birou de service, prioritatea principală este întotdeauna aceeași. ** Dezvoltați în mod continuu cunoștințe oficiale aprobate și corecte din punct de vedere instituțional. **