Není možné s jistotou říci, že myšlenka ``nahradit primární dotaz/servisní desku AI’’ je nyní běžnou myšlenkou? Ve skutečnosti je jasné, co chci udělat. Chceme zkrátit čekací dobu, snížit zátěž operátorů, snížit počet zaměstnanců a vyrovnat kvalitu odezvy. Proti tomuto účelu není námitek.

Častou chybou je, že jako metoda se často volí ``nech RAG sežrat všechno’’. Osobně jsem testoval konfiguraci, která zadává minulé protokoly, interní wiki a historii chatu najednou, ale to, co jsem získal, nebyla očekávaná efektivita, ale masová produkce zdánlivě nesmyslných odpovědí.

Závěr je jasný. Částečná výměna je možná, ale výměna SD bez návrhu znalostního provozu má vysokou pravděpodobnost selhání. A většina selhání není způsobena chybami při výběru modelu. Kvalita vstupních dat a návrh provozních odpovědností jsou nedostatečné.

V oblasti service desk jsou zároveň vyžadovány správné odpovědi a auditovatelnost. Aby bylo dosaženo obou těchto cílů, jediný způsob, jak dosáhnout obou, je skončit s ``oficiálními znalostmi, které jsou pro organizaci schválené a správné’'.

Nejprve závěr

  • I když zadáte celý minulý protokol, pokud je kvalita nízká, bude jednoduše hledat odpadky vysokou rychlostí a vrátí odpovědi podobné smetí.
  • I když jsou všechny informace v rámci organizace zadány, pokud je hranice mezi formálním a neformálním nejednoznačná, stává se nástrojem pro zdůvodnění nesprávných odpovědí, aniž by se přejímal oficiální kontext nebo pravidla organizace.
  • Struktura, která odpovídá pouze obecně, je proti pravidlům organizace a nelze ji použít v terénu.
  • Skutečným řešením je spustit smyčku KCS (Knowledge-Centered Service) s pomocí AI a objasnit kvalitu referenčního zdroje a odpovědné osoby.
  • Umělá inteligence, která nemůže odkazovat na schválené oficiální znalosti, nemůže být použita ve výrobě servisního pultu.

Proč „zatím všechno dát“ selže?

1. Minulé záznamy korespondence nejsou na prvním místě znalosti.

Mnoho protokolů dotazů je zapsáno pro uzavření tiketů v terénu. I když je to samo o sobě správné pro obchodní účely, často je to nedostatečné jako znovupoužitelné znalosti.

  • Chybí nezbytné informace (použité zařízení, oprávnění, trasa připojení, rozdíl v prostředí).
  • Cílem je dokončit tiket a v krajním případě to může skončit „korespondence dokončena“. Není určeno k opětovnému použití.
  • Směs zkratek a hovorových výrazů a spoléhá se na tiché znalosti odpovědné osoby.
  • Hlavní příčina a dočasné řešení nejsou odděleny.

Pokud je protokol v tomto stavu odeslán do RAG, i když je vyhledávání úspěšné, odpověď nebude přesná. Umělá inteligence totiž může věrohodně doplňovat dokumenty, které jsou nejednoznačné nebo nesrozumitelné, i když je čtou lidé, což vede k vytváření nerealistických klamných odpovědí. To vytváří obtížnou situaci, kdy je odpověď rychlá, ale problém není vyřešen. I když si myslíte, že je výzva špatná a snažíte se ji co nejvíce vyladit, pravděpodobně to skončí marně. Alespoň mně se to stalo.

2. Úplné zadání interních informací způsobí „oficiální rozředění“

Konfigurace, která uživatelům umožňuje číst ,,všechny interní wiki,’’ ,,všechny souborové servery’’ a ,,všechny chat logy’’, je na první pohled komplexní. Ve skutečnosti je to však podobné uspořádání informací s různým stupněm spolehlivosti na stejné vyhledávací obrazovce.

Typicky nastane následující:

  • Úřední postupy (schválené) a osobní poznámky (neschválené) se hledají ve stejném sloupci
  • Zastaralé postupy zůstávají a jsou v rozporu s nejnovějšími postupy
  • Dočasné know-how je chybně uváděno jako trvalý postup
  • Ke změně dojde, pokud je datum a čas aktualizace článku nové, ale obsah je starý.

RAG je dobrý v “hledání dokumentů”. Musí však být vytvořen samostatný systém, který zajistí správnost dokumentu pro organizaci.

3. Zobecnění bez znalosti organizačních pravidel nelze použít, i když jsou správná.

AI s nedostatečnými formálními znalostmi často vrací odpovědi, které jsou technicky správné, ale provozně neproveditelné.

  • Udělte oprávnění místního správce
  • Dočasné uvolnění nastavení zabezpečení
  • Použití externího cloudu dle individuálního uvážení
  • Přímý přístup k mezifunkčním datům

I když AI vrátí obecné řešení, nebude možné jej implementovat, pokud porušuje organizační pravidla. V tuto chvíli by se umělá inteligence service desk mohla dokonce stát zařízením, které ospravedlňuje porušování pravidel. Nelze jej použít jako řešení obchodních problémů.

Příklady poruch, ke kterým dochází na místě

Příklad selhání 1: Nesprávné nasměrování v důsledku selhání připojení VPN

  • Příznak: “Nelze se připojit k VPN z domova”
  • Odpověď AI: “Prosím inicializujte nastavení sítě OS a restartujte.”
  • Skutečné: Příčinou je odvolání certifikátu na straně infrastruktury ověřování a nelze to vyřešit na straně uživatele.

proč ses probudil? Je to proto, že minulé protokoly obsahovaly mnoho „dočasných poruch osobních zařízení“ a umělá inteligence k nim byla přitahována. Navíc postup pro izolování selhání na straně služby'' byl z oficiálních znalostí slabý, takže nebyl hodnocen jako nejlepší kandidát. Kromě toho není v odpovědi zohledněn organizační kontext Je v pořádku, aby uživatelé resetovali nastavení NW bez povolení?’'.

Příklad selhání 2: Navrhování porušení předpisů v softwarové aplikaci

– Příznak: „Chci používat analytické nástroje“

  • Odpověď AI: “Stáhněte si zkušební verzi sami a začněte ji používat.”
  • V praxi: Nákup, správa licencí a příruční kontrola jsou pro organizace zásadní.

proč ses probudil? Důvodem je to, že oficiální dokumenty o toku veřejných zakázek byly pohřbeny odkazem na externí obecné články a osobní poznámky. Toto je typický příklad neschopnosti oddělit ,,co lze udělat’’ od ,,co je v pořádku udělat’'.

Příklad selhání 3: Stejná otázka, odpověď se pokaždé změní

  • Příznak: “Jaké jsou kroky k nastavení přeposílání e-mailů?”
  • Odpověď AI: Záleží na dni
  • Aktuální: Stará stránka s procedurou operace a nová stránka procedury koexistují

proč ses probudil? Důvodem je, že neexistovala žádná metadata označující „platnou verzi“ (platné datum zahájení, datum zrušení, schvalovatel) a odpovědi se lišily v hodnocení vyhledávání. Když se do toho přimíchají osobní e-maily a úryvky z chatu, zvýší se pravděpodobnost, že neformální vysvětlení bude náhodou vyšší.

Co tedy dělat: Spusťte smyčku KCS s pomocí AI

Skutečným řešením není nahradit KCS AI. Urychlení KCS pomocí AI.

Co je KCS?

KCS (Knowledge-Centered Service) je operační koncept, který zaznamenává znalosti generované v oblasti odpovědí na dotazy, znovu je používá a nadále je zlepšuje. Důležité není ``po vyřešení problému napsat dokument’’, ale vložit aktualizaci znalostí do samotného aktu řešení problému. Důvod, proč se KCS v éře RAG přehodnocuje, je jednoduchý: kvalita hledané destinace do značné míry určuje kvalitu odpovědí.

Povídka: Starý příběh, ale efektní.

KCS je myšlenka, která začala v roce 1992, mnohem starší než AI. Důvodem, proč je však v současnosti účinná, je skutečnost, že problémy na místě se v podstatě nezměnily.

  • Existuje protokol, ale nemohu ho přečíst.
  • Existuje dokument, ale neznám oficiální verzi.
  • Není aktualizován a hnije

Když zahrnete generaci AI, tyto tři věci se spíše zesílí, než zmizí. To je důvod, proč má smysl vrátit se k obyčejné, ale nerozbitné formě KCS před okázalými novými funkcemi.

Minimální konfigurace pro provoz KCS

  • “Zachytit”: Strukturujte a zaznamenávejte příznaky, příčiny, protiopatření a použitelné podmínky při odpovídání na dotazy.
  • Struktura: Vytvořte šablonu a nastavte podmínky prostředí, cílový rozsah a zákazy jako povinné položky.
  • Znovu použít: Podívejte se na další dotaz a uveďte odpověď a základní URL jako sadu
  • “Zlepšit”: Odrážení rozdílů ve skutečném provozu a pokračování v opravách nejednoznačných slov a starých postupů

Produkční smyčka: Péče o odpovědi AI s oficiálními znalostmi

V terénu je reálné postupně rozsah použití v další smyčce rozšiřovat.

  1. Uživatel se nejprve zeptá AI
  2. Pokud AI problém nevyřeší, eskalujte na Service Desk (SD)
  3. Převeďte korespondenční záznamy SD na znalosti pomocí šablon vhodných pro čtení pomocí AI
  4. Ke zdrojům referenčních dat AI přidávejte pouze schválené a zkontrolované oficiální znalosti
  5. Míra primárních odpovědí AI a míra správných odpovědí se u podobných dotazů zvyšují

Klíčovým bodem této smyčky je shromažďování znalostí, které lze použít pro „schválení“ nebo oficiální odpovědi, spíše než pro „množství“. Jako zdroj dat pro AI udělejte pouze „schválené informace“, nikoli „zaznamenané informace“. Pokud je toto porušeno, rozsah odpovědí se rozšíří, ale přesnost ne.

Oblasti, které lze přenechat AI

  • Seskupování podobných dotazů
  • Generování návrhů odpovědí (s důkazy)
  • Upozorněte na chybějící položky („Cílový operační systém není znám“, „Předpoklady autority nejsou uvedeny“ atd.)
  • Prezentace kandidátů pro integraci duplicitních znalostí

Oblasti, kde by lidé měli být zodpovědní

  • Oficiální/neformální rozsudek
  • Schválení postupů a rozhodnutí o jejich zrušení
  • Povolit zpracování výjimek
  • Řízení expirace znalostí

I když se to pokusíte nechat na AI, AI nebude schopna správně reagovat.

Praktické body

V praxi je třeba mít na paměti následující body.

Strana znalostní operace

  • Definovat, kdo a kdy bude vytvářet a zveřejňovat jaké oficiální poznatky, a rozhodnout o vytvoření a schématu zajištění kvality.
  • Definujte, kdo může prohlížet znalosti a rozhodovat o řízení přístupu.

Strana AI

  • Explicitně dejte studentům pokyn, aby své odpovědi ve výzvě zdůvodnili.
  • Nedovolte, aby byly při generování odpovědí použity neoficiální/neautorizované zdroje.

Vylepšené ovládání

  • Určete prostředky pro shromažďování nesprávných odpovědí AI a začleňte generování znalostí pro zlepšení do běžných operací.

Tyto tři body se mohou zdát abstraktní, ale při implementaci mají zásadní význam. Týmy, které rozhodují o tom, ``kdo bude odpovědný’’, se nejprve rychle zlepšují, zatímco týmy, které nerozhodují, dělají opakovaně stejné chyby.

Odpověď na otázku „Lze jej nahradit?“

Pokud se mě zeptáte, zda lze servisní desku 100% nahradit agentem AI, aktuální odpověď je „ne“. Pokud však rozeberete typy dotazů a zavedete operaci, která vyjasní znalostní povinnosti, Prezentace primárních odpovědí, pevné pokyny a standardní postupy mohou být plně nahrazeny.

Jinými slovy, sporný bod není inteligence samotné AI.

  • Které znalosti přijmout jako úřední?
  • Kdo garantuje kvalitu?
  • Kdo tě zastaví, když uděláš chybu?

Pouze organizace, které dokážou navrhnout tyto tři body, budou schopny přeměnit agenty umělé inteligence z ,,pouhého nástroje pro rychlý chat’’ na ,,obchodní sílu’’. Naopak organizace, která nemá schválený oficiální znalostní provoz, nebude schopna vytvořit kvalitu service desku, bez ohledu na to, jak sofistikovaný je model.

shrnutí

Představa, že ,,když zahrnete všechny logy, stanete se chytřejšími’’, je iluze. Skutečným důvodem, proč se AI service desk zasekává, není množství znalostí, ale nedostatek řízení znalostí.

To, co nyní musíme udělat, není velká úplná automatizace. Toto je nenáročná operace, která využívá pomoc AI ke spuštění smyčky KCS a kultivaci oficiálních znalostí.

Jakmile organizace začnou tuto skromnost akceptovat, kvalita jejich odpovědí se viditelně změní. Při použití umělé inteligence u servisu je nejvyšší priorita vždy stejná. **Neustále rozvíjet schválené a institucionálně správné úřední znalosti. **

Referenční materiály

– Konsorcium pro inovaci služeb: Historie KCS – Consortium for Service Innovation: KCS v6 Practices Guide – Konsorcium pro inovaci služeb: Dokumentace KCS v6