Đại lý AI hoặc RAG có thể thay thế bàn dịch vụ không? ── Nguyên nhân bế tắc và giải pháp thực tế
Sẽ không an toàn khi nói rằng ý tưởng ``thay thế bàn dịch vụ/trả lời yêu cầu chính bằng AI’’ hiện đã là một ý tưởng phổ biến? Trên thực tế, những gì tôi muốn làm là rõ ràng. Chúng tôi muốn giảm thời gian chờ đợi, giảm gánh nặng cho người vận hành, giảm nhân sự và nâng cao chất lượng phản hồi. Không có sự phản đối đối với mục đích này.
Một sai lầm phổ biến là phương pháp ``để RAG ăn hết’’ thường được chọn làm phương pháp. Cá nhân tôi đã thử nghiệm một cấu hình nhập tất cả các nhật ký trước đây, wiki nội bộ và lịch sử trò chuyện cùng một lúc, nhưng những gì tôi nhận được không phải là hiệu quả như mong đợi mà là sản xuất hàng loạt các câu trả lời dường như rác rưởi.
Kết luận là rõ ràng. Có thể thay thế một phần, nhưng thay thế SD mà không thiết kế hoạt động kiến thức có khả năng thất bại cao. Và phần lớn những thất bại không phải do lỗi chọn mẫu. Chất lượng của dữ liệu đầu vào và việc thiết kế các trách nhiệm vận hành còn chưa đầy đủ.
Trong lĩnh vực bàn dịch vụ, cần phải có câu trả lời chính xác và khả năng kiểm tra cùng một lúc. Để đạt được cả hai mục tiêu này, cách duy nhất để đạt được cả hai là đạt được “kiến thức chính thức được phê duyệt và đúng đắn cho tổ chức”.
##Kết luận đầu tiên
- Ngay cả khi bạn nhập toàn bộ nhật ký trước đây, nếu chất lượng thấp, nó sẽ chỉ tìm kiếm rác ở tốc độ cao và trả về các câu trả lời giống như rác.
- Ngay cả khi tất cả thông tin trong tổ chức đều là đầu vào, nếu ranh giới giữa chính thức và không chính thức không rõ ràng, nó sẽ trở thành một công cụ để biện minh cho những câu trả lời sai mà không cần giả định bối cảnh hoặc quy tắc chính thức của tổ chức.
- Cấu trúc chỉ trả lời chung chung là vi phạm nội quy của tổ chức và không được sử dụng tại hiện trường.
- Giải pháp thực sự là chạy vòng lặp KCS (Dịch vụ lấy tri thức làm trung tâm) với sự hỗ trợ của AI và làm rõ chất lượng của nguồn tham chiếu cũng như người chịu trách nhiệm.
- AI không tham khảo được kiến thức chính thức đã được phê duyệt thì không được sử dụng trong sản xuất bàn dịch vụ.
Tại sao “đặt mọi thứ vào lúc này” lại thất bại?
1. Nhật ký trao đổi thư từ trong quá khứ ngay từ đầu không phải là kiến thức.
Nhiều nhật ký yêu cầu được viết để đóng yêu cầu trong trường. Mặc dù bản thân điều này là đúng cho mục đích kinh doanh nhưng nó thường không đủ để coi là kiến thức có thể tái sử dụng.
- Thiếu thông tin tiên quyết (thiết bị được sử dụng, quyền hạn, tuyến kết nối, sự khác biệt về môi trường).
- Mục tiêu là hoàn thành phiếu và trong trường hợp nghiêm trọng, nó có thể kết thúc bằng “thư từ đã hoàn thành”. Không dành cho việc tái sử dụng.
- Có sự kết hợp giữa chữ viết tắt và từ thông tục, dựa trên sự hiểu biết ngầm của người phụ trách.
- Nguyên nhân gốc rễ và cách giải quyết tạm thời không tách rời nhau.
Nếu nhật ký ở trạng thái này được gửi tới RAG thì ngay cả khi tìm kiếm thành công thì câu trả lời cũng sẽ không chính xác. Điều này là do AI có thể bổ sung một cách hợp lý các tài liệu mơ hồ hoặc khó hiểu ngay cả khi con người đọc, dẫn đến việc tạo ra các câu trả lời ảo tưởng phi thực tế. Điều này tạo ra một tình huống rắc rối là câu trả lời nhanh chóng nhưng vấn đề không được giải quyết. Ngay cả khi bạn cho rằng lời nhắc không tốt và cố gắng điều chỉnh nó hết mức có thể, nó có thể sẽ vô ích. Ít nhất nó đã xảy ra với tôi.
2. Nhập đầy đủ thông tin nội bộ gây “pha loãng chính thức”
Cấu hình cho phép người dùng đọc tất cả các wiki nội bộ'', tất cả các máy chủ tập tin’’ và ``tất cả nhật ký trò chuyện’’ thoạt nhìn là toàn diện.
Tuy nhiên, trên thực tế, điều này cũng tương tự như việc sắp xếp các thông tin có độ tin cậy khác nhau trên cùng một màn hình tìm kiếm.
Thông thường xảy ra những trường hợp sau:
- Thủ tục chính thức (đã được phê duyệt) và ghi chú cá nhân (chưa được phê duyệt) được tra cứu trong cùng một cột
- Các thủ tục lỗi thời còn tồn tại và xung đột với các thủ tục mới nhất
- Bí quyết tạm thời bị trích dẫn sai thành thủ tục lâu dài
- Đảo ngược xảy ra khi ngày giờ cập nhật bài viết mới nhưng nội dung đã cũ.
RAG rất giỏi trong việc “tìm tài liệu”. Tuy nhiên, phải tạo ra một hệ thống riêng để đảm bảo tài liệu phù hợp với tổ chức.
3. Nói chung mà không biết các quy tắc tổ chức thì không thể sử dụng được ngay cả khi chúng đúng.
AI không có đủ kiến thức chính thức thường trả về các câu trả lời đúng về mặt kỹ thuật nhưng không khả thi về mặt vận hành.
- Cấp đặc quyền quản trị viên địa phương
- Tạm thời nới lỏng các cài đặt bảo mật
- Sử dụng đám mây bên ngoài theo quyết định cá nhân
- Truy cập trực tiếp vào dữ liệu đa chức năng
Ngay cả khi AI trả về một giải pháp chung, nó sẽ không thể thực hiện được nếu vi phạm các quy tắc của tổ chức. Tại thời điểm này, AI của bàn dịch vụ thậm chí có thể trở thành một thiết bị biện minh cho việc phá vỡ quy tắc. Nó không thể được sử dụng như một giải pháp cho các vấn đề kinh doanh.
Ví dụ về các lỗi xảy ra trên trang web
Ví dụ lỗi 1: Định hướng sai do kết nối VPN không thành công
- Triệu chứng: “Không thể kết nối với VPN từ nhà”
- AI trả lời: “Vui lòng khởi tạo cài đặt mạng hệ điều hành và khởi động lại.”
- Thực tế: Nguyên nhân là do phía cơ sở hạ tầng xác thực bị thu hồi chứng chỉ, không thể giải quyết được từ phía người dùng.
tại sao bạn thức dậy? Điều này là do nhật ký trước đây có nhiều “trục trặc tạm thời của thiết bị cá nhân” và AI đã bị thu hút bởi chúng. Hơn nữa, quy trình “cách ly các hư hỏng phía dịch vụ” còn yếu kém theo kiến thức chính thức nên không được xếp hạng là ứng cử viên hàng đầu. Ngoài ra, bối cảnh tổ chức của “Người dùng có thể đặt lại cài đặt NW mà không được phép không?” không được đưa vào câu trả lời.
Ví dụ lỗi 2: Đề xuất vi phạm quy định trong ứng dụng phần mềm
- Triệu chứng: “Tôi muốn sử dụng công cụ phân tích”
- AI trả lời: “Hãy tải bản dùng thử về và bắt đầu sử dụng.”
- Trong thực tế: Việc mua sắm, quản lý giấy phép và sàng lọc hành lý mang theo là rất cần thiết đối với các tổ chức.
tại sao bạn thức dậy? Điều này là do các tài liệu về quy trình mua sắm chính thức đã bị chôn vùi bằng cách tham khảo các bài viết chung bên ngoài và các bản ghi nhớ cá nhân. Đây là một ví dụ điển hình về việc không thể tách biệt “điều gì có thể làm được” với “điều gì có thể làm được”.
Ví dụ thất bại 3: Cùng một câu hỏi, câu trả lời luôn thay đổi
- Triệu chứng: “Các bước thiết lập chuyển tiếp email là gì?”
- Trả lời AI: Tùy theo ngày
- Thực tế: Trang quy trình thao tác cũ và trang quy trình thao tác mới cùng tồn tại
tại sao bạn thức dậy? Điều này là do không có siêu dữ liệu nào cho biết “phiên bản hợp lệ” (ngày bắt đầu hợp lệ, ngày bãi bỏ, người phê duyệt) và các câu trả lời khác nhau trong bảng xếp hạng tìm kiếm. Khi email cá nhân và đoạn trò chuyện được trộn lẫn vào nhau, khả năng một lời giải thích không chính thức sẽ được xếp hạng cao hơn sẽ tăng lên.
Vậy phải làm gì: Chạy vòng lặp KCS với sự hỗ trợ của AI
Giải pháp thực sự không phải là thay thế KCS bằng AI. Tăng tốc KCS bằng AI.
###KCS là gì?
KCS (Dịch vụ lấy tri thức làm trung tâm) là một khái niệm hoạt động ghi lại kiến thức được tạo ra trong lĩnh vực phản hồi truy vấn, tái sử dụng và tiếp tục cải thiện kiến thức đó. Điều quan trọng không phải là “viết một tài liệu sau khi giải quyết vấn đề” mà là đưa kiến thức cập nhật vào chính hành động giải quyết vấn đề đó. Lý do khiến KCS được đánh giá lại trong kỷ nguyên RAG rất đơn giản: chất lượng của đích tìm kiếm quyết định phần lớn chất lượng của câu trả lời.
Truyện ngắn: Chuyện cũ nhưng hiệu quả.
KCS là một ý tưởng bắt đầu từ năm 1992, lâu đời hơn AI rất nhiều. Tuy nhiên, lý do nó hiện có hiệu lực là vì các vấn đề thực tế về cơ bản không có gì thay đổi.
- Có nhật ký nhưng tôi không đọc được.
- Có tài liệu nhưng tôi không biết bản chính thức.
- Không cập nhật và thối
Khi bạn đưa thế hệ AI vào, ba thứ này có xu hướng được khuếch đại hơn là biến mất. Đó là lý do tại sao việc quay trở lại khuôn mẫu KCS đơn giản nhưng không thể phá vỡ trước các tính năng mới hào nhoáng là điều hợp lý.
Cấu hình tối thiểu để vận hành KCS
Nắm bắt: Cấu trúc và ghi lại các triệu chứng, nguyên nhân, biện pháp đối phó và các điều kiện áp dụng khi trả lời các câu hỏi.Cấu trúc: Tạo mẫu và đặt các điều kiện môi trường, phạm vi mục tiêu và các mục bắt buộc bị cấm.Tái sử dụng: Tham khảo câu hỏi tiếp theo và trình bày câu trả lời cùng URL cơ sở dưới dạng một bộCải tiến: Phản ánh sự khác biệt trong thực tế hoạt động và tiếp tục sửa chữa những từ ngữ mơ hồ, quy trình cũ
Vòng lặp sản xuất: Nuôi dưỡng câu trả lời AI bằng kiến thức chính thức
Trong thực tế, việc mở rộng dần phạm vi ứng dụng trong vòng tiếp theo là thực tế.
- Người dùng hỏi AI trước
- Nếu AI không giải quyết được vấn đề, hãy chuyển lên Bộ phận Dịch vụ (SD)
- Chuyển đổi các bản ghi thư từ SD thành kiến thức bằng các mẫu phù hợp để AI đọc
- Chỉ thêm kiến thức chính thức đã được phê duyệt và xem xét vào nguồn dữ liệu tham chiếu AI
- Tỷ lệ phản hồi chính và tỷ lệ trả lời đúng của AI tăng lên với các câu hỏi tương tự
Điểm mấu chốt của vòng lặp này là sự tích lũy kiến thức có thể được sử dụng để “phê duyệt” hoặc câu trả lời chính thức, thay vì “số lượng”. Chỉ tạo “thông tin đã được phê duyệt” chứ không phải “thông tin được ghi lại” làm nguồn dữ liệu cho AI. Nếu điều này bị phá vỡ, phạm vi câu trả lời sẽ mở rộng nhưng độ chính xác thì không.
Những lĩnh vực có thể giao phó cho AI
- Phân cụm các truy vấn tương tự
- Tạo câu trả lời dự thảo (có bằng chứng)
- Chỉ ra các mục còn thiếu (“Không xác định được hệ điều hành mục tiêu”, “Chưa nêu rõ các điều kiện tiên quyết về thẩm quyền”, v.v.)
- Trình bày của thí sinh về tích hợp kiến thức trùng lặp
Những lĩnh vực mà con người phải chịu trách nhiệm
- Phán quyết chính thức/không chính thức
- Phê duyệt thủ tục và quyết định bãi bỏ
- Cho phép xử lý ngoại lệ
- Quản lý hết hạn kiến thức
Ngay cả khi bạn cố gắng giao việc này cho AI, AI sẽ không thể phản hồi chính xác.
Điểm thực tế
Những điểm sau đây cần được ghi nhớ trong thực tế.
Mặt vận hành tri thức
- Xác định ai sẽ tạo ra và xuất bản loại kiến thức chính thức nào và khi nào, quyết định kế hoạch tạo ra và đảm bảo chất lượng.
- Xác định ai có thể xem kiến thức và quyết định kiểm soát truy cập.
Bên AI
- Hướng dẫn học sinh nêu lí do trả lời một cách rõ ràng.
- Không cho phép sử dụng các nguồn không chính thức/trái phép để tạo câu trả lời.
Cải thiện hoạt động
- Xác định phương pháp thu thập các câu trả lời sai của AI và kết hợp việc tạo ra kiến thức để cải tiến vào hoạt động thông thường.
Ba điểm này có vẻ trừu tượng nhưng chúng tạo ra sự khác biệt khi thực hiện. Những đội quyết định “ai sẽ chịu trách nhiệm” trước tiên sẽ tiến bộ nhanh chóng, trong khi những đội không đưa ra quyết định liên tục mắc phải những sai lầm tương tự.
Câu trả lời cho “Nó có thể thay thế được không?”
Nếu bạn hỏi tôi liệu bàn dịch vụ có thể được thay thế 100% bởi tác nhân AI hay không, câu trả lời hiện tại là “không”. Tuy nhiên, nếu bạn chia nhỏ các loại câu hỏi và thiết lập một hoạt động làm rõ trách nhiệm về kiến thức, Việc trình bày các câu trả lời chính, hướng dẫn cố định và quy trình chuẩn có thể được thay thế hoàn toàn.
Nói cách khác, vấn đề không phải là trí thông minh của AI.
- Những kiến thức nào được áp dụng làm chính thức?
- Ai đảm bảo chất lượng?
- Ai sẽ ngăn cản bạn khi bạn mắc lỗi?
Chỉ những tổ chức có thể thiết kế được ba điểm này mới có thể biến các tác nhân AI từ “chỉ là một công cụ trò chuyện nhanh” thành “lực lượng kinh doanh”. Ngược lại, một tổ chức không có hoạt động tri thức chính thức được phê duyệt sẽ không thể tạo ra chất lượng của bàn dịch vụ, cho dù mô hình có phức tạp đến đâu.
bản tóm tắt
Ý tưởng “nếu bạn ghi lại tất cả nhật ký, bạn sẽ trở nên thông minh hơn” là một ảo tưởng. Lý do thực sự khiến AI bàn dịch vụ bị mắc kẹt không phải là lượng kiến thức mà là do thiếu khả năng quản trị kiến thức.
Những gì chúng ta cần làm bây giờ không phải là tự động hóa hoàn toàn. Đây là hoạt động đơn giản sử dụng sự hỗ trợ của AI để chạy vòng lặp KCS và trau dồi kiến thức chính thức.
Khi các tổ chức bắt đầu chấp nhận sự khiêm tốn này, chất lượng phản hồi của họ sẽ thay đổi rõ ràng. Khi sử dụng AI tại bàn dịch vụ, ưu tiên hàng đầu luôn giống nhau. **Liên tục phát triển kiến thức chính thức đã được phê duyệt và chính xác về mặt thể chế. **