CTI論壇(ctiforum.com)（編譯/老秦）：自動(dòng)化和人工智能在數字參與計劃中使用時(shí)提供了驚人的好處。我們繼續看到機器人和自動(dòng)化在聊天、消息傳遞、語(yǔ)音甚至社交對話(huà)程序中的廣泛使用。 Insider Intelligence 預測，到 2024 年，全球消費者通過(guò)聊天機器人進(jìn)行的零售支出將達到 1420 億美元，高于 2019 年的 28 億美元。
在 LivePerson，我們已經(jīng)看到 Conversational Cloud 上超過(guò) 70% 的對話(huà)使用某種類(lèi)型的自動(dòng)化，這一趨勢沒(méi)有放緩的跡象。這意味著(zhù)我們需要正確評估聊天機器人的成功，但這并不總是意味著(zhù)依賴(lài)熟悉的關(guān)鍵績(jì)效指標 (KPIs)。
當聯(lián)絡(luò )中心新的人工座席走上工作崗位時(shí)，我們不會(huì )立即讓他們與客戶(hù)交互。他們經(jīng)過(guò)培訓和管理，機器人應該受到同樣的禮遇，無(wú)論它們是用于簡(jiǎn)單的任務(wù)--路由到人工座席或收集信息--還是用于復雜的任務(wù)--銷(xiāo)售烤架或處理保險索賠。與人類(lèi)一樣，機器人需要在其一生中受到監控、培養和培訓。
這意味著(zhù)使用為他們設計的指標來(lái)衡量聊天機器人的性能。我經(jīng)常聽(tīng)到領(lǐng)導者使用諸如遏制、滿(mǎn)意度（CSAT 或 NPS）和情緒之類(lèi)的 KPIs。
問(wèn)題？這些傳統的測量方法是行不通的。原因如下：
我們經(jīng)常看到機器人像這樣失敗的例子。機器人響應遵循特定的腳本，不能總是對消費者做出反應，從而導致負面互動(dòng)。您可能認為這些問(wèn)題可以通過(guò)傳統指標來(lái)識別，但事實(shí)并非如此。
使用以下 KPIs 對聊天機器人進(jìn)行分析所產(chǎn)生的問(wèn)題：
遏制對話(huà)統計
如果品牌座席是機器人，并且沒(méi)有人工座席參與對話(huà)，則認為用戶(hù)交互是包含的。問(wèn)題是這個(gè) KPI 沒(méi)有考慮解決結果。因此，雖然上面的示例完全被機器人包含，但顯然沒(méi)有解決問(wèn)題。
許多自動(dòng)化程序旨在防止消費者接觸到在線(xiàn)座席。在這些情況下，遏制可能是衡量品牌成功的一個(gè)很好的衡量標準，但并不能真正反映消費者的體驗。
客戶(hù)滿(mǎn)意度調查
客戶(hù)滿(mǎn)意度 (CSAT) 和凈推薦值 (NPS) 是流行的聊天機器人性能指標。但是，收集該數據可能是一個(gè)有缺陷的過(guò)程，因為它通常需要客戶(hù)完成調查。在上述示例的交互中，客戶(hù)從未收到調查，因為對話(huà)在技術(shù)上尚未完成。此外，Delighted 告訴我們，"根據使用的渠道，2021 年客戶(hù)調查的平均響應率在 6% 到 16% 之間。"在這些比率下，數據就不可能可靠或具有代表性。
此外，如果對話(huà)從機器人升級為人工座席，則調查結果可能會(huì )因人工交互而產(chǎn)生偏差。如果調查回復基于此，而不是完全基于聊天機器人用戶(hù)的體驗，則數據再次變得不可靠。
衡量客戶(hù)滿(mǎn)意度和情緒的情緒
LivePerson 有一種情緒評分算法，稱(chēng)為有意義的對話(huà)評分 (MCS)。衡量情緒的好處在于它適用于客戶(hù)發(fā)送的每條消息，并且不依賴(lài)于調查、機器人與人工座席或座席行為。這使其成為一種有效的對話(huà)分析工具，可根據所使用的語(yǔ)言幫助識別消費者在整個(gè)對話(huà)過(guò)程中的情緒。
不幸的是，情緒分析無(wú)法在自動(dòng)機器人響應中準確識別客戶(hù)情緒。
在我們的示例中，客戶(hù)的文本變得簡(jiǎn)短（通常是一個(gè)詞）并且情緒中立。即使是負面陳述--"這是一個(gè)笑話(huà)"--也可以被情緒引擎正面或負面地解釋。機器人設計還通常在腳本中使用引導流程，其中機器人為客戶(hù)提供了一組選項。因此，當通過(guò)單擊按鈕獲得響應時(shí)，情緒將始終是中性的。基本上，人們的文本與機器人不同，具有簡(jiǎn)短、中性的情緒響應，使得情緒分析成為衡量機器人性能的不完整指標。
聊天機器人客戶(hù)旅程中的傳輸率
這是指實(shí)時(shí)座席參與的頻率，這是用于聊天機器人分析的常見(jiàn) KPI。但這種測量存在三個(gè)挑戰：
- 放棄的對話(huà)（如我們上面的示例）不會(huì )反映在傳輸率分數中，因為現場(chǎng)座席從未參與其中。
- 轉移是某些機器人的目標。
- 此測量也沒(méi)有考慮客戶(hù)要求人工座席開(kāi)始對話(huà)，這反映了客戶(hù)的心態(tài)而不是聊天機器人的有效性，并且不準確地夸大了負面測量。
例如，路由機器人應該有 100% 的傳輸率，而面向任務(wù)的機器人（即我的訂單狀態(tài)是什么）應該有一個(gè)顯著(zhù)較低的傳輸率。像這樣的聊天機器人指標要求我們單獨測量每個(gè)機器人以獲得最有價(jià)值的洞察力，這是管理大型自動(dòng)化程序時(shí)的一個(gè)繁瑣過(guò)程。
重新定義聊天機器人指標以更好地衡量和提供出色的客戶(hù)支持
我們衡量對話(huà)互動(dòng)方式的這種轉變并不是什么新鮮事。在異步消息傳遞的早期，我們不得不重新定義衡量聯(lián)絡(luò )中心座席的方式，因為平均處理時(shí)間和并發(fā)性等傳統指標已經(jīng)過(guò)時(shí)。現在，隨著(zhù)我們被鎖定在人工智能和自動(dòng)化的世界中，并且更多地依賴(lài)機器人來(lái)支持消費者參與計劃，我們需要再次重新定義我們衡量成功的方式--因為傳統的指標不再起作用了。
聲明：版權所有 非合作媒體謝絕轉載
作者：Chris Radanovic
原文網(wǎng)址：https://www.liveperson.com/blog/chatbot-metrics/
