作(zuò)者：中國(guó)工商銀行軟件開發中心高級專家 劉承岩

情感計算顧名思義是對情感的感知、理(lǐ)解和表達，是融合計算機科(kē)學(xué)、心理(lǐ)學(xué)等多(duō)個領域的綜合性研究，對于提升計算機的理(lǐ)解和表達能(néng)力有着重要意義。相關研究表明，多(duō)模态是未來數據形式和人工智能(néng)技(jì )術發展的大趨勢，在表情、語音、姿态、語義等多(duō)元信息互補的激勵下，能(néng)夠更加準确地識别情感目标。随着銀行數字化轉型進程推進，如何不斷提升服務(wù)水平、防控金融風險，一直是銀行業共同探索的問題。多(duō)模态情感計算的發展與應用(yòng)，将成為(wèi)解決上述問題的一大利器。

一、多(duō)模态情感計算發展現狀及趨勢

多(duō)模态情感計算主要專注于信息之間的融合與交互，根據融合策略不同，有決策級融合與特征級融合兩種主要技(jì )術路徑。決策級融合即對單獨學(xué)習好的各模态信息進行直接融合，最簡單的方法是分(fēn)别實現微表情識别、語音情感識别與文(wén)本情感識别，再對識别結果進行簡單加權。特征級融合是在單個模态學(xué)習過程加入模态之間的交互，動态補充模态中缺少的信息。

目前決策級融合在業界應用(yòng)相對成熟，實現難度低，效果基本滿足預期。特征級融合對于模态的信息學(xué)習更充分(fēn)，準确率相較決策級融合有較大提升，但目前暫未有相關軟件産品，仍處于學(xué)術研究階段。

随着多(duō)模态大模型技(jì )術日趨火熱，運用(yòng)大模型執行情感計算任務(wù)也成為(wèi)當下的研究熱點，其解決方案為(wèi)通過自監督的方式對海量無标注數據進行學(xué)習，再面向特定場景進行少量數據的标注學(xué)習及微調。多(duō)模态大模型對數據依賴較低，泛化能(néng)力強，還可(kě)以與視覺大模型、語言大模型等其他(tā)模型相結合，例如在當下最熱門的GPT模型融入情感計算，使該模型在理(lǐ)解和表達上更加人性化，在視覺大模型中加入情感識别則可(kě)以在風控、安(ān)防等領域發揮積極作(zuò)用(yòng)。然而，現階段大模型也存在一定短闆，如對前期訓練成本和算力要求非常高，模型龐大的體(tǐ)量也會影響其拓展性與應用(yòng)的靈活性，部署難度加大等。

目前在金融行業，也有多(duō)家銀行積極布局基于微表情、自然語言的單模态情緒識别或決策級多(duō)模态情緒識别産品，主要應用(yòng)方向為(wèi)服務(wù)質(zhì)量評價及遠(yuǎn)程面審反欺詐，随着多(duō)模态情感計算日趨成熟，未來将在銀行業更多(duō)場景發揮作(zuò)用(yòng)。

二、在銀行業的應用(yòng)前景

1.多(duō)模态情感計算運用(yòng)不同數據源可(kě)賦能(néng)不同類型業務(wù)。從服務(wù)渠道來說，不同于目前相對成熟的文(wén)本情感識别與微表情情感識别，多(duō)模态情感計算可(kě)通過不同模态之間的組合靈活适配音視頻通話、電(diàn)話語音與文(wén)字交互等需求，擺脫對某一固定服務(wù)類型的限制。此外，音視頻服務(wù)常常受到網絡波動影響出現畫面不穩定，導緻缺少關鍵幀無法識别情感的狀況，多(duō)模态情感計算對語音與語義的融合分(fēn)析能(néng)夠較好地維持情感識别的穩定性。

從交互方式來說，多(duō)模态情感計算可(kě)融入人人交互、人機交互，以及在元宇宙等虛拟空間的虛拟身份間交互。及時感知客戶情感反饋對銀行提升服務(wù)體(tǐ)驗至關重要，當前各家銀行都在大力發展7×24小(xiǎo)時智能(néng)自助服務(wù)，由于缺少服務(wù)人員人工介入，更需要依賴人工智能(néng)系統了解客戶滿意度，及時發現系統存在的不足并改進。

2.多(duō)模态情感計算輔助判斷客戶真實意圖。無論是對業務(wù)辦理(lǐ)過程中表現出的正面與負面情緒，或是在審核、調查等過程中出現的明顯情緒波動，通過融合心理(lǐ)學(xué)上的情感映射，都可(kě)以一定程度展現客戶當前的真實意圖，從而為(wèi)服務(wù)人員或審核人員的決策提供參考。真實意圖判斷在對客營銷、服務(wù)評價、盡職調查、催收、反欺詐等領域能(néng)夠發揮重要作(zuò)用(yòng)。結合客戶畫像，在業務(wù)環節運用(yòng)多(duō)模态情感計算對客戶的意圖、行為(wèi)等進行預測，可(kě)實現精(jīng)準營銷、個性化定制化服務(wù)，同時為(wèi)金融安(ān)全保駕護航。

3.基于多(duō)模态情感計算的情感生成。随着金融數字化轉型深入推進，商業銀行均在積極布局各種形态的智能(néng)服務(wù)，包含智能(néng)文(wén)字客服、智能(néng)外呼、數字人等。無論在文(wén)本生成、語音合成還是數字人交互過程中，有情感有溫度的回應将會給用(yòng)戶帶來更優質(zhì)的服務(wù)體(tǐ)驗。除了及時應對客戶當前的情緒波動提供對應的安(ān)撫或激勵外，還可(kě)以結合客戶畫像特征實現不同的情感表達。例如面對老人、兒童、不同性别的客戶，采取不同的數字人形象與講話方式，或是參考客戶聊天習慣，創建與客戶“更聊得來”的智能(néng)客服。

三、在銀行業的典型應用(yòng)案例

基于以上對多(duō)模态情感計算特點的分(fēn)析，可(kě)以看出情感計算在銀行業各領域大有可(kě)為(wèi)。現如今銀行業正不斷擴充服務(wù)邊界，多(duō)模态情感計算适用(yòng)于網點、音視頻、自助服務(wù)等各類服務(wù)渠道，在内部人員管理(lǐ)、精(jīng)準營銷、風險防控等領域擁有豐富的創新(xīn)應用(yòng)場景。現階段，銀行業可(kě)以考慮在傳統業務(wù)中融合情感計算，實現客戶滿意度調研、輔助風控等。未來，随着新(xīn)技(jì )術的不斷發展成熟，可(kě)開拓新(xīn)一代銀行服務(wù)模式，例如基于大模型多(duō)輪對話+情感計算的AI智能(néng)服務(wù)、元宇宙+情感計算的多(duō)元交互等。在此具體(tǐ)分(fēn)析情感計算應用(yòng)的幾個典型案，供銀行同業交流參考。

1.多(duō)模态情感計算實現對音視頻、電(diàn)話、線(xiàn)下等渠道的人工服務(wù)監督評價。在服務(wù)過程中感知到客戶出現憤怒等負面情緒時，及時通知主管人員介入處理(lǐ)，或實時監測銀行服務(wù)人員的異常情緒，監督規避違規操作(zuò)，降低糾紛。在服務(wù)完成後，多(duō)模态情感計算替代客戶對服務(wù)打分(fēn)評價，減少客戶操作(zuò)，獲取較為(wèi)真實的客戶反饋。在事後質(zhì)檢中加入情感質(zhì)檢，實現對内部人員管理(lǐ)考核，提升服務(wù)合規水平。

2.多(duō)模态情感計算輔助銀行人工智能(néng)系統改進提升。當前手機銀行服務(wù)配置有語音搜索、語音指令控制等功能(néng)，以方便老年人群等客戶操作(zuò)。通過判斷是否重複多(duō)次發出語音指令，以及語音中是否帶有負面情緒，幫助銀行了解客戶使用(yòng)系統的便捷度，并加以改進。在智能(néng)文(wén)字客服、智能(néng)語音外呼及數字人等自助服務(wù)過程中，客戶在文(wén)字、語音中出現的異常情緒也為(wèi)銀行智能(néng)服務(wù)的改進提升提供依據。

3.多(duō)模态情感計算助力金融業務(wù)反欺詐。在信貸面審、信用(yòng)卡盡職調查等場景，結合特定話術、問題等，捕捉情緒異常波動，為(wèi)客戶經理(lǐ)判斷客戶是否存在隐瞞、欺詐風險提供參考。在轉賬彙款等業務(wù)辦理(lǐ)過程中，判斷客戶特别是老年客戶群體(tǐ)是否存在緊張、恐懼等情緒，結合視頻智能(néng)分(fēn)析等技(jì )術，例如操作(zuò)過程中是否有人代操作(zuò)、或邊打電(diàn)話邊操作(zuò)等動作(zuò)，及時阻止可(kě)能(néng)出現的詐騙案件。

4.多(duō)模态情感計算實現對客服、催收等高流動性崗位人員的智能(néng)培訓及測評。通過軟件模拟不同業務(wù)場景下的客戶訴求，由參訓人員進行應答(dá)，在應答(dá)過程中檢測其情緒是否符合崗位要求。受訓人員可(kě)自行反複多(duō)次訓練，也可(kě)以通過該方式開展培訓結業考試等。用(yòng)自動化訓練替代傳統人工培訓中需要依賴導師的重複性訓練，大幅節約師資成本與人力資源。

四、多(duō)模态情感計算應用(yòng)展望與建議

多(duō)模态情感計算對銀行業提升服務(wù)質(zhì)量與安(ān)全性有着廣泛的應用(yòng)前景，在對客服務(wù)、運營管理(lǐ)、産品營銷、風險防控等領域都能(néng)夠發揮重要作(zuò)用(yòng)，還能(néng)夠與元宇宙、智能(néng)網點、數字人等新(xīn)興技(jì )術相結合，實現智能(néng)服務(wù)提升，但該技(jì )術在發展與推廣過程中仍面臨一定挑戰。

一是目前仍缺少充足且準确的标注數據，尤其是銀行業務(wù)種類繁多(duō)，不同的業務(wù)類型具有不同的情緒傾向和話術特征，因此每适配一個新(xīn)的場景都需要投入大量的人力資源進行數據标注與訓練，且人工标注暫時還沒有統一的方法和标準可(kě)以驗證其标注準确性，會導緻實際應用(yòng)中識别準确率不達預期。二是心理(lǐ)學(xué)領域關于情緒和意圖的研究仍處于發展階段，情緒與意圖之間并非簡單的一對一映射，即使捕捉到人的情緒異常，仍不能(néng)保證了解其真實意圖。三是情感計算涉及客戶視頻資料的獲取和分(fēn)析，在個人隐私保護要求日益嚴格的大環境下，如何在保護客戶權益的前提下合理(lǐ)運用(yòng)情感計算技(jì )術，也是銀行業急需思考的問題。

因此，現階段銀行在應用(yòng)多(duō)模态

情感計算時，建議先在小(xiǎo)範圍開展試點，通過充足的脫敏标注數據進行模型調優，定期對算法模型進行升級和優化。在試點過程中，還要注意客戶信息采集告知授權、數據傳輸與存儲過程加密、算法模型的私有化部署等，保證客戶信息安(ān)全。此外，銀行業還要加強與頭部企業、高校等機構在計算機領域與心理(lǐ)學(xué)領域的合作(zuò)，持續關注國(guó)内外業界與學(xué)界的最新(xīn)技(jì )術發展。

本文(wén)來源：微信公衆号《金融電(diàn)子化》

免責聲明：所載内容來源互聯網、微信公衆号等公開渠道，我們對文(wén)中觀點保持中立，僅供參考、交流等非商業目的。轉載的稿件版權歸原作(zuò)者和機構所有，如有侵權，請聯系我們删除。