那么，可信AI需要包含哪些可信要素？可信AI面臨哪些新的發(fā)展趨勢和挑戰？業(yè)界在可信AI方面又有哪些成功實(shí)踐呢？對此，中國信息通信研究院華東分院人工智能與大數據事業(yè)部主任陳俊琰在接受C114專(zhuān)訪(fǎng)時(shí)為我們進(jìn)行了詳細解讀。
五大趨勢
在陳俊琰看來(lái)，人工智能產(chǎn)業(yè)在發(fā)展運行過(guò)程中遇到諸多風(fēng)險與隱患：一是算法安全導致的應用風(fēng)險；二是黑箱模型導致算法不透明；三是數據歧視導致智能決策偏見(jiàn)；四是系統決策復雜導致責任事故主體難以界定；五是數據濫用導致隱私泄露風(fēng)險。
“基于上述風(fēng)險與隱患，可信人工智能至少應當包含安全性、可解釋、隱私保護、可靠性、負責任等多方面要素。”陳俊琰指出，隨著(zhù)可信實(shí)踐的逐步深入，業(yè)界對可信AI的認識也在不斷變化，近年來(lái)更加強調“人類(lèi)對可信AI認識及素養的提升”以及“對提升AI可信度的可持續性工具的提出”，進(jìn)而從技術(shù)與工程的角度，落實(shí)倫理治理要求，實(shí)現創(chuàng )新發(fā)展和風(fēng)險治理的有效平衡。當前，可信AI技術(shù)和產(chǎn)業(yè)正呈現以下五大發(fā)展趨勢：
趨勢1：形成產(chǎn)業(yè)共識，由各自表述向統一理念邁進(jìn)。世界各國已針對可信人工智能內涵及側重點(diǎn)逐步達成統一意見(jiàn)，并已針對透明度、隱私保護、公平等方面形成了初步共識，進(jìn)而邁入了形成統一理念的新發(fā)展階段。隨著(zhù)可信AI在更多領(lǐng)域的持續落地，理念與實(shí)踐間將形成良性互動(dòng)，以可信理念指導產(chǎn)業(yè)實(shí)踐落地，用產(chǎn)業(yè)實(shí)踐不斷豐富可信內涵，從而進(jìn)一步鞏固統一的產(chǎn)業(yè)共識。
趨勢2：突出理念落地，由抽象概念向具體實(shí)踐發(fā)展。目前，可信AI正處于由抽象學(xué)術(shù)概念向產(chǎn)業(yè)實(shí)踐加速落地的關(guān)鍵時(shí)期，產(chǎn)業(yè)主體正在由以理論界為主向產(chǎn)業(yè)界落地為主轉變，產(chǎn)出形態(tài)由論文為主向產(chǎn)品服務(wù)為主轉變，專(zhuān)利數量持續增長(cháng)，并已經(jīng)形成了一批可見(jiàn)可用的產(chǎn)業(yè)成果，誕生了一批代表性企業(yè)。未來(lái)，可信AI理念將更深層次地與AI產(chǎn)業(yè)鏈各環(huán)節結合，與元宇宙、人工智能生成內容等新技術(shù)、新業(yè)態(tài)互相促進(jìn)，并在A(yíng)I場(chǎng)景和產(chǎn)品中得到更加廣泛的體現。
趨勢3：注重動(dòng)態(tài)平衡，由單一維度向綜合框架轉變。可信AI中的可解釋、穩定性、隱私保護等要素之間存在協(xié)同與平衡的關(guān)系，這就要求可信AI的實(shí)現與衡量不能以單一要素為決定因素，而應結合實(shí)際應用需求，尋求最優(yōu)的平衡效果。因此，可信AI的一體化研究將是未來(lái)重要趨勢，從單一維度研究逐步過(guò)渡到關(guān)注各項可信能力之間的相互作用及其影響，使之具有較強的綜合性和整體性，實(shí)現各項可信能力之間的動(dòng)態(tài)平衡，以綜合可信框架促進(jìn)產(chǎn)業(yè)協(xié)調健康發(fā)展。
趨勢4：優(yōu)化技術(shù)布局，由前期研究向更深層次探索。可解釋性方面，如何通俗易懂地向用戶(hù)解釋人工智能技術(shù)原理、算法自動(dòng)決策機制、潛在風(fēng)險及防范措施成為首要任務(wù)，并希望以此消除社會(huì )公眾對新一代人工智能技術(shù)的疑惑和擔憂(yōu)。公平性方面還需要為現有的公平性定義提供更強的條件，進(jìn)一步拓寬公平性覆蓋面，涵蓋現有問(wèn)題中沒(méi)有考慮到的歧視，同時(shí)合理松弛以提高預測模型準確度。隱私保護方面，進(jìn)一步推進(jìn)分級分類(lèi)，特別是針對人臉、指紋等敏感數據，如何在便捷地實(shí)現盡可能高的識別準確率的同時(shí)提升隱私保護性能。安全性（魯棒性）方面，當前可驗證魯棒性的理論和實(shí)踐存在較大落差，如何把一些外部知識交給機器學(xué)習模型來(lái)幫助其提高防御能力成為一個(gè)有前景的研究方向。
趨勢5：融合多元主體，由產(chǎn)學(xué)研向社會(huì )大眾拓展。隨著(zhù)社會(huì )認知的深入，可信人工智能參與主體將進(jìn)一步豐富，產(chǎn)業(yè)鏈多主體、多要素協(xié)調互動(dòng)。在《網(wǎng)絡(luò )安全法》、《數據安全法》、《個(gè)人信息保護法》等法律法規框架下，深圳、上海、北京等地加快推動(dòng)人工智能立法，建立公共場(chǎng)所人工智能分級分類(lèi)應用規范，形成具有地方特色的可信人工智能治理體系。行業(yè)協(xié)會(huì )、聯(lián)盟和研究機構發(fā)揮積極作用，聯(lián)合行業(yè)企業(yè)圍繞先行領(lǐng)域制定和發(fā)布行業(yè)標準，在安全性、可靠性等領(lǐng)域已經(jīng)取得了一些成果供落地實(shí)施進(jìn)行參考。“人臉識別第一案”等引發(fā)社會(huì )關(guān)注，人民群眾對可信人工智能的了解和需求增加，參與程度大幅提升，從需求層面倒逼可信人工智能發(fā)展。
四大挑戰，五方面建議
基于可信AI最新發(fā)展趨勢，陳俊琰認為，當前可信AI的發(fā)展正面臨以下四大挑戰：
挑戰1：當前可信人工智能政策法規更偏向理念指引，頂層設計還不完善，政策法規間沒(méi)有形成完整、協(xié)調的體系關(guān)系，在模型權屬、風(fēng)險責任主體、結果公平等方面還需要予以明確。
挑戰2：針對可信人工智能技術(shù)的前瞻性研究與布局略顯不足，尤其是在分布式計算、聯(lián)邦學(xué)習、隱私計算等細分領(lǐng)域缺少完善可信的開(kāi)源學(xué)習框架。在算法公平性、可靠性、隱私數據分級分類(lèi)、可驗證魯棒性的等方面仍需進(jìn)一步優(yōu)化技術(shù)水平。
挑戰3：針對可信人工智能產(chǎn)品及服務(wù)尚缺少成熟完善的認定標準體系，在產(chǎn)品與服務(wù)商能力評估、評測、治理、監管等方面缺乏能夠敏捷響應、動(dòng)態(tài)高效的認證機制，從而無(wú)法系統性解決可信人工智能落地難的問(wèn)題。
挑戰4：產(chǎn)業(yè)界尤其是社會(huì )公眾對可信人工智能理念、意識及重要性仍然缺少必要的認識，對人工智能產(chǎn)業(yè)發(fā)展前景與局限性，以及可能造成的風(fēng)險隱患還是缺少深入的了解，在可信人工智能領(lǐng)域技術(shù)交流、成果發(fā)布、渠道對接、資源整合方面仍需進(jìn)一步加強。
為此，陳俊琰對于可信AI未來(lái)發(fā)展提出以下五方面建議：
一是加強政策法規協(xié)同，協(xié)調制度、技術(shù)、人員整體推進(jìn)。圍繞政策法規體系完善、指南規范指引路徑、從業(yè)人員可信理念培育，形成合理協(xié)同推進(jìn)可信人工智能產(chǎn)業(yè)化落地。針對當前可信人工智能政策法規頂層設計不完善、缺乏完整協(xié)調的體系關(guān)系以及在模型權屬、風(fēng)險責任主體、結果公平等方面的諸多問(wèn)題，亟需制定形成人工智能企業(yè)規范化發(fā)展指南，為企業(yè)提升可信人工智能技術(shù)、將AI向善貫穿于人工智能企業(yè)業(yè)務(wù)全流程提供方法論指引，幫助企業(yè)更好地實(shí)踐可信。此外，要注重從業(yè)人員可信理念培育，不斷增強人工智能從業(yè)者可信認識，形成自覺(jué)踐行可信人工智能理念的良好氛圍，以制度、技術(shù)和人員協(xié)同加快可信人工智能產(chǎn)業(yè)化落地進(jìn)程。
二是前瞻布局技術(shù)研究，以技術(shù)創(chuàng )新帶動(dòng)可信持續發(fā)展。前瞻布局可信開(kāi)源學(xué)習框架，探索通用人工智能可信研究，強化代碼可視化，持續優(yōu)化現有技術(shù)，實(shí)現技術(shù)驅動(dòng)的可持續創(chuàng )新。針對分布式計算、聯(lián)邦學(xué)習、隱私計算等細分技術(shù)領(lǐng)域，不斷建立完善可信開(kāi)源學(xué)習框架，探索通用人工智能甚至是超級智能的可信研究。進(jìn)一步強化代碼可視化，加快推廣集成了OCR、NLP等人工智能能力的低代碼平臺，為用戶(hù)提供一體化的智能服務(wù)能力，提升開(kāi)發(fā)效率。圍繞可解釋的人機交互、提供更強的公平性定義、提供公平且可靠的算法、隱私數據分級分類(lèi)、可驗證魯棒性等方面，持續優(yōu)化技術(shù)，實(shí)現可信能力之間的均衡協(xié)調。
三是健全標準評估體系，系統性推進(jìn)更多領(lǐng)域可信落地。構建創(chuàng )新治理閉環(huán)，以標準提升可信人工智能規范化程度，以評估、測試、認證體系建設加快應用和產(chǎn)品落地。首先，構建完善的產(chǎn)品標準及評估體系，確立“可信的人工智能”產(chǎn)品與服務(wù)標準，提升對可信產(chǎn)品的認可度，并為可信產(chǎn)品和服務(wù)供應商提供能力評估，從而加快推動(dòng)可信人工智能的落地。其次，分領(lǐng)域分階段推進(jìn)測試認證機制，發(fā)展可信人工智能評估評測及認證等監管技術(shù)，形成從理論原則、法律法規、合規增強技術(shù)、評估評測及認證的治理創(chuàng )新閉環(huán)；在醫療健康、自動(dòng)駕駛、公共服務(wù)等領(lǐng)域分階段推進(jìn)研究能夠適應場(chǎng)景特性、敏捷響應、動(dòng)態(tài)的認證機制，系統性解決可信人工智能落地難的問(wèn)題。
四是強化可信流程管理，將可信理念融入系統原生設計。運用可信理念重塑流程管理新能力、新形態(tài)，將人工智能可信融入系統原生設計，確保產(chǎn)品的可信品質(zhì)。在《可信AI操作指引》等的基礎上，面向業(yè)務(wù)數字化轉型需求和生產(chǎn)研發(fā)實(shí)際，將可信理念融入流程發(fā)現、流程監控、流程優(yōu)化、流程管理等各個(gè)環(huán)節，塑造形成全新的流程管理能力。同時(shí)，將人工智能可信融入系統原生設計，在人工智能應用系統建設過(guò)程中，將人工智能可信作為基礎能力及要求納入其設計范疇，以彈性適應未來(lái)人工智能安全的問(wèn)題及挑戰，以更加豐富的技術(shù)手段適配人工智能系統的不同發(fā)展階段、不同應用要求、不同風(fēng)險強度，為人工智能的可信應用保駕護航。
五是推動(dòng)產(chǎn)業(yè)交流合作，共同打造可信產(chǎn)業(yè)生態(tài)朋友圈。加強國內外溝通合作，共建人工智能產(chǎn)業(yè)國際可信機制，做好宣傳引導，增進(jìn)社會(huì )公眾的可信人工智能意識。進(jìn)一步發(fā)揮行業(yè)組織和高水平專(zhuān)業(yè)平臺作用，為可信人工智能企業(yè)和從業(yè)者提供技術(shù)交流、成果發(fā)布、資源對接的渠道，聚集行業(yè)各方力量共同打造可信人工智能生態(tài)圈。積極開(kāi)展國際交流和技術(shù)合作，從人工智能系統測試和管控、危機溝通渠道等方面著(zhù)手，主動(dòng)參與國際人工智能治理，共建人工智能產(chǎn)業(yè)國際可信機制。加強對可信人工智能的宣傳，通過(guò)對可信人工智能理念、典型案例的宣傳和引導，增進(jìn)社會(huì )公眾對可信人工智能的認識了解，提高民眾對人工智能潛能、挑戰和局限性的認識，為可信人工智能產(chǎn)業(yè)發(fā)展營(yíng)造良好的社會(huì )環(huán)境。
探索成功路徑和實(shí)踐
而事實(shí)上，近兩年業(yè)界在可信AI方面已經(jīng)進(jìn)行了諸多路徑的探索和實(shí)踐。
立法方面，上海市于2021年12月、2022年9月和2022年11月先后發(fā)布《上海市智能網(wǎng)聯(lián)汽車(chē)測試與應用管理辦法》、《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》和《上海市浦東新區促進(jìn)無(wú)駕駛人智能網(wǎng)聯(lián)汽車(chē)創(chuàng )新應用規定》，強調了人工智能算法可信、倫理道德、治理與監管等方面，并針對智能網(wǎng)聯(lián)汽車(chē)領(lǐng)域技術(shù)標準、數據安全與個(gè)人信息保護做了詳細規定。此外，《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》明確，上海市人民政府設立“上海市人工智能戰略咨詢(xún)專(zhuān)家委員會(huì )”，為產(chǎn)業(yè)發(fā)展中的重大戰略、重大決策提供咨詢(xún)意見(jiàn)，同時(shí)設立“人工智能倫理專(zhuān)家委員會(huì )”，負責制定倫理規范指南、推動(dòng)參與國內外人工智能領(lǐng)域倫理重大問(wèn)題研討和規范制定。
標準方面，《關(guān)于推進(jìn)本市新一代人工智能標準體系建設的指導意見(jiàn)》于2021年7月發(fā)布。測試評估方面，《意見(jiàn)》圍繞智能網(wǎng)聯(lián)汽車(chē)、醫療影像輔助診斷、視覺(jué)圖像身份識別、智能傳感器等賽道，加快構建完善可信AI評測體系，同時(shí)針對測試評估建立共性標準；安全倫理方面，《意見(jiàn)》提出加強安全倫理標準對人工智能發(fā)展的引導和規范，提升安全保障能力，建立積極的治理規則，從安全與隱私保護規范和應用場(chǎng)景安全規范兩大模塊強化標準研制，并建立安全風(fēng)險等級體系；與此同時(shí)，上海市人工智能標準化技術(shù)委員會(huì )于2021年7月揭牌成立，與相關(guān)行業(yè)主管部門(mén)共同推動(dòng)上海在人工智能標準領(lǐng)域先試先行。其中，可信人工智能領(lǐng)域的標準包括《公共場(chǎng)所人臉識別分級分類(lèi)應用規范》、《人臉識別系統通用建設規范》、《人臉識別系統工程驗收規范》、《人工智能企業(yè)認定與分級分類(lèi)指南》、《數據交易：第四部分，數據產(chǎn)品可信交付技術(shù)要求與評估規范》、《人工智能標準化工作導則》共6項地方標準以及《神經(jīng)網(wǎng)絡(luò )分類(lèi)模型穩定性基本要求與測試方法》《隱私計算密碼應用基本要求與測評規范》共2項團體標準，牽頭單位包括中國信通院華東分院及行業(yè)知名機構和企業(yè)。
論壇方面，2021年，由中國信通院和京東探索研究院承辦的可信AI論壇，以“AI向善 全球共治”為主題，深入探討可信AI的認知演進(jìn)、理論研究與產(chǎn)業(yè)探索。論壇發(fā)布了《可信人工智能白皮書(shū)》、《促進(jìn)可信人工智能發(fā)展倡議》、《開(kāi)放金融數據共享中隱私計算的平衡之道》等多項成果，同時(shí)成立了上海可信AI測評中心和中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟人工智能治理與可信委員會(huì )，深入開(kāi)展技術(shù)研究、標準制定、評估測試、試點(diǎn)示范、成果發(fā)布、國際合作等工作。2022年，由中國信息通信研究院華東分院承辦的可信AI論壇，以“可信AI，共建共治”為主題，就可信AI政策標準、理論技術(shù)、應用場(chǎng)景展開(kāi)探討。論壇發(fā)布了《可信人工智能產(chǎn)業(yè)生態(tài)發(fā)展報告(2022年)》、 “螞蟻集團—蟻鑒AI安全檢測平臺”以及“星環(huán)科技T-DACM可信AI治理框架”等多項成果，同時(shí)成立可信人工智能聯(lián)合實(shí)驗室，該實(shí)驗室將圍繞AI應用管理、AI算法模型、平臺系統與硬件產(chǎn)品等建立體系化可信評估規范，構建人工智能算法與平臺安全測試評估的方法、技術(shù)、規范和工具集，引導企業(yè)參與可信人工智能的研究與發(fā)展。
實(shí)踐方面，在基礎能力方面，有孚云AI智算集群依托穩定、安全的GPU資源，基于采用Kubernetes架構，通過(guò)集中調度、管理和可定制化的模板服務(wù)，為用戶(hù)提供開(kāi)箱即用的框架平臺和算法工具，應用場(chǎng)景涉及身份識別、隱私保護、反欺詐、AI反制等方面；算法技術(shù)方面，業(yè)界廠(chǎng)商建立基于真實(shí)場(chǎng)景數據的算法測評體系，針對商業(yè)化算法場(chǎng)景以及全方位多數據集算法進(jìn)行評測，持續推動(dòng)算法測評的成熟與創(chuàng )新，應用場(chǎng)景涉及醫療診斷數據集算法驗證與評測以及金融業(yè)算法安全性、可解釋性、精準性與性能評價(jià)等；應用場(chǎng)景方面，業(yè)界廠(chǎng)商推出基于安全多方計算進(jìn)行人口實(shí)時(shí)數據統計，通過(guò)部署可信AI安全多方計算節點(diǎn)，基于場(chǎng)景開(kāi)發(fā)人口數據統計計算模型規則，并保護用戶(hù)數據隱私。同時(shí)，還發(fā)布了智能網(wǎng)聯(lián)多方數據安全協(xié)同解決方案，向下接入主機廠(chǎng)、路側及第三方機構數據，向上支撐交通、服務(wù)、運營(yíng)等多種數據應用場(chǎng)景，依托可信AI隱私計算實(shí)現智能網(wǎng)聯(lián)汽車(chē)數據安全共享。
