國際金融報
李曦子
2025-07-04 14:14
2025年，被稱為“智能體元年”。這是AI發(fā)展路徑上的一次范式突變：從“我說AI答”到“我說AI做”，從對話生成躍遷到自動執(zhí)行，智能體正成為最重要的商業(yè)化錨點和下一代人機(jī)交互范式。
但越接近落地，風(fēng)險也越有實感。智能體的核心能力——自主性、行動力，也恰恰是風(fēng)險滋生的窗口。越能干的智能體，越可能越權(quán)、越界，甚至失控。
結(jié)合調(diào)查問卷和行業(yè)訪談，本次《智能體體檢報告——安全全景掃描》從最新發(fā)展?fàn)顩r、合規(guī)認(rèn)知度、合規(guī)實際案例三個角度，試圖回答清楚一個關(guān)鍵問題：智能體狂奔之時，安全合規(guī)是否就緒了？
容錯性與自主性為核心考量指標(biāo)
作為市場最火熱的概念，今年資本市場及公司動態(tài)幾乎都與智能體掛鉤。但不少討論中的智能體定義混亂，以至于一千個人眼中有一千個智能體。
如果僅停留在單一角度分類智能體是非常片面的，為了更全景地認(rèn)知理解智能體，我們廣泛地調(diào)研了從業(yè)者，認(rèn)為可以從“容錯性”“自主性”兩個維度劃定坐標(biāo)軸，建立智能體的價值生態(tài)。
X軸是“容錯性”，我們認(rèn)為這是智能體未來發(fā)展的核心競爭指標(biāo)。容錯性低，通常意味著出現(xiàn)錯誤后果嚴(yán)重，其使用場景需要更準(zhǔn)確的信息捕捉、歸納、整合能力，更少的幻覺和錯誤決策，更穩(wěn)定的執(zhí)行任務(wù)能力，比如醫(yī)療；而容錯性高的領(lǐng)域，錯誤后果輕微且可控，人類能方便地介入調(diào)整，比如寫作創(chuàng)意。
Y軸是“自主性”，是在不同場景中智能體的行動邊界。自主性衡量的是智能體在沒有直接人類干預(yù)的情況下，自主做出決策和執(zhí)行動作的能力。更高的自主性通常意味著更高的工作效率和處理復(fù)雜任務(wù)的能力，但同時也顯著放大了錯誤或濫用行為可能造成的后果。
圍繞智能體的容錯性和自主性建立模型，任何智能體都能在坐標(biāo)空間里找到屬于自己的位置。這是我們衡量智能體的方法論。在這一全景坐標(biāo)下，討論智能體安全合規(guī)問題，能帶給隸屬不同象限的智能體產(chǎn)品更適配的安全風(fēng)險準(zhǔn)則。
隨著智能體的產(chǎn)業(yè)生態(tài)和應(yīng)用場景逐漸清晰，擔(dān)憂的聲量隨之而來：一邊認(rèn)為一旦智能體出現(xiàn)安全事故，后果難以控制，急需設(shè)置防護(hù)欄；另一邊認(rèn)為，智能體的當(dāng)務(wù)之急是發(fā)展技術(shù)，對安全的過度討論會阻礙創(chuàng)新。
當(dāng)下哪一方聲音占主流？不同產(chǎn)業(yè)角色是如何考慮這一問題的？行業(yè)是否存在一些共識？我們結(jié)合訪談和問卷調(diào)查，試圖找到一條認(rèn)知水位線。
問卷開始時，受訪者需要先選擇自己的基礎(chǔ)信息，角色分為四類：智能體研發(fā)公司（提供核心模型/產(chǎn)品/平臺），智能體使用公司，智能體合作公司（提供API/插件/基礎(chǔ)設(shè)施），以及獨立研究團(tuán)隊或開發(fā)者。
問卷結(jié)果顯示，受訪者中研發(fā)廠商、使用方、獨立研究團(tuán)隊或開發(fā)者數(shù)量平均（33%；28%；23%），服務(wù)合作者較少（16%）。大部分受訪者來自技術(shù)團(tuán)隊（67%），小部分來自產(chǎn)品運(yùn)營團(tuán)隊（30%）。
風(fēng)險過于復(fù)雜和新穎是當(dāng)前最大挑戰(zhàn)
67.4%的受訪者一致認(rèn)為智能體的安全合規(guī)問題“非常重要”（5分；滿分為5分），整體平均分為4.48分。從不同角色來看，最在意保障安全合規(guī)問題的是智能體使用方。
智能體安全合規(guī)是否得到了行業(yè)的足夠關(guān)注，沒有一個觀點得到超過半數(shù)的共同認(rèn)可。最多的看法是行業(yè)有所重視，但整體投入與響應(yīng)不足（48.8%）；但也有34.9%的受訪者認(rèn)為行業(yè)整體缺乏有效關(guān)注，這尤其是研發(fā)方中最主流觀點。只有一小部分人（16.3%）認(rèn)為行業(yè)已經(jīng)高度重視，甚至過度重視了。
在受訪者中達(dá)成了一致的是，安全合規(guī)并非智能體最需優(yōu)先解決的問題。當(dāng)務(wù)之急的TOP 3 問題分別是：智能體執(zhí)行任務(wù)穩(wěn)定性和完成質(zhì)量（67.4%）、落地場景探索和產(chǎn)品化（60.5%)、基礎(chǔ)模型能力增強(qiáng)（51.2%）。
在這三個問題上，不同角色眼中的優(yōu)先級不同。研發(fā)者和使用者認(rèn)為最需要解決的問題是“智能體執(zhí)行任務(wù)穩(wěn)定性和完成質(zhì)量”，而服務(wù)方和獨立研究團(tuán)隊更需要“落地場景探索和產(chǎn)品化”。
大部分人認(rèn)為，智能體風(fēng)險過于復(fù)雜和新穎（62.8%）是當(dāng)前智能體治理的最大挑戰(zhàn)。而不到一半的人認(rèn)為智能體風(fēng)險還未顯化、優(yōu)先級不高是一個挑戰(zhàn)（48.8%）。
已出現(xiàn)過的案例能側(cè)面說明這一點。通過訪談了解到，行業(yè)現(xiàn)在還沒有出現(xiàn)過真實發(fā)生的、大范圍的安全合規(guī)事故。而在一些小型的安全合規(guī)事件上，公司出于業(yè)務(wù)考慮，未必愿意公開討論。
幻覺和數(shù)據(jù)泄露是最受關(guān)注的問題
AI幻覺與錯誤決策（72%)、數(shù)據(jù)泄露(72%)、有害內(nèi)容輸出(53.5%) 是行業(yè)最普遍關(guān)心的三個安全合規(guī)問題。
更專業(yè)的越獄攻擊、身份與權(quán)限控制、工具安全和競爭秩序問題，相對獲得較少關(guān)注。值得一提的是，沒有受訪者一個安全合規(guī)問題都沒關(guān)注過。
如果出現(xiàn)了安全合規(guī)事件，行業(yè)最擔(dān)心的后果是用戶數(shù)據(jù)泄露（81.4%）以及非授權(quán)操作帶來業(yè)務(wù)損失（53.49%）。也有一部分人擔(dān)心被監(jiān)管調(diào)查或處罰（44.19%）。
不同產(chǎn)業(yè)角色擔(dān)心的后果完全不同，幾乎所有智能體使用方和服務(wù)方都擔(dān)心用戶數(shù)據(jù)泄露，占比可以達(dá)到90%左右，較少有人擔(dān)心監(jiān)管調(diào)查（40%左右）。而研發(fā)方最擔(dān)心的便是監(jiān)管調(diào)查（72%），其次才是業(yè)務(wù)損失或用戶數(shù)據(jù)泄露（64%）。
這一定程度上也可以說明，在智能體研發(fā)方心中，目前在監(jiān)管面前承擔(dān)主要責(zé)任的是己方。
一位互聯(lián)網(wǎng)公司法務(wù)談道，智能體產(chǎn)品或平臺的《服務(wù)協(xié)議》需要列清有哪些智能體、哪項功能調(diào)用哪一大模型、如何收集用戶數(shù)據(jù)和信息，是否存儲數(shù)據(jù)及存儲期限等。有些智能體可能涉及調(diào)用多個底座大模型和工具，在這種情況下，她認(rèn)為通常由智能體向用戶兜底，“不然數(shù)據(jù)最終去向可能就亂了?！?/p>
對于AI幻覺問題，眾多研究和報告指出，在醫(yī)療、金融等高風(fēng)險領(lǐng)域，其可能帶來嚴(yán)重后果。例如，假設(shè)一個醫(yī)療診斷智能體對罕見病的誤診率為3%，在千萬級用戶中就可能造成數(shù)十萬例誤診。
在實際應(yīng)用中，許多企業(yè)發(fā)現(xiàn)智能體尚無法可靠解決幻覺問題。一家安全技術(shù)公司負(fù)責(zé)人在訪談中提到，最初部署智能體測試發(fā)現(xiàn)，出現(xiàn)明顯幻覺，無法有效支持工作。
“我們在做AI合規(guī)審計產(chǎn)品時，有一個功能：基于提交的合規(guī)證據(jù)，針對當(dāng)前的具體審計項抽取證據(jù)。但在測試中發(fā)現(xiàn)，抽取的證據(jù)常常會有不同，有時候多有時候少，很不穩(wěn)定，也發(fā)現(xiàn)AI會編造一些根本沒有提交的證據(jù)?！痹撠?fù)責(zé)人表示，公司因此最終放棄了智能體方案。
此外，國外的加拿大航空AI客服案常被受訪者提到。這是一起企業(yè)因為AI錯誤決策而承擔(dān)法律責(zé)任的標(biāo)志性案例：2022年，加拿大航空的AI客服告訴乘客“可在旅程完成后的90天內(nèi)申請退款，以享受折扣”，實際上該航司并不支持退票和打折。隨后乘客將拒絕賠償?shù)募幽么蠛娇崭嫔戏ㄍ?，盡管公司拒絕為AI客服擔(dān)責(zé)，但法院并不認(rèn)同這一觀點，2024年最終判決公司承擔(dān)乘客損失。
智能體協(xié)作安全風(fēng)險高
隨著智能體生態(tài)的豐富，多個智能體的互動近在眼前。不同智能體組成一個團(tuán)隊，認(rèn)領(lǐng)自己的任務(wù)，互補(bǔ)彼此的能力，共同推進(jìn)項目進(jìn)展。
可以看到，當(dāng)前在一些互聯(lián)網(wǎng)大廠的產(chǎn)品中，也會強(qiáng)調(diào)多智能體協(xié)作機(jī)制。
智能體的“汽車時代”要來了，可是路上交通規(guī)則、紅綠燈的架設(shè)還在路上。
“相比傳統(tǒng)的單一智能體，智能體協(xié)作框架的涌現(xiàn)使得智能體協(xié)作模式逐漸多樣化，也引發(fā)了多重安全隱患?！鼻迦A大學(xué)網(wǎng)絡(luò)科學(xué)與網(wǎng)絡(luò)空間研究院副教授劉卓濤表示。
一名技術(shù)負(fù)責(zé)人解釋稱，現(xiàn)有的智能體互連協(xié)議在安全性設(shè)計上，沿用了傳統(tǒng)客戶端—服務(wù)器模式的安全實踐。安全實現(xiàn)上仍存在身份認(rèn)證與權(quán)益管理、隱私與上下文保護(hù)不足、缺乏統(tǒng)一的安全實現(xiàn)等安全局限性。“智能體之間協(xié)作的獨特特征，要求我們必須提供專有的安全保障機(jī)制。這個方向幾乎是空白的?！?/p>
公開信息顯示，業(yè)內(nèi)正在推進(jìn)智能體協(xié)作的安全方案。“IIFAA智能體可信互連工作組”推出了智能體可信互連技術(shù)ASL（Agent Security Link），該技術(shù)可以在MCP等協(xié)議的基礎(chǔ)之上，保障各個智能體協(xié)作中在權(quán)限、數(shù)據(jù)、隱私等方面的安全，為智能體互連提供安全、可信的協(xié)作保障。
用戶數(shù)據(jù)誰能見、誰在用？
智能體的協(xié)同工作涉及多個環(huán)節(jié)，每一個環(huán)節(jié)都可能觸發(fā)用戶數(shù)據(jù)的收集、存儲、調(diào)用、跨主體交換。問卷調(diào)研顯示，近八成的業(yè)內(nèi)人士擔(dān)心用戶數(shù)據(jù)泄露的后果。
以一個典型的使用場景——“讓AI幫我寫簡歷”為例，僅在前端展示中，多個平臺的智能體就展現(xiàn)出了信息透明度與隱私保護(hù)機(jī)制的明顯差異。
首先是調(diào)用過程的透明度。例如，在訊飛星辰平臺上，用戶利用“智能簡歷生成”應(yīng)用輸入自己信息后，該智能體前端界面會顯示調(diào)用“聯(lián)網(wǎng)搜索”等3款工具。但當(dāng)點擊“編輯簡歷”按鈕繼續(xù)操作時，智能體調(diào)用了“職場密碼”服務(wù)，該工具卻并未對用戶明示。對工具的調(diào)用情況并不總是透明可見，這意味著用戶的敏感數(shù)據(jù)可能被送往一個不知情的地方。
其次是個人敏感信息的展示與處理透明度。當(dāng)前主流平臺在應(yīng)對用戶上傳的姓名、手機(jī)號、照片等信息時，采取了三種明顯不同的路徑：
第一檔是如通義平臺（阿里巴巴）上的簡歷制作助手智能體，在生成簡歷前明確提示風(fēng)險，并主動說明將隱去身份證號、手機(jī)號等敏感信息；
第二檔是如星辰（訊飛）、文心（百度）等平臺，雖未主動提示風(fēng)險，但會在輸出結(jié)果中通過“**”替代敏感字段，從技術(shù)上進(jìn)行規(guī)避；
第三檔是智譜、元器（騰訊）、扣子（字節(jié)跳動）等平臺，其智能體在提示和處理方面均無動作，既不警示用戶，也未遮掩輸出結(jié)果中的敏感信息。
這一差異暴露出的是智能體生態(tài)中責(zé)任分配的模糊與滯后。用戶面對的往往只是一個具象的“對話界面”，但其背后到底有幾個工具、幾個數(shù)據(jù)存儲節(jié)點、幾層算法判斷，用戶看不到，開發(fā)方也未明示。
責(zé)任誰來擔(dān)？
盡管智能體中數(shù)據(jù)流轉(zhuǎn)路徑復(fù)雜，可能存在盲區(qū)，但在用戶協(xié)議中，責(zé)任劃分的基本框架已經(jīng)成形。
對通義、星辰、文心、智譜、元器、扣子6個智能體平臺的用戶協(xié)議與隱私政策進(jìn)行比對發(fā)現(xiàn)：用戶與智能體交互所產(chǎn)生的數(shù)據(jù)，普遍被歸類為“開發(fā)者數(shù)據(jù)”，其處理責(zé)任也被明確落在開發(fā)者身上。
以“扣子”平臺為例，其服務(wù)協(xié)議中指出：“開發(fā)者數(shù)據(jù)”不僅包括開發(fā)者主動上傳的數(shù)據(jù)庫信息、插件/API等，還包括用戶與智能體交互過程中，經(jīng)由扣子處理的所有內(nèi)容，如文本、音頻、圖像等。這些數(shù)據(jù)由開發(fā)者“自主控制和管理”，平臺明確不對其內(nèi)容或使用方式承擔(dān)責(zé)任。
一定程度上，智能體平臺通過協(xié)議構(gòu)建了一道“責(zé)任防火墻”：自己作為技術(shù)提供者保持中立，數(shù)據(jù)風(fēng)險和合規(guī)義務(wù)轉(zhuǎn)交給智能體開發(fā)者。百度在相關(guān)協(xié)議中進(jìn)一步寫明：“平臺無法控制、編輯您的智能體，也不應(yīng)被視為是您智能體的共同運(yùn)營/開發(fā)者或內(nèi)容提供者。”
在數(shù)據(jù)使用方面，平臺普遍也劃出了邊界。以百度為例，其協(xié)議稱不會主動使用開發(fā)者提交的數(shù)據(jù)訓(xùn)練自身通用大模型，數(shù)據(jù)僅用于幫助開發(fā)者完成自動化處理。但平臺保留一個前提：“開發(fā)者可選擇授權(quán)平臺使用數(shù)據(jù)以優(yōu)化服務(wù)”，這一設(shè)計同樣將決策權(quán)交回開發(fā)者手中。
一名參與過此類服務(wù)協(xié)議制定的人士談道，在合規(guī)設(shè)計時，內(nèi)部業(yè)務(wù)團(tuán)隊與法務(wù)團(tuán)隊曾經(jīng)反復(fù)論證，最終認(rèn)為平臺應(yīng)該單獨劃一個邏輯空間給開發(fā)者，這部分?jǐn)?shù)據(jù)歸屬于開發(fā)者，如果平臺想用這部分?jǐn)?shù)據(jù)，必須要經(jīng)過開發(fā)者授權(quán)。
但責(zé)任“歸位”不等于“到位”。訪談中不少人指出，目前大部分開發(fā)者在安全合規(guī)方面能力薄弱，缺乏制度性規(guī)范和實踐經(jīng)驗——很多人甚至沒有意識到自己對用戶數(shù)據(jù)負(fù)有法律責(zé)任，更談不上建立標(biāo)準(zhǔn)化的風(fēng)控流程，不一定能真正承擔(dān)起責(zé)任。
