微軟警告企業不應盲目信任AI智慧體，以免判斷失誤引發風險。官方強調必須建立獨立的安全機制，並透過Guardian Agents進行監控。完善的安全機制能防止AI智慧體產生內部威脅，確保...
微軟近日發出警告，企業不應盲目信任正在快速普及的人工智能智慧體（AI Agents）。這些能夠自主呼叫工具、存取企業資料並執行實際任務的 AI 系統，即使沒有遭到駭客入侵，也可能因為判斷失誤、受到惡意內容誤導或自行採取意料之外的行動，造成嚴重安全問題。與此同時，微軟並沒有因此放慢 AI 智慧體的推廣腳步，而是推出新的安全管理技術，試圖在擴大應用規模的同時，對智慧體的行為實施持續監控與權限約束。
AI智慧體不是天生有惡意，但也不一定照企業規則走
微軟安全業務執行副總裁海耶特·加洛特於 10 月 19 日發表文章指出，先進 AI 模型無論來自哪家廠商，都不能被視為完全可信的系統。她強調，這並不是說 AI 模型天生具有惡意，而是模型經過訓練後往往傾向於盡可能完成任務，卻未必能夠始終遵循企業的內部規範、風險判斷與組織規則。
傳統軟體通常按照預先定義的邏輯執行操作，而 AI 智慧體的行為會隨著任務背景、輸入資訊與運行環境的變化而改變。即使智慧體在任務開始時表現正常，隨後也可能因為讀取了惡意網頁、錯誤理解用戶意圖，或者受到提示注入攻擊的影響，採取原本不應該執行的操作。
另一個層面是，企業往往會向 AI 智慧體授予較高權限，使其能夠存取內部資料庫、呼叫業務系統、讀取客戶資訊，甚至參與財務審批與其他關鍵流程。一旦智慧體發生錯誤，其影響範圍可能遠遠超過普通聊天機器人生成錯誤答案的程度。
微軟把這種風險稱為「智慧體內部人威脅」（Agentic Insider）。傳統資安通常重點防範外部攻擊者或惡意員工，而微軟認為，企業自行部署的 AI 智慧體也可能成為內部風險來源；它們不一定需要被駭客控制，就可能因為錯誤判斷或受到外部資訊操縱而造成損害。
微軟執行長薩提亞·納德拉此前也表達了類似觀點。他認為，企業必須把 AI 提供的智慧能力與決定其行動權限的安全機制分開，不能讓 AI 模型自行決定自己應該擁有什麼權限，也不能僅憑模型供應商對安全性的承諾，就把重要業務系統完全交給智慧體管理。納德拉提出，真正值得信賴的智慧體系統，不應建立在「我們最信任哪個模型」的基礎上，而應建立在即使模型不完全可信，整個系統依然能夠安全運行的設計之上。
這一理念構成了微軟最新安全策略的核心：讓 AI 負責理解任務與提出行動方案，而由獨立於 AI 模型的系統決定它可以存取什麼、能夠執行哪些操作，以及在出現風險時是否必須停止行動。
Project Perception擴展：動態權限、風險評估與監督智慧體
為實現這一目標，微軟正在擴展其名為 Project Perception 的 AI 安全系統，並推出一系列針對企業智慧體的新管理能力，其中包括動態權限管理、動態智慧體風險評估，以及名為 Guardian Agents 的監督智慧體。
動態權限管理的目標，是避免 AI 智慧體自動繼承用戶擁有的全部存取權限。企業可以為每個智慧體分配獨立身份，並根據具體任務授予必要的最低權限；任務結束後，相關權限可以自動收回；如果任務內容發生變化，系統也可以重新評估智慧體是否仍然需要原有權限。
舉例來說，一個負責整理企業財務資料的智慧體，可能只需要讀取特定報表，並不應該因此獲得修改銀行帳戶資訊或批准大額付款的權限。如果它在執行任務期間突然嘗試進行超出原定範圍的操作，獨立的安全控制系統就可以阻止該操作，或者要求人工審批。
微軟還在開發動態智慧體風險評估機制。該系統會綜合分析智慧體的身份、存取權限、所接觸的資料、網路活動、運行環境以及實際操作行為，持續判斷其風險水平是否發生變化。這一機制尤其關注智慧體行為是否偏離原定任務：例如一個本來只負責分析銷售資料的智慧體，如果突然嘗試讀取大量與任務無關的機密檔案，或者開始存取未經授權的外部服務，系統就可以提高其風險等級，並採取相應措施。
微軟認為，傳統安全系統往往依靠人工分析警報，再決定是否採取行動；但 AI 智慧體能夠以機器速度連續執行操作，等待人工發現問題後再進行處理，可能已經來不及。因此安全系統需要具備即時監控、動態調整權限與快速限制危險操作的能力。
Guardian Agents 正是為此設計的。它們將作為監督其他 AI 智慧體的安全系統，持續觀察目標智慧體的行為，並在發現風險時調查原因、提出防護措施，必要時執行隔離或限制操作。微軟希望透過這種方式形成一種多層次的 AI 安全架構：普通智慧體負責完成業務任務，Guardian Agents 負責監督風險，而最終的權限邊界與企業安全策略則由獨立系統控制；企業安全人員仍然負責制定規則、處理重大決策，並對安全事件進行調查。
盤點內部智慧體擴大到60種，背後也有企業安全商機
微軟還計畫把這些功能與 Microsoft Agent 365 等企業管理產品整合，幫助組織發現內部正在運行的 AI 智慧體，並建立統一的資產清單。隨著員工透過不同平台與開發工具自行創建 AI 智慧體，企業可能很難準確掌握這些系統的數量、權限以及實際用途。
微軟表示，其安全工具正在擴大對本地 AI 智慧體的發現能力，支持識別的本地智慧體類型將增加至 60 種，其中包括 Anthropic 的 Claude Code、OpenAI 的 Codex 以及 GitHub Copilot 等工具。企業可以藉此了解哪些智慧體正在存取公司系統，並對未經批准或權限過大的智慧體實施管理。
這一舉措也反映出 AI 智慧體市場競爭的新變化。隨著越來越多企業開始部署來自不同廠商的 AI 工具，競爭焦點不再只是模型能否完成複雜任務，還包括企業能否安全地管理這些智慧體。微軟希望利用其身份管理、端點防護、雲端安全與企業軟體生態，成為企業統一管理 AI 智慧體的重要平台。
不過，這種策略也存在值得留意的商業背景。微軟一方面警告企業不要盲目信任 AI 模型供應商，另一方面正在推廣自己的安全產品，以便企業透過微軟的平台監控與管理各種智慧體。TechCrunch 等媒體指出，這既是對新興安全風險的回應，也為微軟爭取企業 AI 安全市場提供了商業機會。
微軟與 OpenAI、Anthropic 等 AI 企業存在不同形式的合作關係，因此其提出的安全原則並不只針對競爭對手。微軟的核心主張是，無論智慧體由哪家公司提供，都不應由模型本身掌握最終的安全控制權；企業需要獨立的權限管理、行為監控與風險處置機制，以避免某個模型的錯誤或異常行為直接演變成嚴重的業務事故。
微軟也承認，單純監控智慧體的輸入與輸出還不夠。未來，安全系統可能需要更多關於模型內部處理過程的技術信號，以便判斷智慧體為何採取某項行動，以及其行為是否仍然符合用戶的原始意圖。不過微軟強調，即使能夠獲得更多模型內部資訊，也不能因此取消獨立的安全邊界；模型的解釋或自我判斷不能代替真正有效的權限控制。
這場圍繞 AI 智慧體安全性的討論，反映出企業 AI 應用正進入一個新的階段。過去，AI 主要用於生成文字、回答問題或提供建議；如今，智慧體開始獲得執行操作的能力，能夠直接影響資料、系統與業務流程，它們帶來的風險也因此從「答案是否正確」，擴展到「它實際做了什麼，以及是否有權這樣做」。
微軟並未因為這些風險而主張停止使用 AI 智慧體，而是提出應當假設智慧體可能出錯，並透過獨立的安全機制限制錯誤造成的後果。對企業而言，真正的挑戰不是尋找一個永遠不會犯錯的模型，而是建立一套即使模型判斷失誤，也能及時發現、限制與糾正問題的系統。未來，隨著 AI 智慧體進入財務、軟體開發、客戶服務與企業管理等更多領域，動態權限、持續風險評估與獨立監督機制可能逐漸成為企業部署智慧體的基礎設施；這套安全理念能否有效落地，還需要透過實際部署、風險事件處理與長期運行表現來檢驗。
加入T客邦Facebook粉絲團 
登录
