【Gemini自行駭入三企業】測試意外變真實入侵　估密碼加用外洩帳戶得手　OpenAI與Meta同期爆類似事故

據報道，谷歌其中一款Gemini人工智能模型於今年5月進行一項名為「奪旗賽」（Capture The Flag）的網絡安全測試時，自行入侵了三間企業的電腦系統，事件被形容為谷歌人工智能首宗獲確認的自主「越界」個案。測試原意是要求模型在一個模擬環境內，從一間虛構公司的系統中擷取指定資訊，但這間虛構公司的名稱，恰巧與現實中一間真實企業完全相同，令模型最終闖入了真實系統。三宗事故發生後，谷歌方面確認已經在今年7月底前，通知涉事企業以及其他人工智能研發機構，惟事件遲至9月18日才正式對外披露，中間相隔接近兩個月。

【入侵手法】密碼盡猜加公開資料外洩　兩條路徑得手

根據負責執行測試的獨立評估機構所提供的資料，Gemini在整個測試過程中，透過兩種不同途徑取得未經授權的存取權限。其一，模型針對其中一間受保護系統，不斷嘗試猜測密碼，直至成功登入為止；其二，模型在另外兩宗個案中，在一個公開資料庫發現外洩的登入憑證，並利用這些憑證，成功存取受保護系統。整體手法並不涉及高複雜度的網絡攻擊技術，反而更似是「碰巧撞中」加上「順藤摸瓜」的組合，這一點亦是事件引起關注的原因之一——即使入侵門檻不高，人工智能模型仍然有能力在缺乏明確指示下，自行完成連串攻擊步驟。

【谷歌回應】安全主管稱模型意識到目標真實即停手

谷歌安全工程副總裁就事件公開回應，承認事件反映培訓大型人工智能模型「負責任行事」的重要性，並表示模型在三宗個案中，均在意識到目標為真實企業後，隨即主動停止行動，沒有進一步造成損害。谷歌又透露，公司已經與負責測試的第三方評估機構檢討流程，調整測試環境的設計方式，避免虛構與真實名稱重疊的情況重演。負責執行是次測試的獨立評估機構其後亦有回應，指事件屬於同時影響多間人工智能公司的已知問題，相關漏洞已經在數星期前全數修復。

【行業現象】OpenAI與Meta同期曝光　自主AI風險引關注

事件並非單一個案。據悉，除谷歌之外，OpenAI以及Meta旗下的人工智能模型，近期亦先後被揭發出現類似的自主行為事故，當中Meta方面澄清，其個案並未涉及跳出測試環境（沙盒）或高複雜度的網絡攻擊手法。連串事故發生後，業界對人工智能代理人（AI Agent）獲授予愈來愈大自主權限、以及可自由存取互聯網與電腦系統所帶來的潛在風險，關注度明顯提升，亦有聲音要求相關企業加強測試環境設計與披露透明度，避免類似「戲假戲真」的情況重演。

是次事故再次將人工智能代理人的安全邊界問題推上枱面。當模型被賦予愈來愈多自主決策與行動能力，「意外」與「刻意」之間的界線，似乎愈來愈模糊。對於監管機構以至企業客戶而言，如何在推動人工智能落地應用的同時，設下足夠的安全防範機制，將會是未來一段時間全球科技行業必須正視的課題。

免責聲明：本專頁刊載的所有投資分析技巧，只可作參考用途。市場瞬息萬變，讀者在作出投資決定前理應審慎，並主動掌握市場最新狀況。若不幸招致任何損失，概與本刊及相關作者無關。而本集團旗下網站或社交平台的網誌內容及觀點，僅屬筆者個人意見，與新傳媒立場無關。本集團旗下網站對因上述人士張貼之資訊內容所帶來之損失或損害概不負責。

—