如果全世界只有一家公司能超越 OpenAI，那 Google 應該是第一。最近，Google 發表了一篇論文報告，裡面提出了一種名為「模型竊取」的技術。透過模型竊取技術，Google 成功破解了 ChatGPT 基礎模型 Ada 和 Babbage 的投影矩陣，甚至連內部隱藏維度的關鍵資訊也是直接破獲，分別是 1024 和 2048。
這一發現猶如一記重量級炸彈，在 AI 界引發了強烈的震動。誰也沒想到，號稱「CloseAI」的 OpenAI 竟然也會被竊取模型機密的一天。
只要有API就可以推斷出重要資訊更恐怖的是，這種模型竊取技術還非常簡單。只要你擁有 ChatGPT 這類封閉大型語言模型的 API，就可以透過 API 介面，傳送不到 2000 次經過精心設計好的查詢，然後去分析它生成的輸出，就可以逐步推斷出模型的內部結構和參數。
雖然這種方法不能完全複製原始模型，但已經足以竊取它的部分能力。而且這種攻擊非常高效，不需要用太多的成本，就可以拿到模型的關鍵資訊。
按照 Google 的呼叫次數來看，僅僅只需要不到 20 美金（約為新台幣 640 元）的成本，就可以完成模型竊取的操作，並且這種方法同樣適用於 GPT-3.5 和 GPT-4。
換句話說，就是不費吹灰之力獲得了一個大型語言模型理解自然語言的能力，還能用來建構一個性能相近的「山寨版」模型，既省事又省錢。
破解前獲得OpenAI同意反觀 OpenAI，被競爭對手低價破解模型機密，真的沉得住氣嗎？不行。截至目前，OpenAI 已經修改了模型 API，有心人想重現 Google 的操作是不可能了。
值得一提的是，Google 研究團隊中就有一位 OpenAI 研究員。不過作為正當的安全研究，他們說明，在提取模型最後一層參數之前就已經徵得 OpenAI 同意，而在攻擊完成後，也刪除了所有相關資料。
但不管怎麼說，Google 的實驗足以證明一點，哪怕 OpenAI 緊閉大門也並不保險。
大型語言模型全面受挫，敲響開閉源警鐘
既然封閉的大型語言模型都無法倖免，開放原始碼的大型語言模型又會如何呢？
基於這一點，Google 針對不同規模和結構的開源模型進行了一系列實驗，例如 GPT-2 的不同版本和 LLaMA 系列模型。
但GPT-2 是一個開放原始碼的預訓練語言模型，分為小型模型（117M）和大型模型（345M）兩種。而在對 GPT-2 的攻擊中，Google 透過分析模型的最終隱藏啟動向量並執行 SVD 發現，儘管 GPT-2 小型模型理論上具有 768 個隱藏單元，但實際上只有 757 個有效的隱藏單元在起作用。
這也就意味著 GPT-2 可能在實際使用中，並沒有充分利用其設計的全部能力，或者在訓練過程中某些維度的重要性不如其他維度。
此外，Google 還研究了模型中的一種叫做「歸一化層」（Layer Normalization）的東西對於攻擊的影響。一般來說，歸一化層的作用是讓訓練更加穩定，進而提升模型的表現。然而 Google 發現，即使模型加入了歸一化層，攻擊的效果也並沒有減弱。這說明即使考慮了現代深度學習模型中常見的複雜結構，攻擊方法也依然有效。
為了進一步驗證攻擊的範圍，Google 還將目光瞄向更大、更複雜的 LLaMA 模型。它是由 Meta 發表的大語言系列模型，完整的名字是 Large Language Model Meta AI，可以說 LLaMA 是目前全球最活躍的 AI 開源社群。
透過對 LLaMA 系列模型進行攻擊，Google 成功地從這些模型中提取了嵌入投影層的維度資訊。值得注意的是，即使在這些模型採用先進的技術，如混合精度訓練和量化，攻擊依然能夠成功，這表明攻擊方法的普適性和魯棒性。
可以說，Google 為閉源和開源兩大領域同時敲響了一記警鐘。
AI 三巨頭對線，2024 誰輸誰贏？從嚴格意義上來講，OpenAI、Google、Meta 就是爭奪 AGI 聖盃的三大巨頭。
其中，Meta 和 OpenAI 完全相反，前者走的是開源路線，而後者主要打造閉源模型。但 Google 和他們完全不一樣，閉源與開源雙線作戰，閉源對抗 OpenAI，開源對抗 Meta。
在人工智慧領域裡，Google 可以算是開源大型語言模型的鼻祖。今天幾乎所有的大型語言模型，都是基於 Google 在 2017 年發表的 Transformer 論文，這篇論文顛覆了整個自然語言處理領域的研究範式。而市面上最早的一批開源 AI 模型，也是 Google 率先發表的 BERT 和 T5。
然而，隨著 OpenAI 在 2022 年底發表閉源模型 ChatGPT，Google 也開始調整其策略，逐漸轉向閉源模型。這一轉變使得開源大型語言模型的領導地位被 Meta 的 LLaMA 所取代，後來又有法國的開源大型語言模型公司 Mistra AI 走紅，尤其是其 MoE 模型備受行業追捧。
直到 Google 今年再次發表開源大型語言模型 Gemma，已經比 Meta 的 LLaMA 整整晚了一年。
很顯然，Gemma 這次的發表象徵著 Google 在大型語言模型戰略上的巨大轉變，這一舉動意味著 Google 開始兼顧開源和閉源的新策略，而其背後的目的也是顯而易見。
眾所周知，當前大型語言模型領域的競爭已經形成了一種錯綜複雜的打壓鏈格局。其中 OpenAI 牢牢站在鏈條頂端，而它所打壓的恰恰是那些有潛力追趕上它的競爭對手，比如 Google 和 Anthropic。而 Mistral 作為一股新興力量，應該也正在被列入其中。
如果非要排列一個打壓鏈，那可以歸結為：OpenAI→Google &Anthropic &Mistral→ Meta→其它大型語言模型公司。
可以說，無論在閉源還是開源領域，Google 都沒能確立絕對的領先地位。
加入T客邦Facebook粉絲團 固定链接 '不開源可以直接偷！Google 新論文揭示「模型竊取」技術，直接逆向工程獲得AI模型的重要資訊' 提交: May 18, 2024, 5:30pm CST