一股腦把資料餵給了AI，結果......
出處：VERITAS 中文社區
人工智慧席捲了世界，生成式預訓練（GPT）模型正掀起浪潮，改變我們溝通、工作甚至思維方式的一切。
Veritas 首席資訊安全官 Christos Tulumba 撰寫專欄文章，著重探討了人工智慧應用浪潮下組織應關注資料隱私與安全的重點事項。作為擁有二十多年豐富經驗的網路安全專業人士，Christos Tulumba 的履歷橫跨安全分析師和工程師、威脅情報分析師和 CISO，專注於幫助企業從頭開始構建強大的安全程式並將其轉變為頂級解決方案。
GPT 模型中，文本預測分析輸入給定的上下文，並根據從大量訓練資料中學到的模式生成可能遵循的文本序列。它使用神經網路來預測下一個單詞或短語，並根據輸入文本最可能的延續進行預測。生成式 AI 的力量在於預測能力 — 幾乎像我們每個人在談話中預測朋友接下來會說什麼一樣 — 獲取輸入並通過結構良好的模型對其進行處理，以生成與人類理解產生共鳴的輸出。
商業世界中，組織正不斷探索和利用這些技術潛力，變革其所在行業，並在不斷發展的全球市場中保持敏捷。
然而，組織必須確保人工智慧帶來的敏捷性和效率不會淩駕於安全性和隱私性之上。
當我們在人工智慧和機器學習的複雜領域中航行時，瞭解如何平衡生成式人工智慧的使用與資料安全和隱私至關重要，團隊和利益相關者需要審慎地瞭解相關技術的潛在風險和回報。
不加“節制”地訓練，可能損害資料隱私
GPT 模型是在大型資料集上進行訓練的，包括來自互聯網的公開文本。然而，模型本身並不保留訓練資料的具體細節。組織和研究人員有責任確保在 GPT 模型的培訓和部署過程中採取適當的資料匿名化和隱私保護措施。
潛在安全風險容易被攻擊者利用
雖然基於 GPT 的模型確實可能被濫用於惡意目的，例如生成令人信服的網路釣魚電子郵件或實施自動網路攻擊，但組織可以通過適當的安全措施和控制來減輕風險。CISO 可以部署資料清理、存取控制和持續監控等策略，最大限度地減少潛在安全風險。
模型無限期地存儲和保留使用者資料
預測文本模型通常不會保留生成回應的直接上下文之外的特定使用者資料。重點是模型的架構和參數，而不是保存個人使用者資訊。
然而，對於 CISO 來說，評估和驗證所使用特定模型和平臺的資料保留和刪除政策至關重要，以確保遵守隱私法規和最佳實踐。
模型可能會洩露敏感或機密資訊
預測文本模型可以根據訓練資料中的模式和示例生成文本。如果訓練資料包含敏感或機密資訊，則模型可能會生成無意中披露或暗示此類資訊的輸出。
CISO 必須仔細考慮各類資料的性質，並實施適當的資料匿名化技術，以最大程度地減少敏感資訊的暴露。
模型可能是資料洩露的潛在目標
模型本身通常不存儲或保留敏感性資料。然而，CISO 仍應注意支援模型的基礎設施中的潛在漏洞，例如用於推理的存儲系統或 API。
組織應採取適當的安全控制措施，例如加密、網路隔離和入侵偵測，以規避針對底層基礎設施的威脅，最小化潛在資料洩露風險。
鑒於上述現實，Veritas 建議，首席資訊安全官應採取積極主動的方法，平衡人工智慧技術應用與資料安全隱私。以下是幾種有助於組織實現微妙平衡的關鍵策略：
- 評估資料隱私和保護並實施指南：CISO 應仔細評估用於訓練模型的資料，並確保遵守相關行業法規和相關公司政策。對敏感資訊進行匿名化或假名化並應用嚴格的存取控制來保護使用者資料免遭未經授權的訪問或濫用至關重要。與法律和人力資源團隊合作制定預測文本技術使用的合規指南也很重要。
- 保護模型訓練和部署：保護用於訓練和部署預測文本模型的基礎設施是關鍵舉措。實施強大的安全控制，包括加密、安全協議和訪問管理，以保護底層系統並防止未經授權的修改或篡改模型。為預測文本專案實施安全開發生命週期（SDL）不可或缺。
- 加強用戶意識並獲得同意：教育使用者瞭解預測文本技術的影響和功能。清楚地傳達資料收集和使用的目的以及所涉及的潛在風險，使用戶能夠就選擇加入或退出預測文本功能做出明智的決定。
- 與供應商和研究人員合作：與技術供應商和研究人員合作，隨時瞭解與預測文本技術相關的最新進展、安全補丁和最佳實踐。積極協作有助於更有效地應對新出現的安全和隱私挑戰。
- 發展事件回應和持續監控能力：制定針對預測文本技術的事件回應計畫。監控系統日誌、使用者回饋和異常檢測機制，及時識別任何潛在的安全事件或隱私洩露。建立流程以及時回應此類事件，緩解潛在影響，確保將對使用者和資料的影響降至最低。
更多企業資料保護管理洞察，歡迎聯繫敦新科技 Veritas 事業部：Dw_veritas@dawningtech.com.tw