人工智能模型數(shù)據(jù)泄露的攻擊與防御研究綜述

????????警用裝備網訊：?人工智能和深度學習算法正在高速發(fā)展，這些新興技術在音視頻識別、自然語言處理等領域已經得到了廣泛應用。然而，近年來研究者發(fā)現(xiàn)，當前主流的人工智能模型中存在著諸多安全隱患，并且這些隱患會限制人工智能技術的進一步發(fā)展。因此，研究了人工智能模型中的數(shù)據(jù)安全與隱私保護問題。對于數(shù)據(jù)與隱私泄露問題，主要研究了基于模型輸出的數(shù)據(jù)泄露問題和基于模型更新的數(shù)據(jù)泄露問題。在基于模型輸出的數(shù)據(jù)泄露問題中，主要探討了模型竊取攻擊、模型逆向攻擊、成員推斷攻擊的原理和研究現(xiàn)狀；在基于模型更新的數(shù)據(jù)泄露問題中，探討了在分布式訓練過程中，攻擊者如何竊取隱私數(shù)據(jù)的相關研究。對于數(shù)據(jù)與隱私保護問題，主要研究了常用的3類防御方法，即模型結構防御，信息混淆防御，查詢控制防御。綜上，圍繞人工智能深度學習模型的數(shù)據(jù)安全與隱私保護領域中最前沿的研究成果，探討了人工智能深度學習模型的數(shù)據(jù)竊取和防御技術的理論基礎、重要成果以及相關應用。

　　人工智能（AI，artificial intelligence）技術正在加速崛起，它的崛起依托于3個關鍵因素：深度神經網絡（DNN，deep neural network）在多個經典機器學習任務中取得了突破性進展； 大數(shù)據(jù)處理技術的成熟以及海量數(shù)據(jù)的積累； 硬件計算能力的顯著提高。在這3個因素的推動下， AI 技術已經成功應用于自動駕駛、圖像識別、語音識別等場景，加速了傳統(tǒng)行業(yè)的智能化變革。

　　AI技術在我國已經得到了廣泛的應用。在電商領域，AI技術可以被用于用戶行為分析、網絡流量分析等任務，不僅使企業(yè)處理高并發(fā)業(yè)務更高效，而且提升了整體系統(tǒng)的魯棒性；在智能出行領域，AI技術可以被用于處理路徑規(guī)劃、司機乘客行為檢測等任務；在金融領域，AI技術可以執(zhí)行高頻交易、欺詐檢測、異常檢測等任務；在網絡安全領域，AI技術作為輔助工具被應用于自動化測試等任務中，極大地提升了安全人員在海量的大數(shù)據(jù)信息中定位異常點的效率。2017年，我國政府工作報告首次提及人工智能相關內容，人工智能的發(fā)展也逐漸被上升到國家發(fā)展戰(zhàn)略高度。

　　目前大多數(shù)現(xiàn)實世界的機器學習任務是資源密集型的，需要依靠大量的計算資源和存儲資源完成模型的訓練或預測，因此，亞馬遜、谷歌、微軟等云服務商往往通過提供機器學習服務來抵消存儲和計算需求。機器學習服務商提供訓練平臺和使用模型的查詢接口，而使用者可以通過這些接口來對一些實例進行查詢。一般來說，服務商或者模型提供者會對使用者的查詢操作按次進行收費。

　　但 AI 技術在高速發(fā)展的同時面臨著嚴峻的數(shù)據(jù)泄露風險。AI模型的參數(shù)需要得到保護，否則將對模型擁有者帶來巨大的經濟損失。此外，AI技術所需要的樣本數(shù)據(jù)往往包含了個人的隱私數(shù)據(jù)，這些隱私數(shù)據(jù)一旦被泄露，將會為模型擁有者帶來巨大的經濟風險和法律風險。2017年，我國頒布的《中華人民共和國網絡安全法》也強調了對個人隱私信息的保護。因此，如何充分防范AI技術應用中的數(shù)據(jù)泄露風險，成為該技術進一步發(fā)展與部署的阻礙之一。

　　為了保障人工智能模型相關信息的隱私性，云服務商會保證自身模型的隱秘性，僅提供一個接口來為使用者提供服務，從而保證模型使用者無法接觸到模型數(shù)據(jù)。然而近年來，仍然出現(xiàn)了大量試圖破壞人工智能模型數(shù)據(jù)隱私性的攻擊。研究者發(fā)現(xiàn)深度學習模型使用過程中產生的相關計算數(shù)據(jù)，包括輸出向量、模型參數(shù)、模型梯度等，可能會泄露訓練數(shù)據(jù)的敏感信息或者模型自身的屬性參數(shù)[1]。更糟的是，這些數(shù)據(jù)往往又不可避免地會被泄露給攻擊者，尤其是某些模型的輸出結果向量。這使深度學習模型的數(shù)據(jù)泄露問題難以避免。例如，模型逆向攻擊，攻擊者可以在不接觸隱私數(shù)據(jù)的情況下利用模型輸出結果等信息來反向推導出用戶的隱私數(shù)據(jù)；成員推斷攻擊，攻擊者可以根據(jù)模型的輸出判斷一個具體的數(shù)據(jù)是否存在于訓練集中。而這類攻擊只需要與云服務的接口進行交互。實際應用中，這類信息竊取攻擊會導致嚴重的隱私泄露，如人臉識別模型返回的結果向量可以被用于恢復訓練數(shù)據(jù)或者預測數(shù)據(jù)中的人臉圖像，這將導致用戶的肖像信息被泄露。攻擊者還可以通過模型輸出結果竊取相關模型的參數(shù)，對模型擁有者造成嚴重的經濟損失[2]。

　　此外，隨著聯(lián)邦學習[3]等分布式機器學習技術的發(fā)展，攻擊者有可能成為模型訓練過程中的參與方。一般而言，聯(lián)邦學習中的參與方無法獲知彼此的輸入數(shù)據(jù)等隱私信息，但由于攻擊者能夠獲得模型在訓練過程中的輸出、模型參數(shù)和梯度等信息，這大大提升了攻擊者的能力，使攻擊者竊取其他參與方隱私數(shù)據(jù)成為可能。這將給分布式機器學習技術的發(fā)展帶來嚴重的阻礙。

　　近年來，許多研究者提出了各種機制來防御針對 AI 技術的隱私攻擊。通過對模型結構的修改，為輸出向量添加特定噪聲，結合差分隱私等技術，能夠有效防御特定的隱私泄露攻擊。

　　本文將介紹目前研究較多的數(shù)據(jù)推斷攻擊，包括模型竊取攻擊、模型逆向攻擊、成員推斷攻擊。并介紹針對上述不同攻擊的防御機制，其生成的具備隱私保護功能的模型能夠抵抗特定的數(shù)據(jù)推斷攻擊。

  新聞稿件歡迎直接聯(lián)系：QQ 34004818 微信公眾號：cpsjyzb

相關閱讀

• 治安處罰=終身污點？
• 從 “刻度粗糙” 到 “精準守護
• 抗腐蝕技術：軍用裝備材料的“隱形
• 筑牢人工智能安全防火墻
• 美軍補給無人機簡述
• 楊金才：低空經濟萬億市場開啟，無

0 條評論

• 還沒有人評論過，趕快搶沙發(fā)吧！