人工智能模型數(shù)據(jù)泄露的攻擊與防御研究綜述

????????警用裝備網(wǎng)訊：?人工智能和深度學(xué)習(xí)算法正在高速發(fā)展，這些新興技術(shù)在音視頻識(shí)別、自然語(yǔ)言處理等領(lǐng)域已經(jīng)得到了廣泛應(yīng)用。然而，近年來(lái)研究者發(fā)現(xiàn)，當(dāng)前主流的人工智能模型中存在著諸多安全隱患，并且這些隱患會(huì)限制人工智能技術(shù)的進(jìn)一步發(fā)展。因此，研究了人工智能模型中的數(shù)據(jù)安全與隱私保護(hù)問(wèn)題。對(duì)于數(shù)據(jù)與隱私泄露問(wèn)題，主要研究了基于模型輸出的數(shù)據(jù)泄露問(wèn)題和基于模型更新的數(shù)據(jù)泄露問(wèn)題。在基于模型輸出的數(shù)據(jù)泄露問(wèn)題中，主要探討了模型竊取攻擊、模型逆向攻擊、成員推斷攻擊的原理和研究現(xiàn)狀；在基于模型更新的數(shù)據(jù)泄露問(wèn)題中，探討了在分布式訓(xùn)練過(guò)程中，攻擊者如何竊取隱私數(shù)據(jù)的相關(guān)研究。對(duì)于數(shù)據(jù)與隱私保護(hù)問(wèn)題，主要研究了常用的3類(lèi)防御方法，即模型結(jié)構(gòu)防御，信息混淆防御，查詢(xún)控制防御。綜上，圍繞人工智能深度學(xué)習(xí)模型的數(shù)據(jù)安全與隱私保護(hù)領(lǐng)域中最前沿的研究成果，探討了人工智能深度學(xué)習(xí)模型的數(shù)據(jù)竊取和防御技術(shù)的理論基礎(chǔ)、重要成果以及相關(guān)應(yīng)用。

　　人工智能（AI，artificial intelligence）技術(shù)正在加速崛起，它的崛起依托于3個(gè)關(guān)鍵因素：深度神經(jīng)網(wǎng)絡(luò)（DNN，deep neural network）在多個(gè)經(jīng)典機(jī)器學(xué)習(xí)任務(wù)中取得了突破性進(jìn)展； 大數(shù)據(jù)處理技術(shù)的成熟以及海量數(shù)據(jù)的積累； 硬件計(jì)算能力的顯著提高。在這3個(gè)因素的推動(dòng)下， AI 技術(shù)已經(jīng)成功應(yīng)用于自動(dòng)駕駛、圖像識(shí)別、語(yǔ)音識(shí)別等場(chǎng)景，加速了傳統(tǒng)行業(yè)的智能化變革。

　　AI技術(shù)在我國(guó)已經(jīng)得到了廣泛的應(yīng)用。在電商領(lǐng)域，AI技術(shù)可以被用于用戶(hù)行為分析、網(wǎng)絡(luò)流量分析等任務(wù)，不僅使企業(yè)處理高并發(fā)業(yè)務(wù)更高效，而且提升了整體系統(tǒng)的魯棒性；在智能出行領(lǐng)域，AI技術(shù)可以被用于處理路徑規(guī)劃、司機(jī)乘客行為檢測(cè)等任務(wù)；在金融領(lǐng)域，AI技術(shù)可以執(zhí)行高頻交易、欺詐檢測(cè)、異常檢測(cè)等任務(wù)；在網(wǎng)絡(luò)安全領(lǐng)域，AI技術(shù)作為輔助工具被應(yīng)用于自動(dòng)化測(cè)試等任務(wù)中，極大地提升了安全人員在海量的大數(shù)據(jù)信息中定位異常點(diǎn)的效率。2017年，我國(guó)政府工作報(bào)告首次提及人工智能相關(guān)內(nèi)容，人工智能的發(fā)展也逐漸被上升到國(guó)家發(fā)展戰(zhàn)略高度。

　　目前大多數(shù)現(xiàn)實(shí)世界的機(jī)器學(xué)習(xí)任務(wù)是資源密集型的，需要依靠大量的計(jì)算資源和存儲(chǔ)資源完成模型的訓(xùn)練或預(yù)測(cè)，因此，亞馬遜、谷歌、微軟等云服務(wù)商往往通過(guò)提供機(jī)器學(xué)習(xí)服務(wù)來(lái)抵消存儲(chǔ)和計(jì)算需求。機(jī)器學(xué)習(xí)服務(wù)商提供訓(xùn)練平臺(tái)和使用模型的查詢(xún)接口，而使用者可以通過(guò)這些接口來(lái)對(duì)一些實(shí)例進(jìn)行查詢(xún)。一般來(lái)說(shuō)，服務(wù)商或者模型提供者會(huì)對(duì)使用者的查詢(xún)操作按次進(jìn)行收費(fèi)。

　　但 AI 技術(shù)在高速發(fā)展的同時(shí)面臨著嚴(yán)峻的數(shù)據(jù)泄露風(fēng)險(xiǎn)。AI模型的參數(shù)需要得到保護(hù)，否則將對(duì)模型擁有者帶來(lái)巨大的經(jīng)濟(jì)損失。此外，AI技術(shù)所需要的樣本數(shù)據(jù)往往包含了個(gè)人的隱私數(shù)據(jù)，這些隱私數(shù)據(jù)一旦被泄露，將會(huì)為模型擁有者帶來(lái)巨大的經(jīng)濟(jì)風(fēng)險(xiǎn)和法律風(fēng)險(xiǎn)。2017年，我國(guó)頒布的《中華人民共和國(guó)網(wǎng)絡(luò)安全法》也強(qiáng)調(diào)了對(duì)個(gè)人隱私信息的保護(hù)。因此，如何充分防范AI技術(shù)應(yīng)用中的數(shù)據(jù)泄露風(fēng)險(xiǎn)，成為該技術(shù)進(jìn)一步發(fā)展與部署的阻礙之一。

　　為了保障人工智能模型相關(guān)信息的隱私性，云服務(wù)商會(huì)保證自身模型的隱秘性，僅提供一個(gè)接口來(lái)為使用者提供服務(wù)，從而保證模型使用者無(wú)法接觸到模型數(shù)據(jù)。然而近年來(lái)，仍然出現(xiàn)了大量試圖破壞人工智能模型數(shù)據(jù)隱私性的攻擊。研究者發(fā)現(xiàn)深度學(xué)習(xí)模型使用過(guò)程中產(chǎn)生的相關(guān)計(jì)算數(shù)據(jù)，包括輸出向量、模型參數(shù)、模型梯度等，可能會(huì)泄露訓(xùn)練數(shù)據(jù)的敏感信息或者模型自身的屬性參數(shù)[1]。更糟的是，這些數(shù)據(jù)往往又不可避免地會(huì)被泄露給攻擊者，尤其是某些模型的輸出結(jié)果向量。這使深度學(xué)習(xí)模型的數(shù)據(jù)泄露問(wèn)題難以避免。例如，模型逆向攻擊，攻擊者可以在不接觸隱私數(shù)據(jù)的情況下利用模型輸出結(jié)果等信息來(lái)反向推導(dǎo)出用戶(hù)的隱私數(shù)據(jù)；成員推斷攻擊，攻擊者可以根據(jù)模型的輸出判斷一個(gè)具體的數(shù)據(jù)是否存在于訓(xùn)練集中。而這類(lèi)攻擊只需要與云服務(wù)的接口進(jìn)行交互。實(shí)際應(yīng)用中，這類(lèi)信息竊取攻擊會(huì)導(dǎo)致嚴(yán)重的隱私泄露，如人臉識(shí)別模型返回的結(jié)果向量可以被用于恢復(fù)訓(xùn)練數(shù)據(jù)或者預(yù)測(cè)數(shù)據(jù)中的人臉圖像，這將導(dǎo)致用戶(hù)的肖像信息被泄露。攻擊者還可以通過(guò)模型輸出結(jié)果竊取相關(guān)模型的參數(shù)，對(duì)模型擁有者造成嚴(yán)重的經(jīng)濟(jì)損失[2]。

　　此外，隨著聯(lián)邦學(xué)習(xí)[3]等分布式機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，攻擊者有可能成為模型訓(xùn)練過(guò)程中的參與方。一般而言，聯(lián)邦學(xué)習(xí)中的參與方無(wú)法獲知彼此的輸入數(shù)據(jù)等隱私信息，但由于攻擊者能夠獲得模型在訓(xùn)練過(guò)程中的輸出、模型參數(shù)和梯度等信息，這大大提升了攻擊者的能力，使攻擊者竊取其他參與方隱私數(shù)據(jù)成為可能。這將給分布式機(jī)器學(xué)習(xí)技術(shù)的發(fā)展帶來(lái)嚴(yán)重的阻礙。

　　近年來(lái)，許多研究者提出了各種機(jī)制來(lái)防御針對(duì) AI 技術(shù)的隱私攻擊。通過(guò)對(duì)模型結(jié)構(gòu)的修改，為輸出向量添加特定噪聲，結(jié)合差分隱私等技術(shù)，能夠有效防御特定的隱私泄露攻擊。

　　本文將介紹目前研究較多的數(shù)據(jù)推斷攻擊，包括模型竊取攻擊、模型逆向攻擊、成員推斷攻擊。并介紹針對(duì)上述不同攻擊的防御機(jī)制，其生成的具備隱私保護(hù)功能的模型能夠抵抗特定的數(shù)據(jù)推斷攻擊。

  新聞稿件歡迎直接聯(lián)系：QQ 34004818 微信公眾號(hào)：cpsjyzb

相關(guān)閱讀

• 筑牢人工智能安全防火墻
• 美軍補(bǔ)給無(wú)人機(jī)簡(jiǎn)述
• 楊金才：低空經(jīng)濟(jì)萬(wàn)億市場(chǎng)開(kāi)啟，無(wú)
• 情緒識(shí)別，安檢的下一個(gè)風(fēng)口？
• 無(wú)人裝備朝著主戰(zhàn)化加速演進(jìn)
• 俄烏沖突中的反無(wú)人機(jī)作戰(zhàn)方式

0 條評(píng)論

• 還沒(méi)有人評(píng)論過(guò)，趕快搶沙發(fā)吧！