AI騙人!怎么破？

羊城晚報記者 羅清峣

帶貨主播AI換臉成女明星，真假難辨；B站音樂區(qū)掀起AI翻唱熱潮，“AI孫燕姿”全網(wǎng)走紅；一騙子借助AI技術(shù)冒充熟人視頻聊天，十分鐘詐騙430萬元……近日，以深度偽造（Deepfake）為核心技術(shù)的AI換臉變聲相關(guān)新聞層出不窮，越來越多的人意識到AI是一把雙刃劍。如何明晰真?zhèn)芜吔?，讓科技持續(xù)“向善”，成為一個亟需回答的問題。

換臉帶貨

【資料圖】

“楊冪”“迪麗熱巴”

直播間里真假難辨

“看了好幾個直播間，我都驚呆了，要么是佟麗婭，要么是迪麗熱巴，（主播）全都把臉換成了明星帶貨。”近日，從事直播行業(yè)的小美在社交媒體上的發(fā)言引發(fā)大量討論。記者發(fā)現(xiàn)，商家利用AI軟件把主播換臉成女明星進行帶貨的現(xiàn)象越來越普遍，不少直播間的AI換臉達到了以假亂真的地步。

記者按照多位網(wǎng)友的爆料，來到了某個以s開頭的服裝品牌的直播間，該品牌每天會在平臺上進行直播帶貨，主播疑似AI換臉成楊冪?！拔骞賻缀跻荒Ｒ粯樱B牙齒都一樣。”爆料人表示，自己曾向該品牌客服質(zhì)疑主播是AI換臉，對方回復(fù)稱“長得像，化妝的”。

為了驗證上述客服回復(fù)是否屬實，記者邀請業(yè)內(nèi)人士、英荔人工智能教育研究院成員陳海權(quán)一同到該直播間觀看直播。十分鐘內(nèi)，除了出現(xiàn)了數(shù)次臉型突然變大或者變小的情況外，沒有其他破綻出現(xiàn)。陳海權(quán)表示，這個破綻無法判斷是AI換臉時出現(xiàn)的識別失誤還是真人的瘦臉特效。他表示，以目前的技術(shù)，只要有足夠預(yù)算和時間，可以把AI做得基本和真人無異，僅憑人眼難以分辨是AI換臉還是真人，“坦白講，普通人只能靠找出特別明顯的破綻進行區(qū)分”。

要不是看到了破綻，網(wǎng)友小包還發(fā)現(xiàn)不了抖音直播間里賣茶葉的不是真正的迪麗熱巴。她告訴記者，近日，她在看直播時發(fā)現(xiàn)，一名五官幾乎和迪麗熱巴一模一樣的主播低頭整理頭發(fā)時，“腦門上全是黑的”，才意識到這是用了AI換臉。

記者搜索發(fā)現(xiàn)，目前網(wǎng)絡(luò)平臺上有多款可以進行AI換臉的軟件出售，價格從幾十元到上萬元不等。有男性博主表示，花99元購買軟件之后，只需一臺電腦和一個攝像頭就能讓人“換個面容”直播。記者來到該博主的直播間，看到他確實只“動動手指”，就使用軟件把自己變成了一個“膚白貌美”的女性。

語音模擬

“AI孫燕姿”作品上千

孫燕姿自嘲爭不過

記者了解到，AI換臉使用的是深度偽造技術(shù)——該技術(shù)能將圖片或視頻合并疊加到源圖片或視頻上，借助神經(jīng)網(wǎng)絡(luò)技術(shù)進行大樣本學(xué)習(xí)，從而將個人的聲音、面部表情及身體動作拼接合成虛假內(nèi)容。該技術(shù)除了最常見的AI換臉之外，還包括人臉合成、視頻生成以及語音模擬等。其中，語音模擬層面，最貼近生活的例子就是地圖軟件里的明星語音包，目前許多地圖還推出了語音定制服務(wù)，用戶只需錄入三至九句話，就能擁有定制語音包?？梢哉f，深度偽造技術(shù)而今已無處不在。

近來，B站音樂區(qū)掀起了一波AI翻唱熱潮。在AI技術(shù)加持下，孫燕姿、周杰倫、林俊杰、陳奕迅等一眾歌手紛紛化身“AI點唱機”。據(jù)不完全統(tǒng)計，“AI孫燕姿”迄今已擁有上千首翻唱歌曲，最火的作品播放量破百萬。

“諷刺的是，人類無法超越它已指日可待?！?月23日，孫燕姿在社交平臺上發(fā)布《我的AI》一文，首度回應(yīng)了自己對AI技術(shù)的看法?！澳愀粋€每幾分鐘就推出一張新專輯的‘人’還有什么好爭的?！睂O燕姿在文中自嘲，“你并不特別，你已經(jīng)是可預(yù)測的，而且不幸的是，你也是可塑的。”

律師分析

未經(jīng)同意換臉明星

或涉多種侵權(quán)行為

無論是AI換臉明星還是語音模擬明星翻唱，都可能造成侵權(quán)。

廣州徑文律師事務(wù)所律師陳文妍表示，未經(jīng)明星允許或經(jīng)紀(jì)公司授權(quán)，擅自使用藝人肖像進行商業(yè)活動，侵犯了其肖像權(quán)。“若導(dǎo)致特定主體的形象被扭曲，且視頻大量傳播后導(dǎo)致主體的社會評價顯著降低，又侵害了主體的名譽權(quán)。”

事實上，不少明星已拿起法律武器應(yīng)對商業(yè)AI換臉行為。2021年9月，歌手林俊杰狀告上海寬娛數(shù)碼科技有限公司、肖某，案由為肖像權(quán)糾紛：肖某在B站個人賬號中發(fā)布了多個娛樂視頻，林俊杰的肖像被AI換臉放在了視頻中。最后法院判肖某公開賠禮道歉，并向原告賠償經(jīng)濟損失、精神損害撫慰金等共275000元。

一些商家為了規(guī)避風(fēng)險，會使用多種特效，改變AI換臉而成的某些特征，讓主播和明星“似像非像”。這樣的行為能否認(rèn)定為侵權(quán)呢？陳文妍表示，肖像權(quán)最核心的是可識別性，“如果換臉后，普通人能夠一眼看出他就是某個明星，也可以認(rèn)定為侵權(quán)”。

陳文妍認(rèn)為，盡管商業(yè)AI換臉行為或觸碰法律紅線，但因目前深度偽造屬于較新的技術(shù)，現(xiàn)實當(dāng)中司法實踐和判例尚不多，“所以許多商家仍會抱著試一試的態(tài)度去做”。

詐騙翻新

AI冒充“好友”來電

十分鐘騙走430萬元

如果說AI換臉商業(yè)行為存在邊界問題，需進一步厘清；那么，近期國內(nèi)外發(fā)生的多起利用AI實施的電信詐騙案件，則更向全社會敲響了警鐘。

近日，包頭警方發(fā)布的一起AI詐騙典型案例沖上熱搜。事情發(fā)生在上月中旬，福州市某科技公司法人代表郭先生突然接到好友的微信視頻，對方稱自己需要430萬元保證金，想借郭先生公司的賬戶走賬，向郭先生要了銀行卡號，還把銀行轉(zhuǎn)賬底單的截圖通過微信發(fā)給郭先生?；趯糜训男湃危由弦淹ㄟ^視頻聊天見到“真人”，郭先生沒有核實錢款是否到賬，十分鐘內(nèi)就分兩筆把430萬元轉(zhuǎn)到了對方提供的銀行卡上。轉(zhuǎn)賬完畢后，郭先生撥打這位好友的電話，好友竟不知道此事。他這才反應(yīng)過來，原來遇上了高端的電信詐騙！騙子通過AI換臉和擬聲技術(shù)，冒充好友對他實施了詐騙。接到郭先生報警后，警方成功止付攔截336.84萬元，但仍有93.16萬元被轉(zhuǎn)移，目前正在全力追繳中。

記者以“AI電信詐騙”為關(guān)鍵詞進行檢索，發(fā)現(xiàn)近年來此類案例層出不窮。常州的小劉接到“初中同學(xué)”視頻電話后，“借”了6000元給騙子；公司財務(wù)小王接到“領(lǐng)導(dǎo)”電話信以為真，轉(zhuǎn)款2萬元；王某接到省外某派出所“警官”微信視頻，對方宣稱，王某涉嫌洗錢等違法犯罪，需要向“安全賬戶”轉(zhuǎn)賬，因?qū)Ψ酵ㄟ^視頻與王某進行了“交流”，王某深信不疑，最終受騙……

利用高科技實施電信詐騙，對普通老百姓來說堪稱“降維打擊”。該如何預(yù)防？共青團北京市委員會官方微博提供了兩個識別AI換臉的小技巧：在視頻聊天時，如果擔(dān)心對方有AI換臉詐騙的可能，可以要求對方將一根手指或者其他物體放在臉前來回移動；也可以要求對方左轉(zhuǎn)或者右轉(zhuǎn)，然后觀察他的側(cè)臉。

監(jiān)管信號

規(guī)范生成式AI發(fā)展

首個管理辦法擬出臺

隨著AI技術(shù)不斷發(fā)展，其安全問題受到越來越多的關(guān)注，監(jiān)管正走向規(guī)范化。

記者了解到，今年1月10日起施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》，從技術(shù)提供者、服務(wù)使用者以及監(jiān)管等各方面，對技術(shù)的應(yīng)用提出規(guī)范。其中明確，深度合成服務(wù)提供者主體不得利用深度合成服務(wù)從事違法活動，需落實信息安全主體責(zé)任，建立健全管理制度和技術(shù)保障措施。深度合成服務(wù)提供者和技術(shù)支持者提供人臉、人聲等生物識別信息編輯功能的，應(yīng)當(dāng)提示深度合成服務(wù)使用者依法告知被編輯的個人，并取得其單獨同意。

4月11日，國家互聯(lián)網(wǎng)信息辦公室發(fā)布《生成式人工智能服務(wù)管理辦法（征求意見稿）》。這或?qū)⒊蔀槲覈鴮ｉT針對人工智能生成內(nèi)容發(fā)布的第一份政府文件，總的基調(diào)是包容而審慎。

征求意見稿提出，利用生成式人工智能生成的內(nèi)容應(yīng)當(dāng)真實準(zhǔn)確，采取措施防止生成虛假信息。利用生成式人工智能產(chǎn)品提供聊天和文本、圖像、聲音生成等服務(wù)的組織和個人（以下稱“提供者”），包括通過提供可編程接口等方式支持他人自行生成文本、圖像、聲音等，承擔(dān)該產(chǎn)品生成內(nèi)容生產(chǎn)者的責(zé)任；涉及個人信息的，承擔(dān)個人信息處理者的法定責(zé)任，履行個人信息保護義務(wù)。提供者應(yīng)當(dāng)按照《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》對生成的圖片、視頻等內(nèi)容進行標(biāo)識……分析人士認(rèn)為，生成式人工智能監(jiān)管號角已經(jīng)吹響，產(chǎn)業(yè)格局和行業(yè)規(guī)則或?qū)l(fā)生重大改變。

5月初，相關(guān)短視頻平臺也發(fā)布了關(guān)于人工智能生成內(nèi)容的平臺規(guī)范暨行業(yè)倡議，要求創(chuàng)作者、主播、用戶、商家、廣告主等平臺生態(tài)參與者，在應(yīng)用生成式AI技術(shù)時遵循規(guī)范，包括發(fā)布者應(yīng)對AI生成內(nèi)容進行顯著標(biāo)識，禁止創(chuàng)作、發(fā)布侵權(quán)內(nèi)容等。