號稱可提供ChatGPT服務,實際是冒牌AI;視頻電話中熟悉的“親友”,是不法分子AI換臉模擬而成;為博取流量,用AI技術編造虛假謠言,流量變“流毒”……
隨著人工智能的發展迭代,生成式AI正以前所未有的速度重塑著日常生活,但由此衍生出的新騙局、新套路也在刷新人們對風險防范的認知。這背后不僅關乎廣大消費者的財產安全,還潛藏著人身安全風險和隱患。記者梳理近期管理部門查處的AI相關案件,揭開人工智能“圈套”背后的真相。
9塊9使用ChatGPT?其實是“套殼AI”
自人工智能產品ChatGPT爆火,一些企業看到無限“錢景”,強行“關聯”。一時間,市場上涌現出不少與ChatGPT“沾親帶故”的服務產品。2023年2月,一個名為“ChatGPT在線”的公眾號引起了上海市徐匯區市場監管部門的注意。
這個頭像與ChatGPT原開發公司官方標識高度相似的公眾號,在用戶短暫免費體驗后即需注冊會員付費使用,支付9.9元可以對話20次,隨著對話次數增加,其收費也逐步提高。該公眾號僅用兩個月就吸納超36萬人的粉絲量,累計注冊付費用戶4231人,經營額共計125385.44元。
執法人員調查發現,該公眾號的運營公司與實際ChatGPT開發公司并無關聯。所謂“ChatGPT在線”也并非“ChatGPT”產品本身。“當事人為實現銷售目的,使用類似圖像、名稱及服務簡介等多種手段實施復合性混淆行為,利用‘ChatGPT’熱點進行攀附,混淆真實情況,謀取交易機會,獲取不當利益。”上海市徐匯區市場監督管理局執法稽查科副科長張琦說,當事人行為違反了《中華人民共和國反不正當競爭法》第六條第(四)項的規定,市場監管部門已責令其停止違法行為,處以罰款,并要求其妥善處置相關消費糾紛。
記者發現,“冒牌AI”的現象并不少見。2023年,百度“文心一言”上市前夕,網上出現大量打著“文心一言”旗號的社交媒體賬號。隨后百度官方發文辟謠稱“文心一言”尚未注冊社交賬號。
“人工智能大模型開源生態的建立,讓AI發展加速的同時也讓生成式AI更容易被濫用。”中國行政法學研究會常務理事、華東政法大學教授沈??≌J為,考慮到立法的滯后性,監管部門還需更加關注新技術發展對市場端的影響,加大事前監管力度,充分運用現有的法律法規資源實施有效監管,切莫使新問題隱匿在“監管盲區”。
張琦也表示,消費者出于對新興技術的好奇,往往在不知不覺陷入“圈套”。“如果誤用了別有用心的‘套殼AI’,甚至可能被不法分子套取個人信息,埋下安全隱患。”他建議,消費者在選擇AI產品時需仔細甄別,避免被商家誤導。“如果購買到了仿冒產品,要保留好相應的產品購買憑證,主動聯系監管部門,維護自身合法權益。”
“AI換臉”詐騙,眼見不一定為實
只需一通視頻電話,不法分子就騙走了430萬元。2023年4月,福建省某科技公司法定代表人郭先生接到“好友”的微信視頻通話,對方聲稱自己當下需要430萬元保證金用以項目競標,想借用郭先生公司的賬戶“走個賬”。因為有先前的視頻通話,加之對“好友”的信任,郭先生陸續給對方轉賬共計430萬元。隨后郭先生再次聯系好友時才發現自己被騙。所幸在警方幫助下,成功止付攔截336.84萬元。
據郭先生回憶,由于在視頻電話中確認了對方的面孔和聲音,所以毫不懷疑對方身份有詐。不僅如此,犯罪分子還精準了解郭先生與好友的關系,并成功盜取好友微信賬號實施詐騙,令人不寒而栗。
AI技術的迭代升級讓不法分子借助智能AI換臉和擬聲技術,就可輕松實現遠程視頻詐騙。記者調查發現,最近多地出現的AI換臉詐騙案件,均具備定制性、迷惑性等特征。
其中,香港警方近期披露一起涉案金額高達2億港元的多人AI換臉詐騙案尤為典型。據媒體報道,某公司職員受邀參加公司“多人視頻會議”時,先后將2億港元分別轉賬到5個本地銀行賬戶內。據警方調查,這場視頻會議中除了受害者外,其余均為AI換臉后的詐騙人員。
不少業內專家表示,隨著文生視頻大模型Sora等多模態人工智能的探索和出現,人們可能陷入“眼見也不一定為實”的困局。“一直以來,銀行等部門將實時視頻用做檢驗身份的手段之一,如今其可靠性將面臨巨大挑戰。”沈??≌f,“隨著人工智能技術的迭代升級,這類違法行為還可能演變出更多形態。”
沈??√寡?,對此類AI換臉和AI擬聲的惡性詐騙案件,若只依靠傳統監管手段已不能防堵,監管部門在提升自我科技能力儲備的同時,有必要引入新興技術,探索用AI技術監管AI的可能。
從消費者角度出發,沈??〗ㄗh提升全民個人信息保護意識,謹防隱私泄露。“不管是在互聯網上還是社交軟件上,盡量避免過多地暴露自己的信息,在涉及轉賬交易等行為時,可以多角度詢問身份信息,反復驗證對方是否為本人。”
警惕“AI造謠”,小心“流量”變“流毒”
當前AIGC技術已在文本生成、圖片創作等方面廣泛應用,輸入幾個關鍵詞即可由AI快速生成一張畫或一篇文章。但一些用戶為博眼球、蹭熱度,卻將人工智能技術用以編“偽消息”,造“假通報”。
2023年6月,一條名為《浙江工業園現大火濃煙滾滾,目擊者稱有爆炸聲!》的視頻在網絡上流傳,引發網友關注。后經相關部門核實為謠言。據調查,當事人為給自己賬號漲粉引流,獲取更多利益,通過非法渠道購買了AI視頻生成軟件。該當事人將網絡熱門話題通過AI自動生成視頻產品,并上傳至多個熱門視頻平臺。
截至案發,相關當事人發布的虛假視頻多達20余條,涉及浙江、湖南、上海、四川等多個省市,累計閱讀觀看量超過167萬次。目前浙江紹興上虞法院已開庭審理并當庭宣判了這起案件,兩名被告均被判處有期徒刑。
但“AI謠言”仍時有發生。2024年1月,廣西東興市駱某某為博取流量,將其他地區的抗洪、救災視頻,經AI軟件自動編輯,編造新疆烏什縣發生地震的虛假視頻信息。同年1月,四川一網民在某平臺發布“貴州女嬰被棄”的謠言文章。經調查,該涉謠文章由AI系統生成并發布,相關言論及照片均為不實信息。
技術的普及帶動自媒體產業的繁榮。但一些網民為獲取流量不惜利用技術手段編造生成虛假視頻,讓“AI謠言”在網絡上傳播,不僅給網絡安全帶來嚴峻挑戰,也嚴重擾亂社會秩序。
2023年,最高人民法院、最高人民檢察院、公安部聯合發布的《關于依法懲治網絡暴力違法犯罪的指導意見》中規定,對“利用‘深度合成’等生成式人工智能技術發布違法信息”的情形,依法從重處罰。
對此,沈??〉榷辔粚<冶硎?,一方面,要提高廣大自媒體經營者的法律意識,從源頭減少此類“AI謠言”的產生;另一方面,監管部門也要加強相關案件的宣傳推廣,提高網民對“AI謠言”的鑒別力。
來源:澎湃
流程編輯:u027
如遇作品內容、版權等問題,請在相關文章刊發之日起30日內與本網聯系。版權侵權聯系電話:010-85202353
全部評論
0條