在企業(yè)中使用人工智能驅(qū)動(dòng)的聊天機(jī)器人的風(fēng)險(xiǎn)

責(zé)任編輯:cres

作者:Victor Dey

2023-04-19 10:48:05

來(lái)源:企業(yè)網(wǎng)D1Net

原創(chuàng)

與任何顛覆性技術(shù)一樣,像ChatGPT這樣的生成式人工智能系統(tǒng)也存在潛在風(fēng)險(xiǎn)。特別是,科技行業(yè)的主要參與者、國(guó)家情報(bào)機(jī)構(gòu)和其他政府機(jī)構(gòu)都對(duì)將敏感信息輸入ChatGPT等人工智能系統(tǒng)發(fā)出了警告。

自2022年11月ChatGPT正式推出以來(lái),已有數(shù)百萬(wàn)用戶(hù)瘋狂涌入。由于其出色的類(lèi)人語(yǔ)言生成能力,編程軟件的天賦,以及閃電般的文本分析能力,ChatGPT已經(jīng)迅速成為開(kāi)發(fā)人員、研究人員和日常用戶(hù)的首選工具。
 
與任何顛覆性技術(shù)一樣,像ChatGPT這樣的生成式人工智能系統(tǒng)也存在潛在風(fēng)險(xiǎn)。特別是,科技行業(yè)的主要參與者、國(guó)家情報(bào)機(jī)構(gòu)和其他政府機(jī)構(gòu)都對(duì)將敏感信息輸入ChatGPT等人工智能系統(tǒng)發(fā)出了警告。
 
對(duì)ChatGPT存在安全風(fēng)險(xiǎn)的擔(dān)憂(yōu)源于信息可能會(huì)通過(guò)ChatGPT最終泄露到公共領(lǐng)域,無(wú)論是通過(guò)安全漏洞還是使用用戶(hù)生成的內(nèi)容來(lái)“訓(xùn)練”聊天機(jī)器人。
 
為了應(yīng)對(duì)這些擔(dān)憂(yōu),技術(shù)公司正在采取行動(dòng),減輕與大型語(yǔ)言模型(LLMs)和會(huì)話(huà)式AI (CAI)相關(guān)的安全風(fēng)險(xiǎn)。一些企業(yè)甚至已經(jīng)選擇完全禁用ChatGPT,而其他企業(yè)則警告其員工將機(jī)密數(shù)據(jù)輸入此類(lèi)模型的危險(xiǎn)。
 
ChatGPT:一個(gè)可怕的開(kāi)放AI?
 
人工智能驅(qū)動(dòng)的ChatGPT已經(jīng)成為企業(yè)優(yōu)化運(yùn)營(yíng)和簡(jiǎn)化復(fù)雜任務(wù)的流行工具。然而,最近的事件凸顯了通過(guò)該平臺(tái)分享機(jī)密信息的潛在危險(xiǎn)。
 
令人不安的是,在不到一個(gè)月的時(shí)間里,就報(bào)告了三起通過(guò)ChatGPT泄露敏感數(shù)據(jù)的事件。韓國(guó)媒體報(bào)道稱(chēng),智能手機(jī)制造商三星(Samsung)主要半導(dǎo)體工廠的員工將機(jī)密信息(包括用于解決編程錯(cuò)誤的高度敏感源代碼)輸入人工智能聊天機(jī)器人,引發(fā)了爭(zhēng)議。
 
源代碼是任何技術(shù)公司最嚴(yán)密保護(hù)的秘密之一,因?yàn)樗侨魏诬浖虿僮飨到y(tǒng)的基礎(chǔ)構(gòu)件。而現(xiàn)在,如此寶貴的商業(yè)機(jī)密無(wú)意中落入了OpenAI的手中。
 
據(jù)知情人士透露,三星目前已經(jīng)限制了其員工訪問(wèn)ChatGPT的權(quán)限。
 
包括亞馬遜(Amazon)、沃爾瑪(Walmart)和摩根大通(JPMorgan)在內(nèi)的其他《財(cái)富》500強(qiáng)企業(yè)集團(tuán),也遇到過(guò)員工不小心將敏感數(shù)據(jù)輸入聊天機(jī)器人的類(lèi)似情況。
 
之前也出現(xiàn)過(guò)有關(guān)亞馬遜員工使用ChatGPT獲取機(jī)密客戶(hù)信息的報(bào)道,此事促使這家科技巨頭迅速限制了該工具的使用,并嚴(yán)厲警告員工不要將任何敏感數(shù)據(jù)輸入該工具。
 
“不完美”的模型:缺乏智慧的知識(shí)庫(kù)
 
人工智能驅(qū)動(dòng)的數(shù)字體驗(yàn)平臺(tái)Coveo的機(jī)器學(xué)習(xí)總監(jiān)Mathieu Fortier表示,GPT-4和LLaMA等LLMs存在多個(gè)不完美之處,并警告說(shuō),盡管它們?cè)谡Z(yǔ)言理解方面很出色,但這些模型缺乏識(shí)別準(zhǔn)確性、不變定律、物理現(xiàn)實(shí)和其他非語(yǔ)言方面的能力。
 
雖然LLM通過(guò)訓(xùn)練數(shù)據(jù)構(gòu)建了廣泛的內(nèi)在知識(shí)庫(kù),但它們沒(méi)有明確的真理或事實(shí)準(zhǔn)確性概念。此外,它們很容易受到安全漏洞和數(shù)據(jù)提取攻擊,而且容易偏離預(yù)期的反應(yīng)或表現(xiàn)出“精神錯(cuò)亂的”特征——專(zhuān)業(yè)名稱(chēng)為“幻覺(jué)”。
 
Fortier強(qiáng)調(diào)了企業(yè)面臨的高風(fēng)險(xiǎn)。其后果可能會(huì)嚴(yán)重破壞客戶(hù)的信任,并對(duì)品牌聲譽(yù)造成不可挽回的損害,導(dǎo)致重大的法律和財(cái)務(wù)問(wèn)題。
 
緊跟其他科技巨頭的腳步,這家零售巨頭的科技部門(mén)沃爾瑪全球科技(Walmart Global tech)已采取措施降低數(shù)據(jù)泄露的風(fēng)險(xiǎn)。在給員工的一份內(nèi)部備忘錄中,該公司指示員工在檢測(cè)到可能危及企業(yè)數(shù)據(jù)和安全的可疑活動(dòng)后,立即屏蔽ChatGPT。
 
沃爾瑪?shù)囊晃话l(fā)言人表示,盡管該零售商正在基于GPT-4的功能創(chuàng)建自己的聊天機(jī)器人,但它已經(jīng)實(shí)施了多項(xiàng)措施,以保護(hù)員工和客戶(hù)數(shù)據(jù)不被ChatGPT等生成式人工智能工具傳播。
 
該發(fā)言人表示,“大多數(shù)新技術(shù)帶來(lái)了新的好處,也帶來(lái)了新的風(fēng)險(xiǎn)。因此,我們會(huì)評(píng)估這些新技術(shù),并為我們的員工提供使用指南,以保護(hù)我們的客戶(hù)、會(huì)員和員工的數(shù)據(jù),這并不罕見(jiàn)。利用現(xiàn)有技術(shù)(如Open AI),并在其上構(gòu)建一個(gè)更有效地與零售商溝通的層,使我們能夠開(kāi)發(fā)新的客戶(hù)體驗(yàn),并改善現(xiàn)有能力。”
 
除此之外,Verizon和Accenture等其他公司也采取了限制ChatGPT使用的措施,Verizon指示其員工將聊天機(jī)器人限制在非敏感任務(wù)上,Accenture則實(shí)施了更嚴(yán)格的控制,以確保遵守?cái)?shù)據(jù)隱私法規(guī)。
 
ChatGPT如何使用會(huì)話(huà)數(shù)據(jù)
 
更令人擔(dān)憂(yōu)的是,ChatGPT會(huì)保留用戶(hù)輸入數(shù)據(jù)以進(jìn)一步訓(xùn)練模型,這引發(fā)了關(guān)于敏感信息可能通過(guò)數(shù)據(jù)泄露或其他安全事件暴露的問(wèn)題。
 
OpenAI是流行的生成式人工智能模型ChatGPT和DALL-E背后的公司,最近實(shí)施了一項(xiàng)新政策,以改善用戶(hù)數(shù)據(jù)隱私和安全性。
 
從今年3月1日起,API用戶(hù)必須明確選擇共享他們的數(shù)據(jù)以訓(xùn)練或改進(jìn)OpenAI的模型。
 
相比之下,對(duì)于非API服務(wù),如ChatGPT和DALL-E,如果用戶(hù)不希望OpenAI使用他們的數(shù)據(jù),則必須選擇退出。
 
OpenAI公司在最近更新的博客中稱(chēng),“當(dāng)您使用我們的非API消費(fèi)者服務(wù)ChatGPT或DALL-E時(shí),我們可能會(huì)使用您提供的數(shù)據(jù)來(lái)改進(jìn)我們的模型。與我們共享您的數(shù)據(jù)不僅有助于我們的模型變得更準(zhǔn)確,更好地解決您的具體問(wèn)題,還有助于提高它們的總體能力和安全性……您可以通過(guò)填寫(xiě)這張表格,填寫(xiě)您的組織ID和與帳戶(hù)所有者關(guān)聯(lián)的電子郵件地址,來(lái)請(qǐng)求退出使用您的數(shù)據(jù)來(lái)改善我們的非API服務(wù)。”
 
這一聲明是在對(duì)上述風(fēng)險(xiǎn)的擔(dān)憂(yōu)以及公司在處理敏感信息時(shí)需要謹(jǐn)慎的情況下發(fā)布的。意大利政府最近加入了這場(chǎng)爭(zhēng)論,在全國(guó)范圍內(nèi)禁止使用ChatGPT,理由是擔(dān)心數(shù)據(jù)隱私和安全。
 
OpenAI表示,它從用于改進(jìn)其人工智能模型的數(shù)據(jù)中刪除了任何個(gè)人身份信息,并且僅為此目的使用來(lái)自每個(gè)客戶(hù)的一小部分?jǐn)?shù)據(jù)樣本。
 
政府警告
 
英國(guó)政府通信總部(GCHQ)情報(bào)機(jī)構(gòu)通過(guò)其國(guó)家網(wǎng)絡(luò)安全中心(NCSC)發(fā)布了一份關(guān)于ChatGPT等大型語(yǔ)言模型(LLMs)的局限性和風(fēng)險(xiǎn)的警告。雖然這些模型因其令人印象深刻的自然語(yǔ)言處理能力而受到稱(chēng)贊,但NCSC警告說(shuō),它們并非絕對(duì)正確,可能包含嚴(yán)重的缺陷。
 
根據(jù)NCSC的說(shuō)法,LLM可以生成不正確或“幻覺(jué)”的事實(shí),正如Google Bard聊天機(jī)器人的第一次演示所展示的那樣。它們也會(huì)表現(xiàn)出偏見(jiàn)和輕信,尤其是在回答引導(dǎo)性問(wèn)題時(shí)。此外,這些模型需要大量的計(jì)算資源和大量的數(shù)據(jù)來(lái)從頭開(kāi)始訓(xùn)練,并且它們很容易受到注入攻擊和有毒內(nèi)容創(chuàng)建的影響。
 
Coveo公司的Fortier表示,“LLM根據(jù)提示(prompt)與內(nèi)部知識(shí)的內(nèi)在相似性來(lái)生成對(duì)提示的響應(yīng)。然而,鑒于它們沒(méi)有內(nèi)在的內(nèi)部‘硬規(guī)則’(hard rule)或推理能力,它們不可能100%成功地遵守不披露敏感信息的約束。盡管有努力減少敏感信息的生成,但如果LLM使用這些數(shù)據(jù)進(jìn)行訓(xùn)練,它可以重新生成這些信息。唯一的解決辦法就是不要用敏感材料來(lái)訓(xùn)練這些模型。用戶(hù)還應(yīng)避免在提示中向它們提供敏感信息,因?yàn)槟壳按蠖鄶?shù)服務(wù)都會(huì)將這些信息保存在它們的日志中。”
 
生成式人工智能安全和道德使用的最佳實(shí)踐
 
隨著企業(yè)繼續(xù)采用人工智能和其他新興技術(shù),確保適當(dāng)?shù)陌踩胧﹣?lái)保護(hù)敏感數(shù)據(jù)并防止機(jī)密信息的意外泄露將至關(guān)重要。
 
這些公司采取的行動(dòng)凸顯了在使用ChatGPT等人工智能語(yǔ)言模型時(shí)保持警惕的重要性。雖然這些工具可以極大地提高效率和生產(chǎn)力,但如果使用不當(dāng),它們會(huì)帶來(lái)重大風(fēng)險(xiǎn)。
 
會(huì)話(huà)式人工智能初創(chuàng)公司Got it AI的董事長(zhǎng)Peter Relan建議稱(chēng),“最好的方法是將語(yǔ)言模型原始改進(jìn)中的每一個(gè)新發(fā)展都納入到企業(yè)策略驅(qū)動(dòng)的架構(gòu)中,該架構(gòu)將一個(gè)語(yǔ)言模型與用于防護(hù)的預(yù)處理器和后處理器結(jié)合起來(lái),針對(duì)特定于企業(yè)的數(shù)據(jù)對(duì)它們進(jìn)行微調(diào),然后甚至還可以進(jìn)行本地部署。否則,原始語(yǔ)言模型太強(qiáng)大了,有時(shí)在企業(yè)中處理是有害的。”
 
英偉達(dá)支持的對(duì)話(huà)式人工智能平臺(tái)Kore. ai的首席技術(shù)官Prasanna Arikala表示,未來(lái),公司將有必要限制LLM訪問(wèn)敏感和個(gè)人信息,以避免違規(guī)。
 
Arikala指出,“實(shí)施嚴(yán)格的訪問(wèn)控制,如多因素身份驗(yàn)證,以及對(duì)敏感數(shù)據(jù)進(jìn)行加密,可以幫助緩解這些風(fēng)險(xiǎn)。此外,還需要定期進(jìn)行安全審計(jì)和漏洞評(píng)估,以識(shí)別和消除潛在的漏洞。如果使用得當(dāng),LLM是很有價(jià)值的工具,但對(duì)于公司來(lái)說(shuō),采取必要的預(yù)防措施來(lái)保護(hù)敏感數(shù)據(jù)并保持客戶(hù)和利益相關(guān)者的信任至關(guān)重要。”
 
這些法規(guī)將如何演變還有待觀察,但企業(yè)必須保持警惕,保持領(lǐng)先地位。生成式人工智能在帶來(lái)潛在好處的同時(shí),也帶來(lái)了新的責(zé)任和挑戰(zhàn),技術(shù)行業(yè)需要與政策制定者一起努力,確保以負(fù)責(zé)任和合乎道德的方式開(kāi)發(fā)和實(shí)施這項(xiàng)技術(shù)。
 
關(guān)于企業(yè)網(wǎng)D1net(r5u5c.cn):
 
國(guó)內(nèi)主流的to B IT門(mén)戶(hù),同時(shí)在運(yùn)營(yíng)國(guó)內(nèi)最大的甲方CIO專(zhuān)家?guī)旌椭橇敵黾吧缃黄脚_(tái)-信眾智(www.cioall.com)。同時(shí)運(yùn)營(yíng)19個(gè)IT行業(yè)公眾號(hào)(微信搜索D1net即可關(guān)注)
 
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需在文章開(kāi)頭注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)