讓GenAI提供更好答案的訣竅

責(zé)任編輯:cres

作者:Sharon Machlis

2024-03-01 14:45:45

來(lái)源:企業(yè)網(wǎng)D1Net

原創(chuàng)

Miso ai的聯(lián)合創(chuàng)始人Lucky Gunasekara和Andy Hsieh討論了如何超越檢索增強(qiáng)生成,打破問(wèn)題背景和假設(shè),這是企業(yè)級(jí)服務(wù)的關(guān)鍵。

GenAI作為一種界面提供了巨大的潛力,使用戶(hù)能夠以獨(dú)特的方式查詢(xún)你的數(shù)據(jù),以接收針對(duì)他們的需求的答案,例如,作為查詢(xún)助手,GenAI工具可以幫助客戶(hù)使用簡(jiǎn)單的問(wèn)答格式更好地導(dǎo)航廣泛的產(chǎn)品知識(shí)庫(kù)。
 
但在使用GenAI回答有關(guān)數(shù)據(jù)的問(wèn)題之前,重要的是首先評(píng)估所提出的問(wèn)題。
 
這是Miso.ai的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Lucky Gunasekara對(duì)當(dāng)今開(kāi)發(fā)GenAI工具的團(tuán)隊(duì)的建議。
 
出于對(duì)Miso.ai的產(chǎn)品Smart Answers如何展現(xiàn)其洞察力的興趣,我要求Gunasekara更深入地討論Miso.ai理解和回答用戶(hù)問(wèn)題的方法。
 
大型語(yǔ)言模型“實(shí)際上比我們想象的要幼稚得多”,Gunasekara說(shuō),例如,如果被問(wèn)到一個(gè)有強(qiáng)烈觀(guān)點(diǎn)的問(wèn)題,大語(yǔ)言模型很可能會(huì)去尋找證實(shí)這個(gè)觀(guān)點(diǎn)的精挑細(xì)選的數(shù)據(jù),即使現(xiàn)有的數(shù)據(jù)表明這個(gè)觀(guān)點(diǎn)是錯(cuò)誤的。因此,如果被問(wèn)到“為什么項(xiàng)目X失敗了?”,大語(yǔ)言模型可能會(huì)列出一個(gè)項(xiàng)目失敗的原因清單——即使它是成功的,而這不是你想要的一個(gè)面向公眾的應(yīng)用程序所做的事情。
 
Gunasekara指出,在所謂的RAG(檢索增強(qiáng)生成)應(yīng)用程序中,評(píng)估問(wèn)題是一個(gè)典型的遺漏步驟,RAG應(yīng)用程序?qū)⒋笳Z(yǔ)言模型指向特定的數(shù)據(jù)體,并告訴它僅根據(jù)該數(shù)據(jù)回答問(wèn)題。
 
這類(lèi)應(yīng)用程序通常遵循以下(稍微簡(jiǎn)化的)設(shè)置模式:
 
1.將現(xiàn)有數(shù)據(jù)拆分成塊,因?yàn)樗袛?shù)據(jù)都太大,無(wú)法放入單個(gè)大語(yǔ)言模型查詢(xún)中。
2.為每個(gè)塊生成所謂的嵌入,將該塊的語(yǔ)義表示為一串?dāng)?shù)字,并存儲(chǔ)它們,在數(shù)據(jù)更改時(shí)根據(jù)需要進(jìn)行更新。
 
然后是每一個(gè)問(wèn)題:
 
1.生成嵌入。
2.使用基于嵌入的計(jì)算,找出在含義上與問(wèn)題最相似的文本塊。
3.將用戶(hù)的問(wèn)題輸入大語(yǔ)言模型,并告訴它只根據(jù)最相關(guān)的塊來(lái)回答。
 
這就是Gunasekara的團(tuán)隊(duì)采取不同方法的地方,他們?cè)黾恿艘粋€(gè)步驟,在搜索相關(guān)信息之前檢查問(wèn)題。“我們不會(huì)直接問(wèn)這個(gè)問(wèn)題,而是首先問(wèn)這個(gè)假設(shè)是否正確”, Miso的首席技術(shù)官兼聯(lián)合創(chuàng)始人Andy Hsieh解釋說(shuō)。
 
除了檢查問(wèn)題中固有的假設(shè)外,還有其他方法來(lái)加強(qiáng)基本的RAG管道,以幫助改進(jìn)結(jié)果。Gunasekara建議超越基礎(chǔ),特別是在從實(shí)驗(yàn)階段轉(zhuǎn)向值得生產(chǎn)的解決方案時(shí)。
 
Gunasekara說(shuō):“有很多人強(qiáng)調(diào)‘建立一個(gè)矢量數(shù)據(jù)庫(kù),做一個(gè)RAG設(shè)置,一切都會(huì)開(kāi)箱即用’,這是一種很好的概念驗(yàn)證方式,但如果你需要做一項(xiàng)不會(huì)產(chǎn)生意想不到的后果的企業(yè)級(jí)服務(wù),那永遠(yuǎn)是上下文、上下文、上下文”。
 
這可能意味著除了使用文本的語(yǔ)義之外,還可以使用其他信號(hào),如新近和流行。Gunasekara指出了Miso正在與一個(gè)烹飪網(wǎng)站合作的另一個(gè)項(xiàng)目,該項(xiàng)目解構(gòu)了這個(gè)問(wèn)題:“派對(duì)上最好的烘焙蛋糕是什么?”
 
他說(shuō),你需要區(qū)分出你真正需要什么信號(hào)來(lái)進(jìn)行查詢(xún)。“Make-Advance”蛋糕的意思是不需要馬上端上,“for a party”的意思是它需要為不止幾個(gè)人服務(wù),還有一個(gè)問(wèn)題是,大語(yǔ)言模型如何確定哪些食譜是“最好的”,這可能意味著使用其他網(wǎng)站數(shù)據(jù),比如哪些食譜擁有最高的流量、最高的讀者排名,或者被授予編輯的選擇——所有這些都與查找和匯總相關(guān)文本塊分開(kāi)。
 
Gunasekara說(shuō):“把這些事情做好的許多竅門(mén)更多地體現(xiàn)在這些背景線(xiàn)索中”。
 
雖然大語(yǔ)言模型的質(zhì)量是另一個(gè)重要因素,但Miso認(rèn)為沒(méi)有必要使用最高評(píng)級(jí)和最昂貴的商業(yè)大語(yǔ)言模型,相反,Miso正在為一些客戶(hù)項(xiàng)目微調(diào)基于Llama 2的模型,這在一定程度上是為了降低成本,也是因?yàn)橐恍┛蛻?hù)不希望他們的數(shù)據(jù)泄露給第三方,Miso之所以這么做,也是因?yàn)镚unasekara所說(shuō)的“開(kāi)源大語(yǔ)言模型現(xiàn)在正在涌現(xiàn)一股巨大的力量”。
 
“開(kāi)源真的在迎頭趕上”,Hsieh補(bǔ)充道,“開(kāi)源模型非??赡軙?huì)超越GPT-4”。
 
企業(yè)網(wǎng)D1net(r5u5c.cn):
 
國(guó)內(nèi)主流的to B IT門(mén)戶(hù),同時(shí)在運(yùn)營(yíng)國(guó)內(nèi)最大的甲方CIO專(zhuān)家?guī)旌椭橇敵黾吧缃黄脚_(tái)-信眾智(www.cioall.com)。同時(shí)運(yùn)營(yíng)19個(gè)IT行業(yè)公眾號(hào)(微信搜索D1net即可關(guān)注)。
 
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需在文章開(kāi)頭注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)