對(duì)這個(gè)專(zhuān)注于商業(yè)和就業(yè)的社交媒體平臺(tái)來(lái)說(shuō)，將合格的候選人與潛在雇主連接起來(lái)，幫助填補(bǔ)職位空缺是其核心業(yè)務(wù)。同樣重要的是確保平臺(tái)上的帖子反饋與消費(fèi)者的需求相關(guān)。在LinkedIn的規(guī)模下，這些匹配過(guò)程一直依賴(lài)于技術(shù)。
在2023年夏天，當(dāng)GenAI的興趣首次高漲時(shí)，LinkedIn開(kāi)始考慮是否利用大型語(yǔ)言模型(LLMs)來(lái)匹配候選人與雇主，以及使信息流更加有用會(huì)更好。
因此，這家社交媒體巨頭開(kāi)啟了一段GenAI的旅程，并現(xiàn)在正在報(bào)告其利用Microsoft的Azure OpenAI服務(wù)的經(jīng)驗(yàn)成果。各行各業(yè)的CIOs都可以從LinkedIn在此過(guò)程中學(xué)到的一兩點(diǎn)經(jīng)驗(yàn)。
起伏跌宕
正如大多數(shù)CIO所經(jīng)歷的那樣，采用新興技術(shù)伴隨著試驗(yàn)和挫折。LinkedIn的情況也不例外，據(jù)該公司的首席軟件工程師及技術(shù)負(fù)責(zé)人Juan Bottaro所說(shuō)，其走向LLM洞察的道路一點(diǎn)也不平坦。
Bottaro表示，最初的成果“感覺(jué)不夠完善”，“連接的點(diǎn)還不夠多。”
圍繞GenAI的首波炒作并沒(méi)有幫助。
“LLM是新事物，感覺(jué)它能解決所有問(wèn)題，”Bottaro說(shuō)。“我們開(kāi)始時(shí)對(duì)LLM能做什么并沒(méi)有一個(gè)非常清晰的概念。”
例如，早期版本的改進(jìn)型職位匹配工作可以說(shuō)是相當(dāng)?shù)模靡粋€(gè)不太恰當(dāng)?shù)脑~來(lái)說(shuō)，粗魯。或者至少過(guò)于直白。
“點(diǎn)擊‘評(píng)估我是否適合這份工作’后得到‘你完全不適合’并不實(shí)用，”Bottaro說(shuō)。“我們希望[回應(yīng)]既事實(shí)準(zhǔn)確，同時(shí)也要有同理心。有些會(huì)員可能正在考慮轉(zhuǎn)行到他們目前并不十分適合的領(lǐng)域，需要幫助了解差距和下一步該怎么做。”
因此，LinkedIn初步學(xué)到的一個(gè)重要經(jīng)驗(yàn)是調(diào)整LLM以滿(mǎn)足觀(guān)眾的期望——并幫助LLM理解如何以一種或許不是人類(lèi)，但至少是人性化的方式來(lái)回應(yīng)。
速度問(wèn)題
盡管LinkedIn擁有超過(guò)十億會(huì)員，依靠LinkedIn的LLM工作的大部分求職功能最初是針對(duì)高級(jí)會(huì)員的，這是一個(gè)相對(duì)較小的群體。（LinkedIn拒絕透露其擁有多少高級(jí)會(huì)員。）
在如此大的規(guī)模運(yùn)作時(shí)，速度是至關(guān)重要的，特別是在與相關(guān)職位匹配候選人這樣細(xì)致的事務(wù)上。這里，人們認(rèn)為L(zhǎng)LM會(huì)有所幫助，因?yàn)長(zhǎng)LM的一個(gè)經(jīng)常被提及的優(yōu)點(diǎn)是其速度，使它們能夠迅速完成復(fù)雜的步驟。但Bottaro表示，LinkedIn的部署并非如此。
“我不會(huì)說(shuō)LLM很快。我不認(rèn)為速度是一個(gè)優(yōu)勢(shì)，”他說(shuō)。
速度可以有多種定義。雖然在操作上LLM可能沒(méi)有像希望的那樣快，但Bottaro表示整體部署過(guò)程的加速令人震驚。“這項(xiàng)新技術(shù)的超能力在于你可以非?？焖俚貏?chuàng)建原型，大約在兩到三個(gè)月之間。在這項(xiàng)技術(shù)出現(xiàn)之前，這是不可能的，”他說(shuō)。
當(dāng)被問(wèn)及如果沒(méi)有LLM，項(xiàng)目的各個(gè)方面需要多久時(shí)，Bottaro表示有些可能根本無(wú)法完成，而其他元素“可能需要幾年時(shí)間。”
作為一個(gè)例子，Bottaro提到了旨在理解意圖的系統(tǒng)部分。沒(méi)有LLM，這可能需要兩到三個(gè)月，但LLM在“不到一周”的時(shí)間內(nèi)就掌握了它。
成本考慮
Bottaro稱(chēng)之為“障礙”的一個(gè)方面是成本。同樣，成本在項(xiàng)目的不同階段意味著不同的東西，正如LinkedIn的經(jīng)驗(yàn)所示。
“我們用于開(kāi)發(fā)的金額微不足道，”Bottaro說(shuō)。但當(dāng)涉及到向LinkedIn的客戶(hù)提供數(shù)據(jù)時(shí)，成本激增。
“即便只是針對(duì)幾百萬(wàn)會(huì)員，”Bottaro說(shuō)，這可能暗示了高級(jí)會(huì)員的數(shù)量，價(jià)格也飆升了。這是因?yàn)長(zhǎng)LM的定價(jià)——至少是LinkedIn與Microsoft（其LLM提供商及母公司）達(dá)成的許可協(xié)議——是基于使用量的，具體來(lái)說(shuō)是輸入和輸出令牌的使用量。
一位AI供應(yīng)商的首席執(zhí)行官Tarun Thummala在一篇與此項(xiàng)目無(wú)關(guān)的LinkedIn帖子中解釋說(shuō)，LLM的輸入和輸出令牌大約相當(dāng)于0.75個(gè)單詞。LLM供應(yīng)商通常按成千上萬(wàn)或成百萬(wàn)賣(mài)令牌。例如，LinkedIn使用的Azure OpenAI在美國(guó)東部地區(qū)收費(fèi)標(biāo)準(zhǔn)為每100萬(wàn)個(gè)8K GPT-4輸入令牌30美元，每100萬(wàn)個(gè)8K GPT-4輸出令牌60美元。
評(píng)估挑戰(zhàn)
LinkedIn為其項(xiàng)目設(shè)定的另一個(gè)功能目標(biāo)是自動(dòng)評(píng)估。LLM在準(zhǔn)確性、相關(guān)性、安全性和其他關(guān)注點(diǎn)方面的評(píng)估一直是個(gè)挑戰(zhàn)。領(lǐng)先的組織和LLM制造商一直在嘗試自動(dòng)化一些工作，但據(jù)LinkedIn稱(chēng)，這種能力“仍然是在進(jìn)行中”。
沒(méi)有自動(dòng)化評(píng)估，LinkedIn報(bào)告稱(chēng)“工程師們只能靠目測(cè)結(jié)果，并在有限的樣本集上進(jìn)行測(cè)試，且通常會(huì)有超過(guò)1天的延遲才能知道指標(biāo)。”
該公司正在構(gòu)建基于模型的評(píng)估器，以幫助估計(jì)關(guān)鍵的LLM指標(biāo)，如整體質(zhì)量得分、幻覺(jué)率、連貫性和負(fù)責(zé)任的AI違規(guī)情況。這樣做將能夠加快實(shí)驗(yàn)的速度，公司的工程師說(shuō)，盡管LinkedIn的工程師在幻覺(jué)檢測(cè)方面取得了一些成功，但他們還沒(méi)有完成該領(lǐng)域的工作。
數(shù)據(jù)質(zhì)量
LinkedIn在其職位匹配努力中遇到的部分挑戰(zhàn)歸結(jié)為雙方的數(shù)據(jù)質(zhì)量問(wèn)題：雇主和潛在雇員。
LLM只能使用提供給它的數(shù)據(jù)，有時(shí)候職位發(fā)布并不精確或全面地說(shuō)明雇主所尋求的技能。另一方面，一些求職者發(fā)布的簡(jiǎn)歷表述不佳，無(wú)法有效反映他們?cè)诮鉀Q問(wèn)題等方面的豐富經(jīng)驗(yàn)。
在這方面，Bottaro看到了LLM幫助雇主和潛在雇員的潛力。通過(guò)改善雇主和LinkedIn用戶(hù)的書(shū)寫(xiě)，雙方都能受益，因?yàn)楣镜穆毼黄ヅ銵LM在數(shù)據(jù)輸入質(zhì)量更高時(shí)能夠更有效地工作。
用戶(hù)體驗(yàn)
在處理如此龐大的會(huì)員基礎(chǔ)時(shí)，準(zhǔn)確性和相關(guān)性指標(biāo)可能“給人一種虛假的安慰感，”Bottaro說(shuō)。例如，如果LLM“90%的時(shí)間都做得對(duì)，這意味著十分之一的人會(huì)有糟糕的體驗(yàn)，”他說(shuō)。
使這種部署更加困難的是，提供有用、有幫助且準(zhǔn)確答案所涉及的極端細(xì)微差別和判斷。
“你如何定義什么是好的，什么是壞的？我們花了很多時(shí)間與語(yǔ)言學(xué)家一起制定關(guān)于如何提供全面代表性的指導(dǎo)。我們也做了很多用戶(hù)研究，”Bottaro說(shuō)。“你如何訓(xùn)練人們撰寫(xiě)正確的回應(yīng)？你如何定義任務(wù)，規(guī)定回應(yīng)應(yīng)該是什么樣的？產(chǎn)品可能試圖建設(shè)性或有幫助。它不試圖假設(shè)太多，因?yàn)槟鞘腔糜X(jué)開(kāi)始的地方。我們對(duì)回應(yīng)的一致性感到非常自豪。”
實(shí)時(shí)運(yùn)營(yíng)
LinkedIn龐大的規(guī)模為職位匹配帶來(lái)了另一個(gè)挑戰(zhàn)。在擁有十億會(huì)員的情況下，一個(gè)職位廣告在發(fā)布幾分鐘內(nèi)可能會(huì)收到數(shù)百甚至數(shù)千個(gè)應(yīng)聘回應(yīng)。如果看到已經(jīng)有數(shù)百人申請(qǐng)，許多求職者可能就不會(huì)再費(fèi)心申請(qǐng)了。這就要求LLM非常迅速地找到匹配的會(huì)員，在資質(zhì)較低的申請(qǐng)者提交材料之前做出反應(yīng)。之后，會(huì)員是否看到通知并及時(shí)做出反應(yīng)仍然是一個(gè)問(wèn)題。
在雇主方面，挑戰(zhàn)在于找到最合適的應(yīng)聘者——不一定是反應(yīng)最快的人。一些公司不愿公布薪資范圍，這進(jìn)一步復(fù)雜化了雙方的努力，因?yàn)樽詈细竦膽?yīng)聘者可能對(duì)職位的薪酬不感興趣。這是一個(gè)LLM無(wú)法解決的問(wèn)題。
API和RAG
LinkedIn龐大的數(shù)據(jù)庫(kù)包含了關(guān)于個(gè)人、雇主、技能和課程的許多獨(dú)特信息，但其LLM尚未接受過(guò)這些數(shù)據(jù)的培訓(xùn)。因此，根據(jù)LinkedIn工程師的說(shuō)法，它們目前無(wú)法使用這些資產(chǎn)進(jìn)行任何推理或生成響應(yīng)的活動(dòng)，因?yàn)檫@些資產(chǎn)是如何存儲(chǔ)和提供的。
在這里，檢索增強(qiáng)生成（RAG）是一個(gè)典型的解決方案。通過(guò)建立內(nèi)部API的管道，企業(yè)可以用額外的上下文“增強(qiáng)”LLM提示，以更好地指導(dǎo)和限制LLM的響應(yīng)。LinkedIn的大部分?jǐn)?shù)據(jù)通過(guò)RPC API公開(kāi)，公司的工程師說(shuō)這“方便人類(lèi)以編程方式調(diào)用”，但“對(duì)LLM并不友好”。
為了解決這個(gè)問(wèn)題，LinkedIn的工程師圍繞其API“封裝了技能”，給它們提供了一個(gè)“對(duì)LLM友好的API功能描述以及何時(shí)使用它”，以及配置細(xì)節(jié)、輸入和輸出架構(gòu)以及將每個(gè)API的LLM版本映射到其底層（實(shí)際）RPC版本所需的所有邏輯。
LinkedIn的工程師在一份聲明中寫(xiě)道：“像這樣的技能使LLM能夠執(zhí)行與我們產(chǎn)品相關(guān)的各種操作，如查看個(gè)人資料、搜索文章/人員/職位/公司，甚至查詢(xún)內(nèi)部分析系統(tǒng)。”他們還提到，“同樣的技術(shù)也用于調(diào)用非LinkedIn的API，如Bing搜索和新聞。”這種方法不僅提高了LLM的功能性，還增強(qiáng)了其與現(xiàn)有技術(shù)基礎(chǔ)設(shè)施的整合能力，使得LLM能夠更廣泛地應(yīng)用于企業(yè)的各個(gè)方面。
企業(yè)網(wǎng)D1net(r5u5c.cn)：
國(guó)內(nèi)主流的to B IT門(mén)戶(hù)，同時(shí)在運(yùn)營(yíng)國(guó)內(nèi)最大的甲方CIO專(zhuān)家?guī)旌椭橇敵黾吧缃黄脚_(tái)-信眾智(www.cioall.com)。同時(shí)運(yùn)營(yíng)19個(gè)IT行業(yè)公眾號(hào)(微信搜索D1net即可關(guān)注)。
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需在文章開(kāi)頭注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號(hào)