領(lǐng)先的AI公司Anthropic于周二推出了全新的Message Batches API,允許企業(yè)以一半的標(biāo)準(zhǔn)API調(diào)用成本處理大量數(shù)據(jù)。
這一新產(chǎn)品能夠在24小時(shí)內(nèi)異步處理多達(dá)10000個(gè)查詢,標(biāo)志著在大數(shù)據(jù)處理方面,先進(jìn)AI模型變得更加經(jīng)濟(jì)實(shí)惠,尤其適用于處理大量數(shù)據(jù)的企業(yè)。
AI的規(guī)模經(jīng)濟(jì):批處理降低成本
與實(shí)時(shí)處理相比,Batch API在輸入和輸出代幣上提供了50%的折扣,使Anthropic能夠與其他AI提供商(如今年早些時(shí)候推出類似批處理功能的OpenAI)展開更加激烈的競爭。
此舉標(biāo)志著AI行業(yè)定價(jià)策略的重大轉(zhuǎn)變。通過提供大批量處理的折扣,Anthropic有效地為AI計(jì)算創(chuàng)建了規(guī)模經(jīng)濟(jì)。
這可能會推動(dòng)中型企業(yè)更廣泛地采用AI,尤其是那些之前因成本過高而無法使用大規(guī)模AI應(yīng)用的企業(yè)。
這種定價(jià)模式的影響不僅限于成本節(jié)省,它可能從根本上改變企業(yè)進(jìn)行數(shù)據(jù)分析的方式,促使企業(yè)進(jìn)行更多的全面、頻繁的大規(guī)模分析,而這些分析在過去被認(rèn)為成本過高或資源密集。
從實(shí)時(shí)到合適時(shí)機(jī):重新定義AI處理需求
Anthropic已經(jīng)通過其API為Claude 3.5 Sonnet、Claude 3 Opus和Claude 3 Haiku模型提供批處理API服務(wù)。Claude在Google Cloud的Vertex AI上的支持也即將推出,而通過Amazon Bedrock使用Claude的客戶已經(jīng)可以訪問批量推理功能。
批處理功能的引入表明企業(yè)AI需求的逐漸成熟。雖然實(shí)時(shí)處理是許多AI開發(fā)的重點(diǎn),但許多業(yè)務(wù)應(yīng)用并不需要即時(shí)結(jié)果。通過提供較慢但更具成本效益的選項(xiàng),Anthropic承認(rèn)對許多應(yīng)用場景來說,“合適時(shí)機(jī)”的處理比實(shí)時(shí)處理更為重要。
這一變化可能促使企業(yè)在AI實(shí)施中采取更為細(xì)致的策略。企業(yè)不再默認(rèn)選擇最快(通常也是最昂貴)的選項(xiàng),而是可能會開始在實(shí)時(shí)處理和批處理之間戰(zhàn)略性地平衡其AI工作負(fù)載,優(yōu)化成本和速度的雙重需求。
批處理的雙刃劍
盡管批處理帶來了顯著的好處,但這種轉(zhuǎn)向也引發(fā)了關(guān)于AI發(fā)展未來方向的重要問題。雖然它使現(xiàn)有模型變得更加易于獲取,但也存在一個(gè)風(fēng)險(xiǎn):可能會分散資源和注意力,影響實(shí)時(shí)AI能力的進(jìn)步。
在技術(shù)領(lǐng)域,成本與速度的權(quán)衡并不新鮮,但在AI領(lǐng)域,這種權(quán)衡則具有更大的意義。隨著企業(yè)習(xí)慣于批處理的低成本,市場上對提高實(shí)時(shí)AI處理效率和降低成本的壓力可能會減少。
此外,批處理的異步性質(zhì)可能限制一些依賴即時(shí)AI響應(yīng)的創(chuàng)新應(yīng)用,例如實(shí)時(shí)決策或交互式AI助手。
如何在推動(dòng)批處理和實(shí)時(shí)處理能力的同時(shí)找到合適的平衡,將對AI生態(tài)系統(tǒng)的健康發(fā)展至關(guān)重要。
隨著AI行業(yè)的不斷發(fā)展,Anthropic的新Batch API既代表了一個(gè)機(jī)遇,也帶來了挑戰(zhàn),它為企業(yè)在大規(guī)模使用AI提供了新的可能性,有望讓更多企業(yè)能夠接觸到先進(jìn)的AI能力。
與此同時(shí),這也強(qiáng)調(diào)了在AI開發(fā)中采取深思熟慮的方法的重要性,不僅要考慮眼前的成本節(jié)約,還要著眼于長期創(chuàng)新和多樣化的應(yīng)用場景。
這個(gè)新產(chǎn)品的成功可能取決于企業(yè)如何將批處理融入其現(xiàn)有工作流程,以及它們在AI戰(zhàn)略中如何有效平衡成本、速度和計(jì)算能力的權(quán)衡。
企業(yè)網(wǎng)D1net(r5u5c.cn):
國內(nèi)主流的to B IT門戶,旗下運(yùn)營國內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_-信眾智(www.cioall.com)。旗下運(yùn)營19個(gè)IT行業(yè)公眾號(微信搜索D1net即可關(guān)注)。
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需在文章開頭注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。