隨著數(shù)字化進程的加速,企業(yè)越來越重視數(shù)據(jù)的價值。根據(jù)IDC預計,全球大數(shù)據(jù)市場規(guī)模在2019年將達到1870億美金。其中,企業(yè)除了關(guān)注自身的經(jīng)營數(shù)據(jù)之外,對于外部數(shù)據(jù),尤其是與自身息息相關(guān)的(如競品動態(tài)、輿情信息等)數(shù)據(jù)也非常關(guān)注。
在獲取這些數(shù)據(jù)時,最常用的手段就是爬蟲技術(shù)。但傳統(tǒng)的爬蟲開發(fā)難度大,除了需要自己搭建服務器并運維,還需要工程師根據(jù)爬取需求編寫代碼、對接代理服務等等。計算下來,企業(yè)平均每月開發(fā)和運維成本往往需要上萬元。
而獵云網(wǎng)(微信:ilieyun)今天帶來的“神箭手”則為個人開發(fā)者和企業(yè)提供了簡單便捷的爬蟲工具。該項目創(chuàng)始人吳桐2013年碩士畢業(yè)于西安交大軟件工程專業(yè),畢業(yè)后加入谷歌搜索基礎(chǔ)設(shè)施組,2014年離開谷歌創(chuàng)辦壁虎數(shù)據(jù)恢復項目。
2015年8月,吳桐再度出發(fā)創(chuàng)辦神箭手,從爬蟲切入,希望把谷歌的大數(shù)據(jù)開發(fā)的管理理念帶給更多用戶。其核心創(chuàng)始團隊都是吳桐的大學同窗,從大三時期就與吳桐一起創(chuàng)業(yè)。吳桐向獵云網(wǎng)獨家透露,神箭手曾于2015年11月獲得過來自中路資本的數(shù)百萬元天使輪融資。
吳桐介紹,神箭手致力于成為一個一站式大數(shù)據(jù)應用開發(fā)平臺,旨在通過為客戶提供完整的開發(fā)架構(gòu)和套件,降低大數(shù)據(jù)和AI應用開發(fā)的部署難度,實現(xiàn)從數(shù)據(jù)采集、清洗、訓練、導出的完整生命周期。
當然,對于尚在起步階段的神箭手來說,實現(xiàn)完整數(shù)據(jù)處理周期尚需時日。不過,該平臺已經(jīng)在第一步的數(shù)據(jù)采集方面體現(xiàn)出了自己的特點與優(yōu)勢。“爬蟲市場”就是其中之一。
為了最大限度降低個人開發(fā)者和企業(yè)使用爬蟲的技術(shù)門檻,神箭手團隊自行編寫了上百個爬蟲,使用者無需關(guān)注如何設(shè)置IP、如何設(shè)置驗證碼,甚至對編程一竅不通的小白用戶,也可以直接使用。
神箭手操作界面
據(jù)獵云網(wǎng)了解,神箭手提供的爬蟲可爬取的數(shù)據(jù)源囊括社交、電商、生活服務、互金、休閑旅游、汽車交通、醫(yī)療健康以及其他等多種分類。包括微博、淘寶、天貓、京東等網(wǎng)站的爬蟲,都能在爬蟲市場中找到。
值得一提的是,神箭手提供的爬蟲目前全部都是團隊自行編寫。之所以尚未提供第三方開發(fā)者編寫的爬蟲,吳桐認為,爬蟲對于代碼編寫技術(shù)要求較高,否則在運行時穩(wěn)定性將受到影響。
雖然如此,但吳桐強調(diào),現(xiàn)在的神箭手并非僅僅提供傻瓜式爬蟲,而是一個開發(fā)平臺。如果平臺提供的爬蟲無法滿足用戶需求,那么有開發(fā)實力的用戶也可以在神箭手平臺上自行編寫爬蟲并使用,并且平臺對于這種用戶還會有一定的鼓勵。
除爬蟲以外,目前平臺也提供了諸多API調(diào)用。“其實,無論是爬蟲還是API,甚至是直接購買數(shù)據(jù)池,都是用戶獲取數(shù)據(jù)的方式。我們希望夯實數(shù)據(jù)采集的第一步,再為用戶提供后續(xù)的數(shù)據(jù)服務。”吳桐說。
在商業(yè)模式上,神箭手采用的是銷售計算節(jié)點(服務器)的方式,每個節(jié)點79元,節(jié)點越多,爬蟲爬取的速度越快。當然,平臺也有套餐銷售,根據(jù)節(jié)點數(shù)不同分為個人版和企業(yè)版。用戶購買節(jié)點之后,根據(jù)爬蟲所適用的最低套餐即可使用爬蟲。而API則根據(jù)調(diào)用次數(shù)進行收費。
自2015年底產(chǎn)品上線以來,神箭手已積累了超過4萬名用戶注冊使用,其中包括500多家企業(yè)套餐付費客戶,目前月收入已超過20萬元。
在數(shù)據(jù)采集器市場,其實已有包括八爪魚這種工具存在。對于細分領(lǐng)域的競爭,吳桐認為,八爪魚等產(chǎn)品是以軟件形式存在,必須本地運行,這在數(shù)據(jù)爬取和軟件更新時就會有所限制。而神箭手則是云服務形式,更靈活,自主性更強。另外其更專注對頭部網(wǎng)站的爬取,這也是客戶的重點需求。
接下來,吳桐透露,神箭手在解決了第一步數(shù)據(jù)采集之后,就要向云端機器學習、數(shù)據(jù)清洗、BI等后續(xù)環(huán)節(jié)邁進。另外,為企業(yè)提供私有化部署也是神箭手下一階段的計劃之一。
未來,吳桐希望能夠?qū)⒐雀璧拇a管理理念融入神箭手,現(xiàn)在正在進行運行權(quán)限管理的研發(fā),在未來實現(xiàn)云協(xié)同開發(fā)。
目前,該項目正在進行新一輪融資。