對(duì)恒星進(jìn)行數(shù)據(jù)挖掘:改變天文學(xué)的虛擬化望遠(yuǎn)鏡

責(zé)任編輯:cres

作者:Thor Olavsrud

2019-02-15 10:09:16

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

大型綜合巡天望遠(yuǎn)鏡的科學(xué)咨詢委員會(huì)的成員Szalay表示,大型綜合巡天望遠(yuǎn)鏡將能夠在短短3個(gè)夜晚的時(shí)間里完成斯隆數(shù)字巡天要花8年才能完成的任務(wù)。它將生成一個(gè)大約60PB的數(shù)據(jù)庫(kù)。

斯隆數(shù)字巡天計(jì)劃生成的超過15TB的可查詢數(shù)據(jù)使天文學(xué)家能夠在研究項(xiàng)目上少花數(shù)年的時(shí)間。
 
在20世紀(jì)90年代,天體物理學(xué)家Alex Szalay博士和計(jì)算機(jī)科學(xué)家Jim Gray博士集展開了這樣一項(xiàng)頭腦風(fēng)暴:如果數(shù)據(jù)庫(kù)可以變成一個(gè)數(shù)據(jù)望遠(yuǎn)鏡,這個(gè)望遠(yuǎn)鏡可以進(jìn)行數(shù)據(jù)挖掘會(huì)怎么樣?如果可以自由使用這樣的數(shù)據(jù),天文學(xué)領(lǐng)域?qū)l(fā)生徹底的改變。
 
隨著時(shí)間的推移,這個(gè)想法變成了斯隆數(shù)字巡天(SDSS),這是一個(gè)由數(shù)十家機(jī)構(gòu)的數(shù)百名科學(xué)家組成的國(guó)際合作組織。
 
斯隆數(shù)字巡天的目標(biāo)是使用位于新墨西哥州Apache Point天文臺(tái)的專用2.5米望遠(yuǎn)鏡對(duì)星空編制索引。配備1.2億像素?cái)z像頭的望遠(yuǎn)鏡可拍攝超過四分之一的夜空,一次拍攝1.5平方度(1.5 square degrees at a time)。該項(xiàng)目使用Microsoft SQL Server作為后端數(shù)據(jù)庫(kù)。
 
從1998年到2009年間,望遠(yuǎn)鏡同時(shí)在成像模式和光譜模式下運(yùn)行。斯隆數(shù)字巡天于2009年停止使用成像相機(jī),但望遠(yuǎn)鏡仍繼續(xù)以光譜模式進(jìn)行觀測(cè)活動(dòng)。數(shù)據(jù)可通過SkyServer數(shù)據(jù)庫(kù)(在線門戶網(wǎng)站)公開獲取。如今,該數(shù)據(jù)庫(kù)擁有15TB可查詢的公共數(shù)據(jù)集,以及大約150TB的額外原始文件和校準(zhǔn)文件。
 
將恒星數(shù)字化
 
約翰霍普金斯大學(xué)文理學(xué)院和惠廷工程學(xué)院的彭博物理學(xué)、天文學(xué)和計(jì)算機(jī)科學(xué)杰出教授Szalay解釋說:“在傳統(tǒng)的天文學(xué)中,項(xiàng)目的想法是由天文學(xué)家提出來的,但首先,他們需要找到目標(biāo)。”
 
在斯隆數(shù)字巡天還沒有成立之前,這是一個(gè)耗時(shí)的過程。天文學(xué)家必須寫提案并選擇大面積的空域來探索可能的目標(biāo),對(duì)想法進(jìn)行測(cè)試。如果提案被接受,天文學(xué)家就可以預(yù)約使用望遠(yuǎn)鏡的時(shí)間。
 
Szalay說:“在長(zhǎng)達(dá)半年的時(shí)間里,你只要有空就會(huì)去山頂?shù)奶煳呐_(tái)。如果你很幸運(yùn),適逢那天天晴且無云,你就能將一些數(shù)據(jù)帶回去。”
 
Szalay說,自此,天文學(xué)家可能要花幾個(gè)月的時(shí)間對(duì)這些數(shù)據(jù)進(jìn)行圖像處理,也許會(huì)發(fā)現(xiàn)幾百個(gè)目標(biāo)。一旦有了目標(biāo),天文學(xué)家將提議使用更大型的望遠(yuǎn)鏡,詳細(xì)探索這些目標(biāo)。在獲得使用望遠(yuǎn)鏡的時(shí)間并收集數(shù)據(jù)后,天文學(xué)家將花費(fèi)幾個(gè)月的時(shí)間來進(jìn)行數(shù)據(jù)簡(jiǎn)化。
 
Szalay說:“經(jīng)過長(zhǎng)達(dá)兩年半的時(shí)間,你才能真正測(cè)試自己的想法。”
 
斯隆數(shù)字巡天改變了這一切。天文學(xué)家現(xiàn)在必須學(xué)習(xí)如何在SQL中編寫查詢,但這樣做可以極大地加快研究速度。
 
Szalay說:“現(xiàn)在你可以進(jìn)入網(wǎng)站,將這個(gè)虛擬望遠(yuǎn)鏡指向天空的任何部分——你不需要做任何數(shù)據(jù)簡(jiǎn)化——只需選擇你想要的目標(biāo),在五分鐘之內(nèi),你就可以對(duì)準(zhǔn)天空并用更大的望遠(yuǎn)鏡來觀測(cè)(目標(biāo))。這使周期減短了數(shù)年。”
 
在斯隆數(shù)字巡天還沒成立之前,天文學(xué)家擁有不到20萬(wàn)個(gè)星系的數(shù)據(jù)。如今,斯隆數(shù)字巡天擁有超過2.2億個(gè)星系的數(shù)據(jù)。
 
Gray是微軟的技術(shù)研究員,他因?yàn)閷?duì)數(shù)據(jù)庫(kù)和事務(wù)處理研究的開創(chuàng)性貢獻(xiàn)而于1998年獲得圖靈獎(jiǎng),他與Szalay和斯隆數(shù)字巡天展開了密切合作,直到他在2007年開游艇出航時(shí)失蹤。Gray是SkyServer和TerraServer-USA的主要貢獻(xiàn)者。(SkyServer和TerraServer-USA于2016年關(guān)閉,成為Microsoft Research Maps)。Gray和Szalay開發(fā)了空間索引技術(shù),以便在斯隆數(shù)字巡天存檔上進(jìn)行數(shù)據(jù)挖掘。Szalay指出,他和Gray創(chuàng)建的空間索引將成為Microsoft SQL Server的一部分。
 
“Szalay及其團(tuán)隊(duì)在構(gòu)建應(yīng)用程序研究星系的關(guān)聯(lián)特性時(shí)發(fā)現(xiàn),其統(tǒng)計(jì)分析中的許多模式都涉及到各種各樣的任務(wù),這些任務(wù)在數(shù)據(jù)庫(kù)引擎內(nèi)部的執(zhí)行效果要比外部好,即在平面文件上執(zhí)行效果更好”,微軟公司的副總裁Joseph Sirosh和微軟數(shù)據(jù)集團(tuán)的首席軟件工程師Rimma V. Nehme這樣寫道。“Microsoft SQL Server使他們可以使用多個(gè)CPU,多個(gè)磁盤和大型主存儲(chǔ)器對(duì)復(fù)雜的謂詞進(jìn)行高速的順序搜索。它還具備復(fù)雜的索引和數(shù)據(jù)連接算法,遠(yuǎn)遠(yuǎn)優(yōu)于針對(duì)平面文件(flat file)的手寫程序。由于有了復(fù)雜的查詢優(yōu)化器(query optimizer),多日的批處理文件被能在幾分鐘內(nèi)運(yùn)行的數(shù)據(jù)庫(kù)查詢所取代。”
 
大規(guī)模的天文學(xué)
 
斯隆數(shù)字巡天也在一定程度上使天文學(xué)親民化。在該項(xiàng)目還沒成立之前,只有一流的科學(xué)家和天文學(xué)家才能使用望遠(yuǎn)鏡和其它儀器來收集數(shù)據(jù)。其他科學(xué)家只能將就使用他們所提供的數(shù)據(jù)。Sirosh和Nehme指出,在過去14年中,SkyServer已經(jīng)記錄了超過16億次網(wǎng)絡(luò)點(diǎn)擊,并產(chǎn)生了科學(xué)發(fā)現(xiàn),如數(shù)千顆小行星的測(cè)量,外部銀河系合并歷程的地圖。斯隆數(shù)字巡天提供的數(shù)據(jù)為5,800篇論文和245,000多次引用提供了支持。Szalay說,世界上大約有三分之二的專業(yè)天文學(xué)社區(qū)每天都在使用SkyServer。
 
如今,科學(xué)家和天文學(xué)家開始利用機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)對(duì)大量由斯隆數(shù)字巡天提供的數(shù)據(jù)進(jìn)行處理,以協(xié)助完成從圖像中清除噪點(diǎn)等任務(wù)。
 
斯隆數(shù)字巡天項(xiàng)目還在進(jìn)行中,但很快就會(huì)有繼任者。大型綜合巡天望遠(yuǎn)鏡(LSST)目前正在智利建造。該計(jì)劃就是利用廣角巡天的反射式望遠(yuǎn)鏡,從2022年1月開始,每隔幾個(gè)夜晚拍攝整個(gè)可探測(cè)的天空,如此持續(xù)10年。圖像將由一個(gè)32億像素的CCD成像相機(jī)記錄下來。它的尺寸為5.5英尺×9.8英尺(約等同于小型汽車的大?。?,是有史以來最大的數(shù)碼相機(jī)。
 
大型綜合巡天望遠(yuǎn)鏡的科學(xué)咨詢委員會(huì)的成員Szalay表示,大型綜合巡天望遠(yuǎn)鏡將能夠在短短3個(gè)夜晚的時(shí)間里完成斯隆數(shù)字巡天要花8年才能完成的任務(wù)。它將生成一個(gè)大約60PB的數(shù)據(jù)庫(kù)。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)