在荷蘭，這些數(shù)據(jù)是由KNMI或政府的氣象部門-（Kininklijk Nederlands Meteorologisch Instituut）收集和管理的。KNMI預(yù)報天氣，研究氣候變化并監(jiān)視地震活動，他們的影響力遠遠超出了荷蘭。
2017年，由KNMI制造的TROPOMI隨Sentinel-5 Precursor衛(wèi)星發(fā)射升空。最近，TROPOMI測量并繪制了由于COVID-19導(dǎo)致的12月至3月中國二氧化氮濃度下降的圖表。
但是如何收集這些數(shù)據(jù)？TROPOMI和其他傳感器任何將數(shù)據(jù)傳到KNMI？收到后如何處理？
最近，TNW與Saskia Wagenaar和Roy Engelen進行了交談，他們兩個是為KNMI進行數(shù)據(jù)收集和分發(fā)的開發(fā)人員。
1、從傳感器到天氣室
云工程師Roy Engelen告訴我們：“KNMI由幾個部門組成。有些部門負責研究工作，有的部門在現(xiàn)場進行實地工作，更換傳感器并進行測試。而氣象學(xué)家，他們實際上負責向荷蘭人發(fā)出預(yù)警。”
如果我們要簡單描繪一下數(shù)據(jù)如何在KNMI中從A到B，現(xiàn)場傳感器將是起點。Engelen在IT遷移團隊中擔任云工程師，該團隊負責整個信息鏈，從傳感器一直到天氣室。他說：“我的部門是使整條鏈保持運行和信息運行的助手。因此涉及更多IT相關(guān)的工作。”
這些傳感器可以完成人類數(shù)百年來的工作-觀察天氣。但現(xiàn)在，他們會自動收集溫度，降雨量和氣壓等數(shù)據(jù)。
Engelen說：“因此，在荷蘭，擁有48個傳感場地，其中陸地上34個，海上14個”。當?shù)剡€有一些人，他們的花園里有一個小型傳感場地，或者是農(nóng)民，他們的田里也有傳感器，所有這些數(shù)據(jù)在KNMI得到收集。”
Engelen猜測：“這些人大多數(shù)都是個人志愿者。該國大約有300名志愿者。但是，愿意幫助的志愿者人數(shù)有所減少，因為這是需要每日都進行的工作。”Engelen告訴我們，這是KNMI要解決的一個問題，因為當?shù)刂驹刚叻浅Ｖ匾?ldquo;這300個額外的數(shù)據(jù)點對于獲得清晰的畫面確實至關(guān)重要，因為預(yù)測模型需要高分辨率。”更多數(shù)據(jù)意味著更準確的天氣預(yù)報。
現(xiàn)場傳感器收集到數(shù)據(jù)后，將通過KNMI的模型運行數(shù)據(jù)。“所有這些數(shù)據(jù)輸出都會生成地圖，視頻等。”
Engelen說，“還收集了來自雷達和衛(wèi)星的原始數(shù)據(jù)，并將這些數(shù)據(jù)用作預(yù)測模型的輸入，并生成實時地圖。然后將這些地圖發(fā)送給氣象室（以及著名的布恩拉達爾）中的氣象學(xué)家，氣象學(xué)家給出有關(guān)天氣的警告和信息。原始數(shù)據(jù)得到存檔，以便研究氣候變化并建立更好的天氣預(yù)報模型的研究人員可以使用。”
該數(shù)據(jù)一直在收集，理論上是如此。有時，傳感器會在現(xiàn)場掉落。
Engelen繼續(xù)說：“例如，使用激光測量鳥群的多云度，或鳥在傳感器上筑巢都可以影響傳感器。而且，由于測量雨水，在很久以前（帶有傳感器）的田地還沒有關(guān)閉，所以任何人都可以越過它們。喝醉了的人會在里面排尿，所以突然那里有很多降雨。”但是，Engelen保證：“傳感器將不斷得到改進，類似的事情過去曾發(fā)生過。”
2、數(shù)據(jù)會如何處理？
Saskia Wagenaar是從事KNMI數(shù)據(jù)平臺（KPD）的軟件工程師，該平臺可通過API訪問所有KNMI的開放數(shù)據(jù)和許可數(shù)據(jù)。Wagenaar的團隊使用Engelen建立的云基礎(chǔ)架構(gòu)。
Wagenaar告訴TNW：“我的責任是真正收集數(shù)據(jù)并使之可用。“我作為數(shù)據(jù)分發(fā)者的角色的好處在于，不僅KNMI的科學(xué)家可以將其用于研究；每個人都有訪問權(quán)限。因為我們是政府機構(gòu)，所以我們必須免費提供開放數(shù)據(jù)。”
最常訪問此開放數(shù)據(jù)的人員是學(xué)者、政府研究人員，還有商業(yè)公司，例如史基浦機場和荷航，他們使用這些數(shù)據(jù)來根據(jù)天氣情況安排飛行航班。
管理如此眾多的開放訪問數(shù)據(jù)并非沒有挑戰(zhàn)。除了人工和數(shù)據(jù)存儲的成本外，還要確保以一種有效的方式提供數(shù)據(jù)：“如何為用戶提供如此龐大的數(shù)據(jù)量，以便他們可以正確使用它們？這就是我的團隊正在努力的事情。我們從許多不同的領(lǐng)域收集數(shù)據(jù)，例如雷達測量，風向測量或衛(wèi)星數(shù)據(jù)等，我們必須以不同的方式處理所有這些數(shù)據(jù)。
因此，我們一直在向量身定制的API開發(fā)邁進，這些API可訪問這些不同域的數(shù)據(jù)。我們正在積極地收集用戶的意見，詢問他們?nèi)绾问褂脭?shù)據(jù)。根據(jù)他們的使用經(jīng)驗，我們可以確保API有用。
KNMI的研究不僅僅對荷蘭有重要意義。Wagenaar從事的項目旨在合并歐洲國家的數(shù)據(jù)，這些數(shù)據(jù)均以不同的方式收集和提供。Wagenaar說：“這使得在重大事件發(fā)生時很難迅速地了解清楚情況。”
3、自然災(zāi)害與氣候變化
“重大事件”包括自然災(zāi)害，例如冰島火山Eyjafjallaj?kull于2010年爆發(fā)。Wagenaar告訴TNW，歐洲中部的數(shù)據(jù)寶庫將提高“預(yù)警能力和態(tài)勢感知”，這可能至關(guān)重要。在歐洲的合作中，確保將地面測量和衛(wèi)星測量都集中在一個中心點，以便歐洲每個人都可以訪問數(shù)據(jù)，如果類似事件再次發(fā)生，人們可以使用它來提前預(yù)知。”
Wagenaar表示：“盡管在該領(lǐng)域收集的大多數(shù)數(shù)據(jù)都用于天氣預(yù)報，但數(shù)據(jù)存檔對于研究氣候變化也至關(guān)重要。存檔之后，（數(shù)據(jù)）對于氣候變化研究變得非常重要。要查看氣候變化趨勢，傳感器始終位于同樣的位置非常重要，這樣預(yù)測的結(jié)果才更貼近。”
如前面所說的，最近發(fā)生的一次導(dǎo)致趨勢發(fā)生變化的事件是COVID-19：“我認為最有趣的是我們實際上在世界上某些地方看到空氣質(zhì)量正在改善。我們可以通過衛(wèi)星看到，封城的上空的空氣中的微粒更少。”
4、充滿希望
政府開發(fā)人員的工作并不是最獨立或最具創(chuàng)造力的，尤其是在涉及天氣的情況下，這是人類無法控制的。但是Engelen表示，他在IT遷移團隊中擔任云工程師的工作具有很大的自由度。實際上，這就是他最初來KNMI工作的方式。Engelen說：“會鼓勵你在整個IT流程中積極提出意見。”
Wagenaar被使用KNMI數(shù)據(jù)平臺的機會所吸引，因為有機會與研究人員緊密合作，并采用了新技術(shù)：“我已經(jīng)來這里三年了，我認為這是一個非常有活力的環(huán)境。當我開始在KNMI工作時，所有工作都是通過本地服務(wù)完成的。我們現(xiàn)在正在走向云端技術(shù)。另外，我們將使用不斷更新的技術(shù)，這是一個非常有趣的過程。” Wagenaar總結(jié)道：“它使我們能夠?qū)W習和發(fā)展自己，以及改進我們的工作方式。”
京公網(wǎng)安備 11010502049343號