水利資料整合雲平台
:::

雲端應用案例

IDW內插運算範例

案例說明:

為了突顯水利署Hadoop雲端平台的運算效能,本計畫以水利署水情資料查詢服務所提供的雨量資料為基礎,利用IDW(Inverse Distance Weighted)空間內插演算法推估全台125公尺*125公尺解析度的降雨量。 IDW演算法是針對每一個未知的數值進行推估,利用它鄰近已知點之數值來進行加權運算,所給的權重依據距離遠近來計算。 其概念是一個未知值的點,被周圍已知點的值所影響之程度與距離成反比,距離越遠影響程度越小,影響程度是以未知點和已知點之間距離的次方表示。 全台陸地面積為32,260平方公里,以台灣地區的矩型包覆範圍評估,125公尺*125公尺網格解析度計算,約需要2,400*3,200個網格,使用IDW演算法,必需經過768萬次的內插運算才能推估計算出全台的降雨量, 其分析運算須耗費相當高的運算量。

架構說明:

因於Hadoop MapReduce內建Map機制是以檔案的區塊為單元,每個區塊為64MB,單一個檔案超過64MB以上時會被分割成若干的區塊來進行分散運算。 因此,如果利用既有的MapReduce機制,因為全台灣地區網格資料只有約76MB,則無法有效將運算分散到所有結果之上。 在實際的作法上,以網格解析度125公尺X125公尺為例,會將目前台灣地區的2400X3200個網格資料進行編碼,再依據雲端環境運算能力來將涵蓋全台灣地區的768萬個網格資料,切割成若干個待處理的小檔案後,讓MapReduce可以針對已切割好的檔案進行分散處理。

IDW內插運算範例架構圖

成果: