NASA MCD19A2.006衛星數據之下載及轉檔

Table of contents

背景
日期與範圍
- 網格選取
- hdf4轉檔
下載腳本

背景

NASA衛星數據儲存放在USGS一份，提供大眾下載使用，其網址為https://e4ftl01.cr.usgs.gov
帳密：需要NASA Earthdata 登入帳密(免費)
使用curl、wget即可下載，然需先載家目錄產生~/.netrc檔案(如下範例)。可以詳參NASA官網說明

target=https://e4ftl01.cr.usgs.gov/MOTA/MCD19A2.006/2023.01.22/MCD19A2.A2023022.h35v09.006.2023024061517.hdf
echo "machine urs.earthdata.nasa.gov login some_user password ABCdef123!" > ~/.netrc
wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies $target

日期與範圍

USGS將檔案按照數據類別、年月日目錄存放(如https://e4ftl01.cr.usgs.gov/MOTA/MCD19A2.006/2023.01.22/MCD19A2.A2023022.h35v09.006.2023024061517.hdf)，其下為當日全球各網格範圍的衛星數據。
檔名除時間標籤之外，還有網格標籤(如範例中的.h35v09.)，可用以分區下載。
檔名具有隨機數字。目前尚無法程式化。
衛星數據的網格系統各有不同，以MCD19A2.006而言，每個網格共有1200 × 1200個值，解析度為1公里，全球共有V18×H36個網格，如(官網)圖所示：

Sinusoidal Tile Grid

網格選取

詳見Sinusoidal Tile Grid之介紹
因網格並非等間距系統，且東亞位在地圖偏東方，其內部1200 × 1200網格嚴重偏斜，需座標轉置，以符合正Y方向朝北之習慣。
台灣地區正好在V06H28~29交界處，因此需同時下載2個網格。

hdf4轉檔

NASA EOS衛星數據所使用的hdf格式為hdf4。跟目前常用的hdf5並不相容，不能直接撰寫程式解讀。
The HDF Group (https://www.hdfeos.org)提供了轉檔程式(h4tonccf_nc4)，可以轉成netCDF格式(CF convention)。

下載腳本

引數：年分
分2個部分迴圈
- 日期：以date指令來計算日期
- 檔名：因檔名含有未知規則之數字，需先下載該目錄的html檔案，再以grep指令從其中得到確切的名稱
外部程式
- date
- wget
- grep
- sub
- h4toccf_n4

#kuang@node03 /nas2/cmaqruns/2019TZPP/output/Annual/aTZPP/MCD19A2.006
#$ cat gg.cs
bdate=${1}0101
for i in {0..365};do
  wdate=`date -d "$bdate +${i}days" +%Y.%m.%d`
  url=https://e4ftl01.cr.usgs.gov/MOTA/MCD19A2.006/$wdate
  wget -q $url
  for h in 28 29;do
    hdf=`grep hdf $wdate |grep -v xml|cut -d'"' -f 6|grep h${h}v06`
    wget -q --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies ${url}/$hdf
    nc=${hdf/hdf/nc}
    ~/bin/sub h4tonccf_nc4 $hdf $nc >&/dev/null
  done
done