NASA OMI_MINDS_NO2d衛星數據之下載

背景

• OMI_MINDS_NO2d數據¹之簡介
  1. 計畫： Making Earth System Data Records for Use in Research Environments (MEaSUREs)
  2. 名稱：OMI/Aura NO2 Tropospheric, Stratospheric & Total Columns MINDS Daily L3 Global Gridded 0.25 degree x 0.25 degree
  3. 期間：2004-10-01 to 上個月
  4. 時間解析度：每日
  5. 空間解析度：0.25 ° x 0.25 °

下載

官網下載說明

• OMI_MINDS_NO2d數據可以直接在GESDISC下載。因其資料倉儲非常龐雜，下載方式(Data Access)也有許多選項：
  1. Online Archive：傳統https點選下載，需先登入。
  2. Earthdata Search：地圖及時間拉桿介面
  3. OPeNDap：類似1.，但點選檔案後可以進一步選取如4.
  4. Subset / Get Data可以指定年期、空間範圍、變數、檔案格式及下載方式。
• 經試誤得知，切割對OMI_MINDS_NO2d數據並沒有幫助，直接全球一個檔案下載即可。
• 雖然使用wget，但從GESDISC下載數據都會檢查帳密
  • 帳密：需要NASA Earthdata 登入帳密(免費)
  • 需先至個人側寫開啟服務app項目，點選NASA GESDISC ARCHIVE
• 使用curl、wget都可下載，然需先載家目錄產生~/.netrc及~/.urs_cookies檔案(如下範例)。可以詳參NASA官網、或GES DISC Downloading Data說明

Create a .netrc file in your home directory.
$ cd ~ or cd $HOME
$ touch .netrc
$ echo "machine urs.earthdata.nasa.gov login <uid> password <password>" >> .netrc 
(where <uid> is your user name and <password> is your Earthdata Login password without the brackets)
$ chmod 0600 .netrc (so only you can access it)

Create a cookie file. This file will be used to persist sessions across calls to wget or curl.

$ cd ~ or cd $HOME
$ touch .urs_cookies.

Note: you may need to re-create .urs_cookies in case you have already executed wget without valid authentication.
Download your data using wget:
To download one file:

$ wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --auth-no-challenge=on --keep-session-cookies <url>

url之管理

• 點選Subset / Get Data指定年期後，系統會出現所有檔案的連結網址。無須一一點選，可以在Download Instructions分頁中下載網址之文字檔(Download the list of links)(如附)。
• 此檔案會包含一個README.pdf檔，以及nc檔案的網址。依序以wget或curl下載即可。

批次下載

• 注意
  • 由NASA網站產生的網址條目，其跳行指令為\r，並非平常使用的\n，如果直接引用將會出錯
  • 需明確限制其字串的長度(如下例長度為131)，規避最後一碼的內碼

for u in $(cat urls.txt);do
  url=$(echo $u|cut -c1-131)
  nc=$(echo $url|cut -d/ -f8)
  if ! [[ -e $nc ]];then
    echo $nc
    wget -q --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --auth-no-challenge=on --keep-session-cookies $url
  fi
done

結果偵錯

• 雖然是經過整理的數據，但因為數據來源是衛星觀測，難免會有數據錯失的窗口，需仔細檢查，並予以補足。補足方式：
  • 少數沒有數據的日期：以前/後日數據填入。
  • 如果超過4日以上：以前一年同日期之數據填入
• 經查2005~2022年共有67個檔案喪失，補遺方式可以參考refill_nc.cs