執行預報腳本之分段說明

Table of contents

執行預報腳本之分段說明

背景

下載fcst.cs全文

crontab設定

延遲20分鐘以確保GFS檔案都完成上載

#WRF forecasting from gfs and CWBWRF results
# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed

20 0 * * * /nas1/backup/data/NOAA/NCEP/GFS/YYYY/fcst.cs >& /nas1/backup/data/NOAA/NCEP/GFS/YYYY/fcst.out

目錄、日期及常數設定

序列環境變數DOM會隨著WRF的執行而訂，經試誤決定以d01~d02雙向同步運作、以及d03個別運作之風場結果可以規避臺灣地區FDDA網格太密的突兀(詳雙向巢狀網格風場模擬之檢討)，實際WRF執行與網格系統的搭配，則由迴圈與namelist.input_loop等控制。

#kuang@master /nas1/backup/data/NOAA/NCEP/GFS/YYYY
#$ cat fcst.cs
wget=/usr/bin/wget
root=https://nomads.ncep.noaa.gov/pub/data/nccf/com/gfs/prod/gfs.
today=$(date -d -0day +%Y%m%d)
yestd=$(date -d -1day +%Y%m%d)
yesty=$(date -d -1day +%Y)
BH=12
dir=$yestd/$BH/atmos/
gfs=/nas1/backup/data/NOAA/NCEP/GFS/YYYY
cmaq=/home/cmaqruns/2022fcst
fcst=/nas2/cmaqruns/2022fcst
BEGD=$(date -d "$today -0days" +%Y-%m-%d)
ENDD=$(date -d "$BEGD  +5days" +%Y-%m-%d)
sub=~/bin/sub
DOM=( 'CWBWRF_45k' 'SECN_9k' 'TWEPA_3k' 'tw_CWBWRF_45k')
GRD=( 'grid45'     'grid09'  'grid03' )
MPI=( '-f machinefile -np 200' '-f machinefile -np 196' '-f machinefile -np 140' '-f machinefile -np 120')
CMB=/nas1/cmaqruns/CMAQ_Project/POST/combine/scripts/BLD_combine_v53_gcc/combine_v53.exe
cd $gfs

氣象模式之執行

gfs檔案下載

因WRF/MCIP執行時會需要較指定日期多一天，因此多下載一些。
連續下載會遭到NOAA網管認定為惡意攻擊而切斷連線，因此需適度斷線一下。

# 執行gfs檔案下載
for ((i=0;i <= 171; i+=3));do
  iii=$(printf "%03d" $i)
  file=gfs.t${BH}z.pgrb2.1p00.f$iii
  if [ -e $file ];then rm $file;fi
  $wget --no-check-certificate -q $root$dir$file
  if [ $i -eq 120 ];then sleep 60;fi
done

WPS

WPS的控制模版namelist.wps_loop主要需要更替的是模擬的起迄日期，由當日起算共6天(0 ~ 5)。
依序執行ungrib及metgrid。

# WPS中的ungrib及metgrid
./link_grib.csh gfs*
## 置換模版中的起迄日期
cp namelist.wps_loop namelist.wps
for cmd in 's/BEGD/'$BEGD'/g' 's/ENDD/'$ENDD'/g';do
  sed -ie $cmd namelist.wps
done
## ungrib
LD_LIBRARY_PATH=/nas1/WRF4.0/WRFv4.3/WRFV4/LIBRARIES/lib:/opt/intel_f/compilers_and_libraries_2020.0.166/linux/compiler/lib/intel64_lin /nas1/WRF4.0/WRF_chem/WPS/ungrib/src/ungrib.exe >& /dev/null
## metgrid
LD_LIBRARY_PATH=/nas1/WRF4.0/WRFv4.3/WRFV4/LIBRARIES/lib:/opt/intel_f/compilers_and_libraries_2020.0.166/linux/compiler/lib/intel64_lin /nas1/WRF4.0/WRF_chem/WPS2/metgrid.exe >& /dev/null

namelist.input模版之準備

WRF的執行控制檔模版namelist.input_loop中需要更替的項目，主要是模擬的起迄日期，其餘設定不需每天更動。
不同的模擬範圍對應到特定的模版，需在DOM的迴圈中複製$DOM目錄下特定的檔案。
- ${DOM[3]}：同時執行d01及d02雙向巢狀網格系統，需要tw_CWBWRF_45k/namelist.input_loop
- ${DOM[2]}：執行d03之WRF，需要TWEPA_3k/namelist.input_loop
- 不同範圍模版除了網格系統、time_step的差異外，其中的nproc_x, nproc_y也需要搭配平行計算結點的控制，即${MPI[$i]}之內容

# 依序執行3個domain的real及wrf
## 起迄年 、 月 、 日B
yea1=$(echo $BEGD|cut -d'-' -f1);mon1=$(echo $BEGD|cut -d'-' -f2);day1=$(echo $BEGD|cut -d'-' -f3)
yea2=$(echo $ENDD|cut -d'-' -f1);mon2=$(echo $ENDD|cut -d'-' -f2);day2=$(echo $ENDD|cut -d'-' -f3)
dates=()
for id in {0..5};do
  dates=( ${dates[@]} $(date -d "$BEGD +${id}days" +%Y-%m-%d) )
done
for i in 3 2;do
  cd $gfs/${DOM[$i]}
  ## 置換模版中的起迄日期
  cp namelist.input_loop namelist.input
  for cmd in "s/SYEA/$yea1/g" "s/SMON/$mon1/g" "s/SDAY/$day1/g" \
             "s/EYEA/$yea2/g" "s/EMON/$mon2/g" "s/EDAY/$day2/g" ;do
    sed -i $cmd namelist.input
  done

met_em與metoa_em檔案的連結，非d03($i==2)部分：

  rm met_em* metoa_em*
  ## 連結met_em檔案
  d=$(( $i + 1 ))
  for id in {0..5};do for j in $(ls ../met_em.d0${d}.${dates[$id]}_*);do k=${j/d0${d}/d01};l=${k/..\//};ln -s $j $l;done;done
  if [ $i -eq 0 ] || [ $i -eq 1 ];then
    ## 連結metoa_em檔案
    for id in {0..5};do for j in $(ls ../met_em.d0${d}.${dates[$id]}_*);do k=${j/d0${d}/d01};l=${k/..\//};m=${l/met_/metoa_};ln -s $j $m;done;done
  fi
  if [ $i -eq 3 ];then
    for d in 1 2;do for id in {0..5};do for j in $(ls ../met_em.d0${d}.${dates[$id]}_*);do k=${j/..\//};m=${k/met_/metoa_};ln -s $j $m;done;done;done
  fi

OS控制同步執行CWBWRF結果的內插(d03(`$i==2`))

使用中央氣象局3公里數值預報結果進行FDDA，詳見將CWB數據填入WRF客觀分析場說明

  if [ $i -eq 2 ];then
    ## 執行CWBWRF結果的內插
    EXE=./mk_metoaT.py
    ln -sf /nas1/Data/cwb/WRF_3Km/$yesty/$yestd/wrfout_d03 CWB_wrfout_d03
    for j in {0..48};do $sub $EXE $j;sleep 10s;done
    ## 等候所有的程序都完成，才執行下一動作。
    while true;do
      n=$(ps -ef|grep ${EXE}|wc -l)
      if [ $n -lt 2 ];then
        break
      else
        sleep 60
      fi
    done
  fi

real及wrf

依序執行real及wrf
如果是twoway網格([ $i == 3 ])，會需要將模擬結果連結到個別原來的網格目錄，如此可以減少檔案對應時可能發生的錯誤。mcip及earth顯示都還是讀取個別網格目錄之wrfout檔案。
${DOM[]}的迴圈至此結束

  # real
  LD_LIBRARY_PATH=/nas1/WRF4.0/WRFv4.3/WRFV4/LIBRARIES/lib:/opt/intel_f/compilers_and_libraries_2020.0.166/linux/compiler/lib/intel64_lin:/opt/mpich/mpich-3.4.2-icc/lib /opt/mpich/mpich-3.4.2-icc/bin/mpirun ${MPI[$i]} /nas1/WRF4.0/WRFv4.3/WRFV4/main/real.exe >& /dev/null
  # wrf
  LD_LIBRARY_PATH=/opt/netcdf/netcdf4_gcc/lib /opt/mpich/mpich3_gcc/bin/mpirun ${MPI[$i]} /opt/WRF4/WRFv4.2/main/wrf.exe >& /dev/null
  if [ $i == 3 ];then
    for d in 1 2;do for f in {0..5};do wrfo=wrfout_d0${d}_${dates[$f]}_00:00:00;nc1=$gfs/${DOM[$i]}/$wrfo;if [ -e $nc1 ];then ii=$(( $d - 1));wrfo2=${wrfo/d0${d}/d01};nc2=$gfs/${DOM[$ii]}/$wrfo2;if [ -e $nc2 ];then rm $nc2;fi;ln -sf $nc1 $nc2;fi;done;done
  fi
done

mcip之執行

依序執行各網格系統wrfout的轉檔。
這個版本的run_mcip_DM.csh主要會讀取網格範圍之引數(${GRD[$i]})，啟動對應的網格範圍設定，並且將結果檔存到正確的網格目錄下，而且檔名中不會有日期的註記以減省儲存空間。
- 網格範圍引數=grid03/grid09/grid45
- 第2引數為模擬天數。如不給予設定、內設為5天。
- wrfout連結如果發生錯誤、或模擬起始(開始累積)時間彼此不相符，程式將不會執行。後者可以acc_dm.py解決。
只將邊界檔留存下來，讓run_bcon(逐日執行)使用，其餘檔案則任其被每一天的執行結果覆蓋。

  # mcip
for i in 0 1 2;do
  cd $cmaq/data/wrfout
  for f in {0..5};do nc=$gfs/${DOM[$i]}/wrfout_d01_${dates[$f]}_00:00:00;ln -sf $nc wrfout_d0${d}_$f;done
  cd $fcst
  csh run_mcip_DM.csh ${GRD[$i]} >&/dev/null
  cd $fcst/${GRD[$i]}/mcip
  /bin/bash ~/bin/add_firstHr.sh >&/dev/null
  /bin/bash ~/bin/brk_day2.cs METBDY3D.nc >&/dev/null
done

CMAQ

專案模版之設定

project.config_loop主要延伸自公版模式的習慣，該模式將執行起迄時間、IC與BC檔案時間等，寫在此設定檔中，因此如果要更換每天執行的起迄時間，就需要替換模版中的指定位置。
此檔案只涉及CMAQ的執行，MCIP並不會讀取(MCIP的日期是wrfout連結決定的)。
此處以sed程式進行更替。

#CMAQ stream
cd $fcst
YYYYJJJ=$(date -d ${BEGD} +%Y%j)
mcip_start=$BEGD
mcip_end=$(date -d ${BEGD}+4days +%Y-%m-%d)
cp project.config_loop project.config
for cmd in 's/YYYYJJJ/'$YYYYJJJ'/g' \
           's/mcip_start/'$mcip_start'/g' \
           's/mcip_end/'$mcip_end'/g';do
  sed -ie $cmd project.config
done

日期序列dates

未來五日的日期。以YYYYMMDD形式，以符合CMAQ系統的檔案命名習慣。

dates=()
for id in {0..4};do
  dates=( ${dates[@]} $(date -d "$BEGD +${id}days" +%Y%m%d) )
done

排放檔案之切割

排放量之處理可以詳參逐日模擬排放檔案之切割程式
台灣本島範圍的點源另外建檔處理。須執行mk_ptse.py

for i in 0 1 2;do
  ii=$(echo ${GRD[$i]}|cut -c5-)
  cd $fcst/grid$ii/smoke
  ../../mk_emis.py $BEGD
  if [[ $i -eq 2 ]];then
    /usr/bin/ncks -O -d LAY,0 TEDS.ncf TEDS0.ncf
    /usr/bin/ncatted -a NLAYS,global,o,i,1 TEDS0.ncf
    ./mk_ptse.py $BEGD
  fi

執行cctm

  cd $fcst
  csh ./run.cctm.${ii}.csh >&/dev/null

為準備下層邊界濃度逐日處理，先產生逐日bcon檔案名稱序列${f[@]}。

  # nest down BCON and ICON
  j=$(( $i + 1))
  f=()
  for id in {0..4};do
    nc=$fcst/grid$ii/bcon/BCON_${dates[id]}_${DOM[$j]}
    f=( ${f[@]} $nc )
    if [[ -e $nc ]];then rm $nc;fi
  done

combine.sh及下層BCON

執行5天所需的邊界檔案，會需要121小時，因此ncrcat連結之後，還要再加1個小時。

  for id in {0..4};do
    nc=$fcst/grid$ii/cctm.fcst/daily/CCTM_ACONC_v532_intel_${DOM[$i]}_${dates[$id]}.nc
    # combine PM's
    $fcst/combine.sh $nc
    # generate bcon for next nest
    test $i -eq 2 && continue
    csh $fcst/run_bcon_NC.csh $nc >&/dev/null
  done

  test $i -eq 2 && continue
  nc=$fcst/grid$ii/bcon/BCON_today_${DOM[$j]}
  /usr/bin/ncrcat -O ${f[0]} ${f[1]} ${f[2]} ${f[3]} ${f[4]} $nc
  # expand the last hour to next day
  ~/bin/add_lastHr.py $nc

下層ICON

  cd $fcst
  csh $fcst/run_icon_NC.csh $fcst/grid$ii/icon/ICON_yesterday_${DOM[$i]} >&/dev/null
done

earth套件輸出

tw_CWBWRF_45k(`${DOM[3]}`)版本

需將wrfout連結到各個分層目錄，以利uv10的讀取

for i in 0 1 2;do
  d=$(( $i + 1))
  for j in $(ls $gfs/${DOM[3]}/wrfout_d0${d}*);do
    k=${j/${DOM[3]}/${DOM[$i]}}
    l=${k/d0${d}/d01}
    ln -sf $j $l
  done
done

cmaq_json

依序執行3個模擬範圍結果的轉檔，以利earth系統的展示($IP:$PORT)。
IP’s
- 公司內IP=http://200.200.31.47/
- 公司外IP=http://sinotec24.com ¹
PORT’s
- d01：8084
- d02：8085
- d03：8086

# prepare earth json files and backup to imackuang
for r in 45 09 03;do cd /nas1/Data/javascripts/D3js/earthFcst$r/public/data/weather/current;./cmaq_json3.py $BEGD;done

備份

# prepare earth json files and backup to imackuang
if ! [ -e /home/kuang/mac/do_not_delete ];then /usr/bin/fusermount -u /home/kuang/mac;/usr/bin/sshfs kuang@IMacKuang:/Users ~/mac -o nonempty -o password_stdin < ~/bin/PW;fi
for id in {0..4};do
  for r in 45 09 03;do
    y=$(echo ${dates[$id]}|cut -c1-4);m=$(echo ${dates[$id]}|cut -c5-6);d=$(echo ${dates[$id]}|cut -c7-8)
    W45=Data/javascripts/D3js/earthFcst${r}/public/data/weather
    mkdir -p  ~/mac/$W45/$y/$m/$d
    cp /nas1/$W45/$y/$m/$d/[012]*.json ~/mac/$W45/$y/$m/$d/
  done
done

下載點

Download: 逐日WRF及CMAQ預報之執行腳本fcst.cs

WRF相關設定

Download: 執行WPS ungrib及metgrid)的控制模版namelist.wps_loop
Download: d01與d02雙向巢狀網格WRF控制檔案之模版tw_CWBWRF_45k/namelist.input_loop
Download: d03網格WRF控制檔案之模版TWEPA_3k/namelist.input_loop

CMAQ相關設定與批次檔

Download: 逐日執行特定網格mcip之批次檔run_mcip_DM.csh
Download: CMAQ專案與時間設定檔模版project.config_loop
Download: 逐日循序執行bcon.exe腳本run_bcon_NC.csh
Download: 逐日循序執行icon.exe腳本run_icon_NC.csh

sinotec24.com為Hinet給定，如遇機房更新或系統因素，將不會保留。敬請逕洽作者：sinotec2@gmail.com. ↩

執行預報腳本之分段說明

背景

Links

下載fcst.cs全文

crontab設定

目錄、日期及常數設定

氣象模式之執行

gfs檔案下載

WPS

namelist.input模版之準備

OS控制同步執行CWBWRF結果的內插(d03($i==2))

real及wrf

mcip之執行

CMAQ

專案模版之設定

日期序列dates

排放檔案之切割

執行cctm

combine.sh及下層BCON

下層ICON

earth套件輸出

tw_CWBWRF_45k(${DOM[3]})版本

cmaq_json

備份

下載點

WRF相關設定

CMAQ相關設定與批次檔

OS控制同步執行CWBWRF結果的內插(d03(`$i==2`))

tw_CWBWRF_45k(`${DOM[3]}`)版本