Dr. Kuang's Utilities

daily_traj.cs程式說明

Table of contents

背景
程式說明
程式下載

背景

這支程式(腳本)每天凌晨進行北中南測站反軌跡的計算，並將結果更新到GitHub Pages網頁畫面。

發展歷程

2維反軌跡程式由來已久，自張老師研究室時代即發展了變分分析風場與動力風場模式所推動的軌跡模式。張老師過世後，繼續發展成以CODiS高密度觀測數據之反軌跡程式(2019/06)。
2019/11因發展逐日預報之calpuff系統，使用到中央氣象局的WRF預報結果。經穩定使用後，將其繼續加值轉成wrfout形式，也應用在mmif與aermod的模擬(2020.02)。
2020.08發展了自wrfout讀取3維風場的反軌跡模式，其網格套疊的概念也延續到2維軌跡之計算。
臺灣地區高解析度2維軌跡分析系統最早開始(2021/01)先是發展產生的功能，分析過去個案，包括地面觀測與過去執行的wrfout，且將linux命令列的程式寫成html對話方式，而在畫面的右側，貼一個北、中、南測站反軌跡完成圖作為示意，讓使用者可以先預覽一下可能的結果。
其後(2021/06/23)發展電腦自動分析系統，預設反軌跡的時間、測站，並按照中央氣象局預報的天數，套用實際之風場，逐日由crontab自動執行，進行圖面的更換。
2022/04仿照疫情數據公開也使用github.io的平台，乃將在imac上的html自動分析的成果部分放在gitjub pages上，使用者自行產生部分仍然留在imac上。營運迄今。

重要選項考量與未來可能發展

python或fortran的選擇
- 早期張老師研究室的程式都是fortran撰寫，主要因為當時並沒有python的背景，而fortran也是為風場模式與光化模式所需要，軌跡模式為順便發展，所以就用了fortran。
- 由於軌跡模式只有簡單的位置計算，並沒有太多浮點運算，因此似沒有必要再以fortran來撰寫。
2維或3維的選擇
- 此處應用以測站周邊、高解析度、範圍以臺灣地區為主。需有強烈的因果關係解釋能力。
- 如以3維風場在強力垂直混合的風場(山坡、都市加熱區)中，會造成滯留的錯覺，不利解釋。
- 遠距離之長程傳輸，可以考慮使用3維風場，以避免高低風切造成的錯誤預估，且符合實際。
預報風場
- 每天獨立執行數值預報並不是一件容易的作業。主要因為風場模式具有發散的可能，需要完整的邊界條件、地面及高空的強迫條件的預報。
- 此處僅使用到地面風場、最多用到行星邊界層，其餘風場模式預報的物理量，在此並未使用到，這點也降低重新模擬的動機。
- 使用wrfout格式有其方便性，可以彈性接受自行執行wrf或接收CWBWRF轉檔結果。
- 由於GFS有10天的預報，以其結果做為wrf之邊界與FDDA數據，將可以得到10天高密度的地面風場，屆時不必修改主要軌跡程式，只需修改數據來源即可順利接收。
程式執行者的設定
- 在2022/04之前，網頁是直接設在imac的httpd服務範圍，為避免遭到駭客的修改、讀取等等不當行為攻擊，會將$web目錄的所有人設成root，限制其他人的讀取。
- 因此每日程式的讀取、計算及儲存，必須由root執行。
- 這項設定雖然也讓程式、腳本等等的修改增加不少困擾，但似乎也沒有更好的方式可選擇。

daily_traj.cs程式分段重點

接收get_M-A0064.cs之下載與轉檔結果。
執行軌跡模式ftuv10.py
執行檔案轉換csv_to_geojson
執行通風指數程式addVI.py
git更新上傳

程式說明

get_M-A0064.cs結果之接收

即使有舊檔(昨日、前日的預報結果)，也將其覆蓋。
此處為macOS版本之date指令

#!/bin/bash
yesd=$(date -v-1d +%Y%m%d)
for i in 0 1 2 3;do
  ymd=$(date -v+${i}d -j -f "%Y%m%d" "${yesd}" +%Y%m%d)
  y=$(date -v+${i}d -j -f "%Y%m%d" "${yesd}" +%Y)
  ddd=$(date -v+${i}d -j -f "%Y%m%d" "${yesd}" +%Y-%m-%d)
  for d in 1 3;do
    fn=U10V10_d0${d}_${ddd}_06:00:00
#   if ! [ -e /Users/Data/cwb/e-service/btraj_WRFnests/CWB_forecast/$fn ];then
      cp /Users/Data/cwb/WRF_3Km/${y}/${ymd}/$fn /Users/Data/cwb/e-service/btraj_WRFnests/CWB_forecast/$fn
#   fi
  done
done

執行ftuv10.py

4個空品測站：北部(中山站)、中部(忠明站)、南部(嘉義及前金站)
時間：今日、明日、後日之中午12時
- 每天的today_*.csv經處理後會儲存在對應之目錄下

for d in $today $Tomorr $AftTmw;do
cd /Library/WebServer/Documents
for t in zhongshan zhongming jiayi qianjin;do
  $PY -t $t -d ${d}12 -b True
  fn=trj_results/btrj${t}${d}12_mark.csv
  rm -f trj_results/today_$t.csv
  if [ -e $fn ];then cp $fn trj_results/today_$t.csv;fi
done
...
test $d == $today && dir=00
test $d == $Tomorr && dir=p1
test $d == $AftTmw && dir=p2
cat header.txt today.csv > $dir/today_marks.csv
done

執行csv_to_geojson

csv_to_geojson是網友miquel-vv提供的套件，可以將csv檔案中的經緯度位置，轉成geojson檔案格式的線格式，以順利讓leaflet地圖可以讀取。

CJ=/opt/anaconda3/bin/csv_to_geojson
...
#geojson for leaflet-ajax
cat headLL2.txt today.csv > today${today}12.csv
$CJ today${today}12.csv

執行addVI.py

通風指數(Ventilation Index, VI)：系指一個地區的平均風速、與其混合層高度之乘積。
- 一般用在與空氣污染有關的行為管制，VI值多少時，不能從事特定的污染行為。
- 也是一項重要的預報參數。
此處將軌跡線上的地面風速與行星邊界層高度相乘後，列在csv中，在繪圖時可以引用。
程式內自行呼叫$CJ，不另行呼叫。

VI=/Users/kuang/bin/addVI.py
...
for dir in 00 m1 m2 p1 p2;do
  cd $dir
  $VI today_marks.csv
  cd ..
done

git更新上傳

git過程會需要有一致的檔案屬性。如前所示，程式是root在執行，因此複製到repo目錄下的檔案會需要改變其屬性或所有權人。
每天更新軌跡線之後，還會有8：00更新的calpuff預報結果（from DEVP），因此會需要在imac複製更新部份(git pull)
其餘運作方式按照一般git的作業：add、commit、push

cd /Users/kuang/GitHub/sinotec2.github.io/traj/trj_results
for i in 00 m1 m2 p1 p2;do cp -r /Library/WebServer/Documents/trj_results/$i .;done
chmod -R o+r ??
cd /Users/kuang/GitHub/sinotec2.github.io
su kuang
GT=/usr/local/bin/git
$GT pull origin main
$GT add traj
$GT commit -m "update traj"
TOKEN=$(cat /Users/kuang/bin/git.token)
$GT push https://sinotec2:$TOKEN@github.com/sinotec2/sinotec2.github.io.git main

自動執行

## trajectories update
#MIN HOUR DOM MON DOW CMD
0    4    *   *   *   /Library/WebServer/Documents/trj_results/daily_traj.cs >& /Library/WebServer/Documents/trj_results/daily_traj.out

程式下載

Download: 軌跡線上通風指數之計算daily_traj.cs

This site is open source. Improve this page.