Home

逐日排放檔案之切割程式

背景 雖然空品預報是模擬當天的空氣品質,但是大多數排放數據資料庫仍然是舊有數據,除了需要校正到正確的月份與星期,以符合氣候與星期週期的排放變化,也需要將舊的日期標籤改換成新的標籤,以符合CMAQ的要求。 d01、d02仍然使用REAS v3.1數據, d03則使用TEDS11數據 即期排放(如電廠運轉率、CEMS數據、即時交通數據或預報數據)仍然有待發展 本項工作乃空品預報中的一環,see also [[2022-08-20-CMAQ_fcst]]1 程式說明 IO 引數:模擬開始日期$BEGD,格式為+%Y-%m-%d 程式也會讀取工作目錄,從中讀取網格設定,以開啟正確的排放資料母體檔案 ...

Read more

臺北市交通流量及特性(年度)調查數據檔案之取得

背景 由於執行方式與成果儲存方式係委託顧問公司於現場或錄影調查,會逐步擴增與更新,如果要進行年度間的比較具挑戰性。 各年度、各站點調查結果,係以固定目錄及檔名方式,儲存於內部伺服器,並沒有提供sftp或其他網路服務。而其目錄檔名,按照年度又分別儲存在目錄檔案內。因此有3層下載需求 所有年度目錄檔(pdf檔、網頁):可以將pdf中連結一一複製另存,也可以將網頁另存成html檔案,再寫程式解析讀出年度目錄檔之連結。此二者結果雖然略有差異,但在遠端有映射連結,對照到同一個檔案。 各年度目錄檔 年度執行結果檔 取得後讀取可詳參[[2022-10-13-rd_sht3]] 各年度目錄檔 所有年度目錄檔中讀出...

Read more

linux快速入門

工作站的優點與必要性 降低平台作業的相容性問題:多人、多機、多工、平行作業。 資料參考與比較。考核容易。 方便應用fortran/python/java/C等進行平行計算、大量數據資料處理、繪圖Linux, bash, python … 為進入資訊領域的重要門檻,有利未來職涯發展。 認識環境 硬體 伺服器機器的位置是在公司內部 主機(console: master、DEVP)、 局部網路計算節點(node: node01~node03)、 NAS(nas1、nas2)、 寬頻控制器、UPS等設備 外部測試機(IMacKuang@125.229.149.182) 遠端登入(ssh...

Read more

selenium專案-國民健康署癌症數據之讀取

網頁內容之讀取 (爬蟲程式crawler) 閱讀網站已經是現代人每天必做的事,是否有程式界面可以自己閱讀網站的內容,篩選使用者有興趣的內容,進而操作網頁的動作呢?答案是肯定的,一般稱之為crawler爬蟲程式。 做為crawler程式,其基本語言可以是javascripts或其他語言,當然也可以是python。 Python模組中的爬蟲程式一般使用requests來抓取頁面內容,也進而使用BeautifulSoup 進行內容的剖析,再以讀取結果內容進行程式設計,可以說是非常完整。 類似的作業如自動下載與讀取交通量VD數據([[2022-10-14-get_VDtp]]1、[[2022-10-13-rd_sht3]]2) 直讀與行動(selenium) 此...

Read more

數位筆記系統使用心得

背景 功能需求 如題所示,這篇筆記是針對這些年來筆記系統的數位發展與個人的使用經驗心得。先就筆記系統的重要元件及功能要求、條例如下: 介面 容易操作、容易上手、軟體介面親人性 中文化輸入、輸出 有簡潔的顯示版面,最好可以直接展示、用在簡報、教學,不必另外做ppt檔案。 項目符號、自動排序 是否接受手寫辨識,要按使用者手寫工整程度而定。 索引系統 目錄系統:文章內、外;無限制、多層次目錄;目錄要能展開、合併 時間標籤:文件創始、文件修改日期...

Read more

水環境資訊與模式

背景 大氣模式有所謂的community model、有clearinghouse、有所謂叢集預報,這裡也希望能針對水質模式進行回顧與搜尋,建立重要的連結與認知。 USA USAEPA, Water Data and Tools Discover how data and tools help EPA protect and restore our waters to ensure that they are drinkable, fishable and swimmable. Learn about the following categories of water data tools: Integrated Water Analysis ...

Read more

mcip重新編譯與效能提升

背景 以多核執行mcip(gcc版本)會有儲存的問題,容易發生問題。檔頭即發生錯誤。 由於多數執行皆以平行化,如在mcip階段以單核循序處理,將造成作業上的瓶頸,不利未來發展([[2022-12-06-fcst10days]]1)。 修改方案 改以pnetcdf方式,讓程式可以平行方式撰寫結果。(CCTM現行執行檔即為pnetcdf編譯成功經驗) 其他非gcc方案 編譯 Makefile_intel方案 使用/opt/mpich/mpich-3.4.2-icc/bin/mpifort來進行編譯。 ioapi本身並沒有mpi功能,因此還是使用Linux2_x86_64ifort版本,不必使用mpi版本(也無法完...

Read more

跨批次ncf檔之串連與均勻化

背景 將CCTM_ACONC或者是combine結果檔,按照時間軸以ncrcat串連後,因在換日時更換了起始濃度與執行批次,致使等濃度結果(gif檔)產生跳動、停頓等等在時間軸上不連續、不合理情形。 這一題類似intp_json,差異在於程式作用在nc檔案還是json檔案、以及漸變的時間周期。nc檔是為做m3nc2gif.py(see [[4.m3nc2gif]] ) 此處漸變週期24小時),json檔則是為earth顯示系統(週期6小時)。 跨批次nc檔案的辨識,可以利用nc檔全域屬性中的CDATE及CTIME(current date/time)標籤: 同一執行批次檔案CDATE/CTIME時間會彼此相近,後產生的檔案略大於前者,因此可以直接串連...

Read more