Table of contents
音訊AI應用
背景
- 聲紋所含有的資訊量僅次於虹膜,是目前生物辨識方式中最具發展潛力的項目,很多銀行已經使用聲紋進行密碼解鎖(如花旗銀行1)。3種生物辨識方式的特徵值如表所示。
生物辨識方式 | 特徵值數量 |
---|---|
指紋 | 50 |
聲紋 | 150 |
虹膜 | 240 |
- 此處由聲紋在生物領域、機械領域的應用為出發,介紹在環工、生態、與管制上的應用及發展,主要是書目、剪報、與一些粗淺的想法。
生物音訊辨識與AI應用
陸域動物
鯨豚魚類
水中動物的聲納偵測已經有多年的歷史了,此處主要收錄被動式的聲紋辨識為主。目前除了辨識生物種類之外,更進步到鯨豚的語言分析。
Eva Hagan(2023) How AI and underwater microphones are helping in marine life conservation,Green Matters, Jun 28, 2023
水下智慧手機搭配無人航行器已廣泛應用在水中生物影像、音頻、路徑等之追蹤紀錄,對象包括了鯨豚、珊瑚。同時也藉由水下生物音頻的播放,應用在瀕危珊瑚等之復育。
一如2023/6/10過世的鯨豚保育人士Roger S. Payne所倡議:每個物種,包括人類,都依賴於其他物種生態系來保持適合其居住的環境,而這些物種中的每一個又依賴於一組重疊但有些不同的物種,來保持其生態位階以適合它們居住。運用現代科技與人工智慧記錄如此龐雜的訊息、理解其中的意義、並應用在保護復育,將會是一番不同的景象。
- 錢定遠. 「智能無人機之鯨豚偵測追蹤技術研究」. 工程科學及海洋工程學研究所. 國立臺灣大學, 2021.
本篇論文介紹白海豚偵測程式應用於虛擬無人機自主追蹤白海豚,為實海域實機測試前期準備。SITL飛行模擬器3使開發者可在個人電腦使用ArduPilot無人機系統,該無人機系統與未來實體測試使用之系統相同。模擬讓我們得以了解程式將如何運行於無人機上,也可減少未來實體測試的研究成本及財產安全損失。 利用台大鯨豚實驗室整理之已命名PHOTO ID的2018年白海豚資料庫,使用YOLO v4訓練資料庫照片,建立白海豚即時視覺偵測模型。在實海域拍攝白海豚之影片中,該程式測得在最小702 個像素,以0.5AP(平均準確率)以上偵測信心,正確偵測出白海豚。透過模擬環境,本論文也提供本偵測模型合適的偵測高度、距離及俯仰角,以利後續開發效能更佳的鯨豚追蹤演算法。 另也利用已鑑定為Doufu白海豚的照片,以Blender建立3D白海豚模型。在Gazebo模擬器,3D白海豚以10節速度在海洋中以正方形、圓形、8字形在水面上水平移動,利用虛擬無人機上的鏡頭拍攝,並透過自建的白海豚偵測程式,在特定條件下可成功追蹤不跟丟。 在實海域影片測試中,利用公視由船上拍攝視角可得出約50%以上的準確率,而由於缺乏俯視圖訓練,因此在蔡嘉揚博士空拍白海豚畫面中僅得不到10%的準確率。
- 評論
- 在海象惡劣的臺灣週邊海域,鯨豚偵測追蹤技術過去以高成本的聲納系統、人工肉眼的觀察方式,如果可以用快速反應的圖像辨識來輔助,在實務上有其發展的必要性與充分性,不單在瀕危物種的檢測、即使對數量較多的鯨豚,也有觀光及漁業上的價值。
- 即使歷史影片的辨識率低,但系統功能與辨識速度已經證實可行。
- 除了白海豚,如果訓練可以擴及其他鯨豚、或透過國際合作取得更多空拍畫面,將能以逐步收斂的方式來提高準確率。
- 評論
- 楊濬維 (2020). 台灣水域鯨豚聲紋辨識與定位研究.指導教授:邱永盛, 海下科技研究所. 國立中山大學4
- 蔡孟亨 (2022). 基於深度學習方法實現臺灣西部海域海豚影像辨識. 資訊應用與科技管理碩士在職專班. 靜宜大學5
- 臺灣海大電機系洪賢昇教授導生
雞隻
- 聲紋在人類醫學上的應用非常熱門,這篇論文是應用在禽流感的診斷與處置,非常有實用價值,是篇得獎的論文。
- 雞隻聲紋辨識系統應用於雞隻呼吸道症狀檢測。
- 智慧農業(2021)
- 林玠佑 (2021). 雞隻聲紋辨識系統應用於雞隻呼吸道症狀檢測. 生物產業機電工程學系所. 國立中興大學, 台中市.url
鳥類的辨識
蛙種分類
- 一般蛙類:陳亞仲 (2010)台灣蛙類聲紋辨識系統之開發與研究. 電機工程系. 國立高雄應用科技大學, 高雄市.18
- 艾氏樹蛙:張志嘉 (2016)艾氏樹蛙的族群遺傳結構與鳴叫聲紋之地理變異分析。臺北大學地環系(2016). 19
- 王前文. 「基於深度學習影像物件偵測應用於音頻事件檢測以蛙種分類為例」. 電機工程學系甲組. 元智大學, 2022.
本文目標協助使用者辨別台灣35種青蛙叫聲。將聲音事件經傅立葉等方法轉換成時頻圖,並應用在影像辨識的網路中,而其中物件偵測的方法在圖片及影片中都能有效檢測出複雜上下文中的對象。 採用物件框偵測的方式去檢測蛙類叫聲的時頻圖,我們所使用的網路架構為YOLOv5,在速度上以及準確度上都有一定的水準,而我們也成功的利用該方法在少量數據集中檢測出聲音類別。 在過程中我們也針對各項增強及部分模塊做消融研究,讓網路的準確度得到提升的同時減少運算成本,在本研究的方法中能夠標記聲音及類別發生時段,更方便資料的裁切回收及利用,減少後續資料人工處理的耗費成本。
- 評論
- 聲音頻譜作為識別圖像,是一件非常具有啟發性質的應用,在生態調查成果的數位化程序中,有其定性、定量上的重要價值。
- 相對一般的圖像,頻譜特徵的資訊量相對較少,這可能是沒法進入正確辨識比例相關討論的原因。
- 應用上,辨識速度的要求與後續監控的行為有密切的關係,如追蹤攝影、計數、蛙類行為的紀錄及預測等等。
- 還需要研究的是音量的定量分析。一如影像有外型、大小,音頻也有線型定性與音量的判別,才能完整分析、記錄其位置、移動與速率分析。
- 評論
其他
- 黃益良 (1996). 類神經網路應用於聲源訊號之分類研究. 資訊工程研究所. 中原大學, 桃園縣.url。主要應用在水下訊號處理–特別是被動式聲波訊號的偵測與分類識別。
車輛噪音與維修
2020
- 噪音計結合科技執法(佳竑科技股份有限公司2020)
環保署聲音照相(2022)
110-07-09 [行政院環境保護署空保處]照住噪音車 民眾很有感 -聲音照相科技執法半年成果
環保署於今(110)年1月1日起推動實施「聲音照相-科技執法」,截至6月底全國已有17縣市共計45套設備投入執法,經判斷屬明確車輛行駛噪音超標者,直接開罰告發數468件,另已通知到檢493件。聲音照相科技執法發揮遏止噪音車效果,受到住在道路旁的民眾歡迎,寫信至署或地方政府爭取設置,希望將聲音照相納為住所附近道路的常規路測設備。
環保署表示,聲音照相已發揮壓制遏止噪音車的效果,部分縣市噪音車檢舉案件數已有減少。以執法設備布設數最多的新北市為例,環保局運用車牌辨識系統、國家一級認證噪音計、固定式聲音照相系統等設備,針對車輛噪音超標案件直接開罰或配合後續通知到檢確認。據該市表示,相較於109年1月至6月民眾全市噪音車檢舉2,674件,110年同期為1,736件,檢舉數下降約35%。
聲音照相科技執法今年初上路迄今,各縣市政府主動配合政策並積極設置應用,環保署定期邀集各縣市視訊會議,分享檢討執行聲音照相之執法心得。特別彙整地方科技執法特色,發現半年來有六個聲音照相科技執法之最,分別有
1.開罰最多:在臺北市仰德大道、復興北路等點位,開罰171件,居全臺之冠,佔總開罰案件數40%;
- 布點最快:新北市,架設14個聲音照相點位,也是全臺灣擁有最多聲音照相設備的城市; 3.查緝最強:桃園市,首創聲音照相雙向車道取締,強力查緝; 4.運用最多元:高雄市,取締噪音車超標外,同時比對機車是否完成排氣檢驗,噪音與污染一次掌握; 5.嚇阻最強:彰化縣,去年同期陳情案件數下降達84%; 6.效果最好:花蓮縣於今年上半年首度達成零案件陳情數。
此外,根據第一線地方稽查員轉述,許多機車騎士,遇到聲音照相告示牌前,即下車牽車,深恐被噪音取締;甚至民眾想出許多奇招,如以毛巾蓋住車牌牽車,或以拖鞋等覆蓋物遮擋部分車身等特殊現象。同時,車友亦會藉由臉書等社群平台互通傳訊互相提醒可能設有聲音照相設備之熱點,以避免自身駕駛行為造成車輛噪音超標受罰。
環保署強調,為加強並提升地方執法的量能,該署已於去年順利爭取前瞻科技計畫經費,刻正購置設備以提供地方使用提升執法量能;另也爭取公共建設計畫相關經費,如未來能順利通過審查,將可進一步補助地方環保局購置執法設備,目標預期今年底前科技執法量能可增加至100套。未來聲音照相除運用於使用中機動車輛噪音外,也將評估擴大發展應用於營建工程噪音取締,維護民眾生活安寧。
有效壓制並遏止噪音車,科技執法聲音照相一週年執行成果發表(何聖堯2022/03/24 旭傳科技(股)
道路速限在時速在低於 50 公里的情況下,管制標準值在 86 分貝;而速限介於時速 50 公里至 70 公里間,管制標準值則在 90 分貝。車輛超過分貝值即會被開罰。 三重認證。首先噪音計係法定度量衡每兩年會經標準檢驗局檢定一次;接著每年環保署會依環境檢驗方式執行比測驗證一次;最後噪音計三天校正一次,系統五分鐘會對時。 二重把關。首先會進行人工判別,調閱案件前後三秒影音檔,釐清噪音的產生;再者會經科學判定,調查事件背景音量的修正及限制天氣條件(無雨、風速小於 5m/s)。
環保署2023
噪音擾人! 環保署再擴大聲音照相科技執法 (2023/06/09 14:13 中時 林良齊)
為強化稽查取締汽機車噪音,環保署從2021年推動聲音照相科技執法,目前全台已有21縣市啟動科技執法,共有聲音照相設備124套,裁處5137件,更順利爭取行政院核定前瞻計畫及公共建設計畫相關經費,逐年補助地方政府購置及升級聲音照相設備,在2026年後將可擴大到306套,足供全國各縣市所需,可有效加強稽查車輛噪音陳情案件,以維護民眾生活安寧。
環保署表示,目前地方政府還可依據噪音管制法第8條規定,公告特定時段或地點,車輛「使用未經認證之排氣管」屬妨害他人生活環境安寧之行為,如發現車輛安裝非經認證排氣管,可依噪音管制法處最高3萬元罰鍰;也有部分縣市(新北市、臺中市、苗栗縣、雲林縣及嘉義縣等5個縣市)將「任意變更經主管機關噪音檢(查)驗合格排氣管之車輛行駛於道路」公告為妨害安寧行為,違反者一樣可依噪音管制法處罰。
針對聲音照相於風速5米以上不能裁罰,及於3秒內車輛噪音測值需相差≧6 dB限制條件,環保署正進行技術研發,將縮短兩車噪音事件相距為2秒,甚至1秒時間差即可進行判定,有效提升地方環保局稽查處分效能,保障民眾居住生活品質,維護環境安寧。
噪音監測+排氣管外觀辨識+號牌辨識
- 這攝影機超猛!偵測噪音、辨識車牌、判別排氣管 已罰492件。TVBS 新聞李潔 王華麟 2022年3月24日
新北市有一款監視器,除了可以偵測噪音,更結合「AI辨識系統」,能直接判讀車牌,以及排氣管外觀,如果被認定是違法改裝,將會被取締,而這樣的監視器,全新北就有一百支!
AI辨識噪音車,同時比對排氣管,與當時檢驗合格建檔的,是否為同一支,如果被拍到銀色造型,就會被懷疑有改裝,認定違法,就開單。
環保局過去大多與警方聯手,在噪音管制時段實施夜間攔查,這回一名男子騎車炸街,排氣管的聲音在凌晨四點多,吵得居民無法入眠,員警獲報,迅速在公園找到人。
機械聲紋辨識
地下管線滲漏檢測
- 全球首創 AI 巡檢漏水技術!工研院助花東震後災區快速復水(科技新報2022年11月15日)
只要 3 秒就能辨識水管是否發生洩漏,並在花東地震後協助台灣自來水公司查出災區 27 處供水管線異常,其中 25 處診斷正確,辨識準確率高達92.5%
這項技術為全球首創結合本土化漏水診斷設備擷取現場動態音訊,透過 AI 人工智慧漏水音診斷模型,整合 5G、AIOT 資訊同步進行洩漏事件辨識與漏點定位,採面-線-點由大到小管網檢漏策略概念,快速精準管網洩漏定位技術,可應用於金屬、PVC 等複合管道漏水檢測。
車船機械聲紋辨識診斷
人工智慧應用於汽車行駛狀態之聲紋辨識。長庚電機系劉元恩(2021)
本研究針對車輛聲紋故障提出一套早期預測系統,透過不同的機器學習方法實現故障特徵分類。現今5G世代的興起,車聯網的加速發展,自駕車將勢必成為未來趨勢。利用物聯網系統搭載即時故障診斷就能有效確保駕駛人安全,也能對鄰近車輛發出警訊。本論文的實驗數據是應用聲學感測器量測實際車輛常見的21種不同故障原因狀態,包含引擎系統、傳動系統及輪胎異常等故障類別。實驗分成兩大部分,第一部分針對15種引擎狀態,使用時域分析法中的階次分析(Order Analysis)以及頻域分析法線性預測編碼 (Linear Predictive Coding, LPC )進行濾波得出聲紋特徵,運用深度學習網絡辨識兩者濾波法的差異。
第二部分,針對車輛引擎及輪胎共16種聲音特徵的萃取,使用線性預測編碼 (Linear Predictive Coding, LPC )將連續時間信號轉換成頻譜後建立聲紋特徵數據集(Feature Dataset)。使用主成分分析方法(Principal Component Analysis, PCA)實現於聲紋特徵數據集,應用整合非監督式學習法將相似的特徵為各個主成分集,使故障分類辨識率再提升並縮減訓練時間。最後使用深度學習網絡(Deep Neural Networks, DNN)將聲紋特徵分類,應用兩種激活函數(Relu,Selu)並從中比較其差異。本研究採用主成分分析法結合深度學習演算法等架構。進行交叉比對驗證,異常情況辨識效果可高達99%。
- 劉元恩 (2021). 人工智慧應用於汽車行駛狀態之聲紋辨識. 電機工程學系. 長庚大學, 桃園縣.url
- 林威宇 (2019). 基於引擎聲及鳴笛聲進行車輛種類辨識. 電機工程系. 國立臺北科技大學, 台北市.url
- 楊武松 (2009). 類神經網路應用於船舶聲紋辨識之研究. 電子工程學系碩士班. 義守大學, 高雄市.url
- 郭香蘭 (2021). 聲紋辨識應用於設備異音監控之研究. 資訊管理系. 國立高雄科技大學, 高雄市.url
震動
2015 阿妹條款?「振動噪音」環署擬納管要開罰
〔記者蔡穎/台北報導〕歌手張惠妹日前在台北小巨蛋開唱超嗨,全場逾萬名觀眾也跟著跳躍,共鳴振動問題引起鄰近社區居民投訴,一度禁止唱嗨歌「三天三夜」;環保署昨表示,類似的低頻振動噪音目前無法可罰,未來擬以六十分貝為標準,若超標就可按次開罰,嚴重時還可停工、停業。
環保署空保處處長陳咸亨表示,以小巨蛋案例,其振動頻率範圍低於法定的廿Hz,無法由儀器測到因振動產生的低頻噪音,故不適用「噪音管制標準」規定。陳咸亨也說,國內民眾陳情案件以樓地板的振動為主,例如公寓上下層的小朋友跑跳、椅子拖拉等引起的噪音,現行法規確有檢討必要。
初步以60分貝為標準 最快明年實施
根據環署委託研究20,國外制訂低頻振動規範的只有日本跟西班牙,而振動量達五十二分貝時,民眾可開始感覺到因振動而經結構傳遞的低頻噪音,目前擬另立「振動管制法」,初步規劃以六十分貝為標準,若低頻噪音振動量超標,工廠、營建工程或娛樂場所按次或按日連續處罰,嚴重時還可停工、停業或停止使用。
陳咸亨表示,相關草案仍在蒐集資料,最快也要明年才會實施,目前沒有具體時間表。
電機馬達震動之AI背景值之去除,可以參考Jang et. al (2023)21
設備端之AI
What is Machine Learning? ERBESSD INSTRUMENTS
環境振動與疲勞破壞
震動之鑑定
震動之傳播
Rethinkings
- 結合保檢制度:將影音檔交付車廠建立車輛病歷資訊,納入監理檢測系統。
- 維修業者納入管理。取締非法維修業者、非法維修行為。目前還是處罰車輛所有人30,桃園市提案修法納入車輛維修業者3,自源頭管制不當改裝廠,罰則也需符合比例原則。
- 震動目前還尚未有法規,其基線量測尚待開發31。
全臺第一個採聲紋辨識技術的客服系統今日上線,花旗讓身分驗證時間快3倍。金管會在近日剛發布的金融科技政策白皮書中,將區塊鏈及身分認證列為兩大金融發展重點項目,並以生物辨識技術、雲端、大數據、行動通訊及區塊鏈5項目,作為打造數位金融的基礎建設構面。臺灣近年在推動金融科技發展上,總是慢了一點,不過這次在生物辨識領域,難得領先全亞洲,成為花旗銀行繼美國之後,第2個導入的市場,之後花旗銀行將陸續推到新加坡、香港、澳洲,並計畫在明年底前推到亞太區12個市場,預計1年內將有100萬名用戶使用此服務。[文/辜騰玉 2016-05-18 IThome](https://www.ithome.com.tw/news/105983) 桃園市府行政院會提案杜絕改裝車噪音 閣揆挺、促速修法。UDN記者鄭國樑(2023-06-08) ↩ ↩2
楊濬維 (2020). 台灣水域鯨豚聲紋辨識與定位研究.指導教授:邱永盛, 海下科技研究所. 國立中山大學, 高雄市.url ↩
蔡孟亨 (2022). 基於深度學習方法實現臺灣西部海域海豚影像辨識. 資訊應用與科技管理碩士在職專班. 靜宜大學, 台中市.url ↩
劉士華 (2016). 模糊C-means分群法在抹香鯨聲紋分類之應用. 電機工程學系. 國立臺灣海洋大學, 基隆市.url ↩
林威穎 (2019). 基於希爾伯特-黃轉換法的黃嘴角鴞聲音分類. 電機工程學系. 國立臺灣海洋大學, 基隆市.url ↩
張志嘉 (2016). 艾氏樹蛙的族群遺傳結構與鳴叫聲紋之地理變異分析. 地球環境暨生物資源學系環境教育與資源碩士班. 臺北市立大學, 臺北市.url ↩
環保署委託凱鉅科技實業股份有限公司(2017)環境振動源特性及管制研究計畫專案研究計畫EPA-106-U1F1-02-A204 ↩
Jang, J.-G., Noh, C.-M., Kim, S.-S., Shin, S.-C., Lee, S.-S., Lee, J.-C. (2023). Vibration data feature extraction and deep learning-based preprocessing method for highly accurate motor fault diagnosis. Journal of Computational Design and Engineering 10, 204–220. doi ↩
Guo, G., Cui, X., Du, B. (2021). Random-Forest Machine Learning Approach for High-Speed Railway Track Slab Deformation Identification Using Track-Side Vibration Monitoring. Applied Sciences 11, 4756. doi ↩
Kouchaki, M., Salkhordeh, M., Mashayekhi, M., Mirtaheri, M., Amanollah, H. (2023). Damage detection in power transmission towers using machine learning algorithms. Structures 56, 104980. doi ↩
Chen, H.-Y., Lee, C.-H. (2021). Deep Learning Approach for Vibration Signals Applications. Sensors (Basel) 21, 3929. doi ↩
Liang, R., Liu, W., Kaewunruen, S., Zhang, H., Wu, Z. (2023). Classification of External Vibration Sources through Data-Driven Models Using Hybrid CNNs and LSTMs. Structural Control and Health Monitoring 2023, e1900447. doi ↩
Cheng, Z., Liao, W., Chen, X., Lu, X. (2021). A vibration recognition method based on deep learning and signal processing. Gong Cheng Li Xue/Engineering Mechanics 38. doi ↩
Zheng, H., Yan, W. (2022). Field and numerical investigations on the environmental vibration and the influence of hill on vibration propagation induced by high-speed trains. Construction and Building Materials 357, 129378. doi ↩
Cao, Y., Li, B., Xiang, Q., Zhang, Y. (2023). Experimental Analysis and Machine Learning of Ground Vibrations by Elevated High-Speed Railway Based on Random Forest and Bayesian Optimization. doi ↩
Xu, Z., Ma, M., Zhou, Z., Xie, X., Xie, H., Jiang, B., Zhang, Z. (2022). Prediction of Metro Train-Induced Tunnel Vibrations Using Machine Learning Method. Advances in Civil Engineering 2022, e4031050. doi ↩
不當亂改機車設備,當心被取締開罰!交通部道路交通安全督導委員會(2018) ↩
雖然目前還沒有針對「震動」的法條,但是機具震動連帶都會帶有噪音,此時就可以依照「噪音管制法」,如音量超過主管機關訂定的管制標準,即屬於噪音,可以依法開罰。施工震動該如何檢舉?3 個檢舉方法教學。2022 年 3 月 9 日Jim 房產生活, 置頂文章 ↩