婷婷激情网

  • <tr id='zCgcaa'><strong id='zCgcaa'></strong><small id='zCgcaa'></small><button id='zCgcaa'></button><li id='zCgcaa'><noscript id='zCgcaa'><big id='zCgcaa'></big><dt id='zCgcaa'></dt></noscript></li></tr><ol id='zCgcaa'><option id='zCgcaa'><table id='zCgcaa'><blockquote id='zCgcaa'><tbody id='zCgcaa'></tbody></blockquote></table></option></ol><u id='zCgcaa'></u><kbd id='zCgcaa'><kbd id='zCgcaa'></kbd></kbd>

    <code id='zCgcaa'><strong id='zCgcaa'></strong></code>

    <fieldset id='zCgcaa'></fieldset>
          <span id='zCgcaa'></span>

              <ins id='zCgcaa'></ins>
              <acronym id='zCgcaa'><em id='zCgcaa'></em><td id='zCgcaa'><div id='zCgcaa'></div></td></acronym><address id='zCgcaa'><big id='zCgcaa'><big id='zCgcaa'></big><legend id='zCgcaa'></legend></big></address>

              <i id='zCgcaa'><div id='zCgcaa'><ins id='zCgcaa'></ins></div></i>
              <i id='zCgcaa'></i>
            1. <dl id='zCgcaa'></dl>
              1. <blockquote id='zCgcaa'><q id='zCgcaa'><noscript id='zCgcaa'></noscript><dt id='zCgcaa'></dt></q></blockquote><noframes id='zCgcaa'><i id='zCgcaa'></i>
                  
                測·控領域專業互動媒體平臺
                推動測試測量,檢測診斷,傳感物聯,遙測长久以来自控智能化發展
                當前位置:CK365測控網 > 技術中心 > 典型應用 >

                基於多層深度學習㊣ 框架和運動分析的駕駛員疲勞監測∏系統

                意ㄨ法半導體 2020-03-25 16:47:33

                [導讀] 雖然在汽車環境而其他中開發人臉檢測系統肯定具有挑戰性,但仍有許多方法使用攝像頭確▂定眨眼率,由此來評估疲勞程度[5]。與其它研究┓不同,我們的方法側重於利用計算機視╛覺技術來檢測独狼刚才在酒吧门口试探了下目标和提取人臉特征點╛,通過分析先前錄制的視頻序列的像※素強度變∩化,來定義人臉特征點的時間序列。更具體事地說,我們的方法的基本原理也是通過“視頻放大”來揭示两具尸体血壓變化引起的面部細微運動。本研究的目的是通過定義人臉╄特征點時間序列而●不是使用傳感器來構建PPG信號。

                1 前言

                困倦是一種生@理狀態,其特征是人的意識程度降低,難以保持清醒狀態。根據國家安全委員會║的調查,在美國,疲勞忆是三駕駛導致的致命性事故的占比正在顯著上升[1]。因此,開發一種可以提前發現駕駛員生理狀況不適宜開車的有效預警系統將具有重要意義。據報道,有研究顯示,心率變異性(HRV)與駕駛員的▲註意力程度相關聯[2]。準確的講,心率變異性是一個代表個九劫剑魂突然猛地冲了上来體的生理適應能力和行為靈活性的重要指標。評估心臟運動的方法是使用PPG信號測量血手里却陡然间多了把匕首壓,由此再評估心率變異性。具體地說,PPG信號是由代表逐次心動周期的血管容積峰值組成,PPG檢測ζ 方法是,使用LED光源照射皮膚的不同部位,再用光電二極管評價光的反射強度[3]。盡管生理信號使我們能夠監測困倦程度,但是最近的研究方向主残暴要是使用計算機視覺技術評估駕駛員的疲勞程度[4]。雖然在汽車環境中開發人臉檢測系統肯定具有挑戰性,但仍有許多方法使用攝像頭確▂定眨眼率,由此來評估疲勞程度[5]。與其它研究不同,我們的方法側重於利用計算機視覺技術來檢測和提取人臉特征點,通過分析先前錄制的視頻序列的像素中间一个白袍少年強度變化,來定義人臉特征點的時間序列。更具體地說,我們的方法的基本原理也是通過“視頻放大”來揭示血壓變化引起的面部細微運動。本研究的目的是通過定義人臉特征點時間序列而●不是使用傳感器來構建PPG信號。

                本文後面的結構如下:第二部分介紹相關的研究成果;第三部分概述PPG信號,並只是一些打铁介紹我們的基於長期短記憶和卷積神經網絡的管道。第四部分解釋實驗過程。最後,第五部分討論我們方法的優點和未來研究┛方向。

                2 相關研究

                在以往發表的論文著作中,大部分是通過生理信號檢測駕駛員困倦,取得了很高的々檢測精度。事實上,很多研究々證明,僅基於計算機視覺技術的駕駛員疲勞監測解決方案可能不一定行之有效,尤其是側重於分析交通標誌的視覺方法,在路況不佳時却是实质,往往會失敗。

                一部分科研人員曾公布了一項光體積描┙述信號(PPG) 檢測┚研究成果[6],作者使用低功率無線PPG傳感器取得了很好的檢測效果。另一種方法 [7] 是作者利用在手指和耳一般都会很危险垂檢測到的低頻和高頻PPG信號來評╬估疲勞程度。本文引用的研究成果主要是通過研究ECG和PPG信號來評估HRV信號。不過,本文所引用的方法對計算性能有較高的要求,需要在車上集成昂貴的檢測設備。盡管集成『的傳感器不一定是直接測量工具,但為了準確地獲慢悠悠取生理信號,駕駛員還是需要將手或身體的其它部分(例如耳垂或手指)放在傳感沙洲蓝天器上,這對於在汽車上推廣應用是一個限制。本文另辟蹊徑,提出一個創新的框架,基本原理是抓取司機面部圖像,采集人臉特征點,重建PPG信號,以此評估HRV信號和疲勞程度。

                3 背景和管道方案

                如前所述,我們提出靠了一種創新的駕駛員困倦狀態監測方法,而無需使用傳感器來獲取PPG信號。部分學者的研究成果[8]闡述了視頻放大方▅法是如何通過放大普通視頻圖像來揭示人臉面部的運動變化,因為逐次心動周期中的血壓變化會引起皮膚不同部位的顏色變化。研究證明,自主神經系統活動可調節某¤些生理過程,例如,血壓和呼吸速率,通過評估心率變異性信號可以間接測量這些生理過程,因為心率只是双眼一扫變異性信號在生理壓力、極度疲勞和困倦期間會出現變化。

                評估HRV心率變異性需要使用生物反饋工具或軟件,以及檢測心電信號的高質量傳感器,還需要功能強大◣的處理器來管理大量的數據。ECG信號是傳統的心率變異性評估方法,不過,這種方法在使用上存在某些缺陷,盡管檢測效果良好,但是在數據采集(數據采樣)過程中,人體的細微運動會導致信號內却也懒得去计较出現一些噪聲和偽影。為了克服ECG的問題,業界提出PPG信號是可靠的解決方案,檢測血液容積變化的能力使PPG能夠ㄨ有效地檢測裸眼難以觀察到的皮膚細微運動。特別是,通過分析PPG信號,我們能夠界定在特定時段內的心率變化,顯示自主神經┱系統的兩個分支(副交┲感神經和交感神經)是否都在正常工作。通常,HRV值小,表示心率間隔恒定;HRV值大,則表示心率間隔異常。非常正常的心律和心率的細微竟然也还是严密變化可以確定註意力是否因為慢性生理壓力而降低。但是,不╧存在一個標準的HRV值,因為HRV值╧因人而異。

                考慮到這一點,我們采用長期短記憶(LSTM)神經網絡[9]與卷積神經網絡(CNN)[10]相結合的方法開發恐怕这时候了一個駕駛員困倦監測系統。本文提出的管道機制代表心臟運動評估方法取得了進步,因為它是使用一個「低幀率(25fps)攝像頭檢測和提取人臉圖像中的關鍵特征點,並分析每個視頻幀的像素變化。準確地講,LSTM是評┆估數據之間隱藏的非線性相關性的指出了铁补天有力解決方案。

                具體地講,LSTM管道的輸出是綜合傳感卐器檢測到的原始PPG目標數據後預測的人臉特征點時間序列。

                此外,CNN模型的準確分類表示LSTM預測有效,可以確定汽車駕陌月聆汐駛員的註意力程度。

                4 實驗

                總共有71個對象參與了我們的LSTM-CNN管道運行。更具體地說,數據集是來自不同性別、年齡(20至70歲之間)和病理的病患/駕駛員的PPG樣本。在這種情況下,我們不僅采集健康對象的數據,還收集高血壓、糖尿是杀人这等大煞风景病等病患的數據。考慮到這兩種困倦狀態的差異,分別測量了兩種困倦各自的PPG信號樣本。具體┦地而言,我們模擬被同步ECG采樣信號證實的完全清醒和困倦兩種情景,其中Beta和Alpha波形分別證實大腦在喚醒和困倦時的活動↑狀態。每種情景的模擬間隔設為5分鐘,以確保系統有充足的時間完成初步校準和實時連續學習。同時,我們使用低幀0率(25fps)全高清攝像機記錄一段駕駛員的面部視頻,如前文所述,我們先用基於Kazemi和Sullivan機器№學習算法 [11] 的dlib庫,檢測先前錄制的視頻幀,提取人臉面部特征點,然後,計算與每個特征點關聯的像素強度,以及每幀像素強度冰之王翼的變化,確定人臉特征點的時間序列,將其輸入LSTM神經網絡。

                4.1 CNN管道

                本節將更詳細地介紹實驗中使用的CNN模型架構。本文提出的CNN架構為驗證↘↘LSTM預測結果提供有力的證據。具體地講,我們的CNN模型能夠跟蹤和學習汽車駕駛員的面部表情,從┌而提高困倦檢測水平。為┌了訓練模型,我們將批大小(batch size)設為32,初始學習率設為0.0001。此外,我們在隱藏層中使用了32個神經元,在二進制分突然想起来今天要回家给伯父过生日類中使用了2個輸出神經元。

                我們非常看好實驗結果,因為準確率達╩到80%。

                 

                image.png

                圖. 1. LSTM管道

                4.2 長短期記憶№網絡(LSTM,Long Short-Term Memory)管道

                關於長短期記憶網絡(LSTM,Long Short-Term Memory)檢測順序數據(時間序列)的關聯性的能力,我有过这样們構建了一個LSTM模型,用面部特征點時間序列作為輸入數據,原始PPG信號作為目標心中蔑视數據,重建PPG信號(圖1)。在使用MinMaxScaler算法調整(0.2,0.8)範圍內的所有時『間序列值後,綜合考慮以『下參數,我們進行了模型訓練。模擬訓練采用256個神經元,批大小(batch size)128,初始學習率和輟學率分別設為0.001和0.2。為了評估PPG重構信號的魯棒性老子本来就要去,我們計算了PPG最小┽點的頻率(傅裏葉頻譜),我身法轻盈們特別分析了這些點的頻率,比較了原始PPG最小┾點的頻率與重構PPG最小點的頻率。

                 

                image.png

                圖2.原始PPG最小點的快速傅立葉變┒換(FFT)頻譜(藍色)和重建PPG最小點的快速傅立葉變┓換(綠色)。

                5 結論

                最後,我們提供了一種基於LSTM-CNN的有效的監測系統,通過PPG信號評估心臟活動來確传说定駕駛員的困倦程度。與其它方法不同,我們的方法是利用面部特征點數據重建PPG信號,不涉┠及傳感器系統。如前文所述,我們構建了LSTM管道,用面部特征點時間序列作為輸入數據,傳感器檢測到的PPG作為目標數據,證明PPG重構信號的魯棒性。此外,我們還構建了CNN模型,不僅可以對駕駛員的生理狀態進行分類,還可以驗證LSTM的預測結果。最後,我們計算了原始PPG最小點的快速傅立葉變換(FFT)頻譜和重構的PPG最小點的FFT頻譜(圖2)。實驗結果證明,我們的方法有廣闊的應用前景,因為我們能☆栤芯鱈兒☆夠區分瞌睡的對象與清醒的對象,準確率接近100%,這與科學文獻報道的類似管道取得的平均成績一致。使用改─進的PPG傳感器[12],以及利用Stacked-AutoEconder架構[13]學會的特殊功能對PPG信號進行深度處理,將會給本文提出的管道帶來哪些改進,是本文作者目前正在研究的方咋地向。

                參考文獻

                [1] National Safety Council: https://www.nsc.org/road-safety/safety-topics/fatality-estimates

                [2] Melo, H. M., Nascimento, L. M., Takase, E., Mental fatigue and heart rate variability (HRV): The time-on-task effect. Psychology & Neuroscience, 10 (2017) 428-436.

                [3] Rundo, F.; Ortis, A.; Battiato, S.; Conoci, S., Advanced Bio-Inspired System for NoNInvasive Cuff-Less Blood Pressure Estimation from Physiological Signal Analysis, Computation 6 (2018) 46.

                [4] Zhang, W., Cheng, B., Lin, Y., Driver drowsiness recognition based on computer vision technology, Tsinghua Science and Technology 17 (2012) 354-362.

                [5] Haq, Z. A., Hasan, Z., Eye-blink rate detection for fatigue determination. In 1st India International Conference on Information Processing (IICIP), Delhi, India, 2016, 1-5.

                [6] Xu Y. J.; Ding, F.; Wu, Z.; Wang, J.; Ma, Q.; Chon, K.; Clancy, E.; Qin, M.; Mendelson, Y.; Fu, N.; Assad, S.; Jarvis, S.; Huang, X., Drowsiness control center by photoplythesmogram, In Proceedings of 38th Annual Northeast Bioengineering Conference (NEBEC), Philadelphia, USA, 2012, 430-431.

                [7] Koh, S.; Cho, B. R.; Lee J.-I.; Kwon, S.-O.; Lee, S.; Lim, J. B.; Lee, S. B.; Kweon, H.-D., Driver drowsiness detection via PPG biosignals by using multimodal head support, In Proceedings of the 4th International Conference on Control, Decision and Information Technologies (CODIT), Barcelona, Spain, 2017, 383-388;

                [8] Wu, H.-Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., Freeman, W. T. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 31 (2012)

                [9] Hochreiter, S., Schmidhuber, J, Long Short-Term Memory, Neural Computation 9 (1997) 1735 1780

                [10] Lecun, Y., Bengio, Y., Convolutional Networks for Images, Speech, and Time-Series, The Handbook of Brain Theory and Neural Networks (1995).

                [11] Kazemi, V., Sullivan, J., One millisecond face alignment with an ensemble of regression trees., In 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014, 1867-1874.

                [12] Mazzillo, M., Maddiona, L., Rundo, F., Sciuto, A., Libertino, S., Lombardo, S., Characterization of SiPMs With NIR Long-Pass Interferential and Plastic Filters, In IEEE Photonics Journal, 10 (2018) 1-12.

                [13] Rundo, F., Conoci, S., Banna, G.L., Ortis, A., Stanco, F., Battiato, S., eva luation of Levenberg-Marquardt neural networks and stacked autoencoders clustering for skin lesion analysis, screening and follow-up, IET Computer Vision 12 (2018) 957-962.

                [整理編輯:CK365測控網]
                標簽:  駕駛員疲勞監測系統[0]
                 
                [ 技術中心搜索 ]  [ ]  [ 好友分享 ]  [ 打印本文 ]  [ 關閉窗口 ]  [ 返回頂部 ]

                相關技術中心帽子遮住了面孔

                駕駛員疲勞監測系統相關技術中心
                更多>>

                版權∮與免責聲明:

                ①凡本網註┤明"來源:CK365測控網"的所有作品,版權均╖屬於CK365測控網,轉載請必书虫纳尼莫須註明CK365測控網 www.ck365.cn。違反者本網將追究相關法律責任。
                ②本網轉載並註明自其它來源的作品,目的在於傳遞更多信息,並不代表本網贊同其觀點或證實其內容的真實性,不承擔此類作品侵權行為的直接責任及連帶責任。如▽其他媒體、網站或個人從本網下載使用,必須保留本網註明的"稿件來源",並自負版權等法律責任。
                ③如涉及作只是静静地含笑看着他品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視為放棄相關┯權利。

                註冊成為CK365測控網會員

                可以無需任何費用※瀏覽專業技術文章

                 
                 
                註冊CK365測控網會員以※便瀏覽全文