基于深度學(xué)習(xí)的密集人群安全監(jiān)測系統(tǒng)

　　摘 要：近年來高密度人群聚集活動經(jīng)常因?yàn)槿狈皶r有效的管理而導(dǎo)致安全事故頻頻發(fā)生，人群活動的應(yīng)急管理、風(fēng)險(xiǎn)評估、隱患識別越來越受到重視。鑒于系留無人機(jī)的自由靈活性，其可長時間、全方位監(jiān)測密集人群，將監(jiān)測數(shù)據(jù)傳入深度學(xué)習(xí)的卷積模型中，計(jì)算人群密度等指標(biāo)，并驗(yàn)證實(shí)驗(yàn)結(jié)果的可行性，將預(yù)警信息、風(fēng)險(xiǎn)點(diǎn)數(shù)據(jù)推送至相關(guān)管理單位，形成監(jiān)測信息、預(yù)警信息、對應(yīng)措施信息化安全管理系統(tǒng)，為安全管理部門提供幫助。

　　關(guān)鍵詞：城市安全;高密度人群;系留無人機(jī);深度學(xué)習(xí);場景分析;卷積模型

　　《智能系統(tǒng)學(xué)報(bào)》已于2006年3月正式出刊,雙月刊。是由中國人工智能學(xué)會和哈爾濱工程大學(xué)聯(lián)合主辦，是中國人工智能學(xué)會會刊之一。

　　0 引 言

　　當(dāng)今國民經(jīng)濟(jì)快速發(fā)展，人們的物質(zhì)生活和精神生活大幅提升，節(jié)假日旅游、明星演唱會、城市各大廣場商場、地鐵站、火車站等大型人群活動越來越多，急劇發(fā)展的同時也帶來了城市的安全問題。群眾的聚集性活動具有秩序混亂、容易恐慌、擁擠度高、管理困難等特點(diǎn)，比較容易發(fā)生意外，比如踩踏性事件、重大傷亡事件、財(cái)產(chǎn)丟失事件等[1]。近年來，我國頻頻發(fā)生大型人群活動惡性事件，2004年2月5日在北京市密云縣密虹公園舉辦的密云縣第二屆迎春燈展中，因?yàn)橛稳嗽诠珗@橋上跌倒，引起身后游人擁擠，造成踩死、擠傷游人的特大惡性事故，事故造成37人死亡、37人受傷;2007年11月，重慶一家樂福超市因食用油打折促銷引發(fā)踩踏事故，造成3人死亡，31人受傷;2014年12月31日上海外灘陳毅廣場發(fā)生踩踏性事件，造成36人死亡，49人受傷[2]。若能實(shí)時監(jiān)測每個場景中的人群密度、擁擠度、人群流向、人群異常行為等指標(biāo)，然后根據(jù)實(shí)時監(jiān)測指標(biāo)采取相對應(yīng)的安保措施和實(shí)行不同等級的緊急預(yù)案，就能及時避免或者減少此類事件的發(fā)生。

　　傳統(tǒng)的人群計(jì)數(shù)研究方法分為兩種：第一種是基于檢測的方法，使用一個滑動窗口檢測器來檢測場景中的人群，并統(tǒng)計(jì)對應(yīng)人數(shù);第二種是基于回歸的方法，該方法通過提取一些低級特征學(xué)習(xí)一個人群計(jì)數(shù)的回歸模型，但很難處理人群之間嚴(yán)重遮擋的問題[3]。隨著深度學(xué)習(xí)計(jì)算機(jī)視覺技術(shù)的發(fā)展，卷積模型處理視頻數(shù)據(jù)的效果顯著，同樣也被應(yīng)用于人群計(jì)數(shù)的研究中。因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征學(xué)習(xí)能力，可以解決遮擋、視角等問題，所以深度學(xué)習(xí)在人群計(jì)數(shù)數(shù)據(jù)集和卷積神經(jīng)網(wǎng)絡(luò)模型等方面表現(xiàn)良好。

　　1 系留無人機(jī)監(jiān)測系統(tǒng)

　　系留無人機(jī)近年來已被廣泛應(yīng)用在應(yīng)急搶險(xiǎn)工作中，國內(nèi)外很多公司對系留無人機(jī)的相關(guān)設(shè)備有了成熟的研究并不斷完善，在起飛、懸停高度、載荷等方面也進(jìn)行了不斷探索[4]。系留無人機(jī)通過系留電纜連接系留控制箱，系留控制箱與地面電源連接，具有續(xù)航時間長、穩(wěn)定性高、精度高、成本低、拍攝范圍廣、實(shí)時監(jiān)測等特點(diǎn)。系留無人機(jī)可以搭載高清廣角相機(jī)、紅外相機(jī)、雷達(dá)傳感器等監(jiān)測工具，采集的高質(zhì)量視頻圖像通過HDMI接口傳入電腦，視頻數(shù)據(jù)經(jīng)計(jì)算處理得出監(jiān)控場景中的人群數(shù)量等指標(biāo)，傳輸?shù)街笓]中心進(jìn)行判斷，對人群疏導(dǎo)、安全事故、風(fēng)險(xiǎn)評估起預(yù)測作用，可節(jié)約人力，提高效率。系留無人機(jī)監(jiān)測平臺方案示意如圖1所示。

　　2 基于深度學(xué)習(xí)的監(jiān)測數(shù)據(jù)處理方法

　　深度學(xué)習(xí)的基本工作原理如圖2所示。圖像輸入設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)提取特征通過權(quán)重值輸出預(yù)測值，一一對應(yīng)的預(yù)測值與真實(shí)值利用損失函數(shù)判斷之間的差異，作為反饋信號權(quán)重進(jìn)行微調(diào)，在調(diào)節(jié)過程中使用優(yōu)化器來完成，最終經(jīng)過數(shù)次迭代使模型達(dá)到最小的損失值，訓(xùn)練結(jié)束，保存權(quán)重。

　　數(shù)據(jù)來源于公開的shanghai-tech數(shù)據(jù)集(1 100張圖片)和自己拍攝的大型活動場景圖片(900張)，所有圖片數(shù)據(jù)均需經(jīng)過標(biāo)準(zhǔn)化處理。將高密度人群圖像和稀疏人群圖像整合后，訓(xùn)練一個適用于普遍場景下的人群計(jì)數(shù)模型。數(shù)據(jù)標(biāo)記過程是把每一張圖像中的頭部標(biāo)注成稀疏矩陣，再通過高斯濾波轉(zhuǎn)換成2D密度圖，密度圖中所有單元格的總和為圖像中的實(shí)際人數(shù)，經(jīng)數(shù)據(jù)預(yù)處理后生成一一對應(yīng)的數(shù)據(jù)標(biāo)簽圖像[5-6]。其中1 400張為訓(xùn)練圖像，600張為測試和驗(yàn)證圖像。

　　2.1 網(wǎng)絡(luò)結(jié)構(gòu)

　　本文通過兩類卷積神經(jīng)網(wǎng)絡(luò)模型計(jì)算人群指標(biāo)并驗(yàn)證深度學(xué)習(xí)的準(zhǔn)確率。一類是基于卷積+空洞卷積的CNN模型，其前端利用預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)前的十層卷積層和三層池化層，每次卷積采用補(bǔ)0操作，保持輸出的圖像大小不變，最大池化步幅為2，圖像輸入網(wǎng)絡(luò)中，經(jīng)過4次卷積和3次池化后，輸出圖像尺寸變?yōu)橹暗?/8，圖像變小后生成密度圖比較困難，所以后端加上六層空洞卷積(Dilated Convolution)，設(shè)置膨脹率為2[7-8]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

　　另一類是基于多尺度的編碼-解碼(Encoder-Decoder)網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)的編碼部分使用多尺度卷積結(jié)構(gòu)，通過不同大小的卷積核可以很好地學(xué)習(xí)不同尺度的人群特征，使模型的泛化能力更強(qiáng)。本次研究設(shè)計(jì)了4種不同尺度的卷積核，串聯(lián)輸出，采用最大池化，每次池化圖像變?yōu)橹暗?/p>

　　1/2[9-10]。網(wǎng)絡(luò)解碼部分使用卷積和三層轉(zhuǎn)置卷積得到最終的人群密度圖，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

　　2.2 損失函數(shù)

　　(1)基于CSRNet的損失函數(shù)采用歐式距離來計(jì)算標(biāo)簽圖像的真值和預(yù)測密度圖之間的差異[11]，計(jì)算過程如下：

　　式中：N為訓(xùn)練樣本的數(shù)量;Z(Xi; θ)為輸入第i個樣本的預(yù)測密度;ZiGT為第i個樣本的真實(shí)密度;L(θ)代表密度損失。

　　(2)基于SANet的損失函數(shù)采用SSIM和歐氏距離的結(jié)合來計(jì)算密度圖與真實(shí)值之間的相似性[9]，計(jì)算過程如下：

　　式中：N代表樣本的數(shù)量;C1和C2代表常數(shù);μF為樣本F的均值;μY為樣本Y的均值;σF為樣本F的方差;σY為樣本Y的方差;σFY為樣本Y，F(xiàn)的協(xié)方差;SSIM衡量真實(shí)值與密度圖之間的一致性;LC代表圖片的一致性損失;Lθ代表歐式距離的密度損失;LOSS代表總的密度損失。

　　2.3 評估標(biāo)準(zhǔn)

　　采用平均均方根誤差MSE和平均絕對誤差MAE兩個指標(biāo)評價模型的性能，MSE評價模型的準(zhǔn)確率，MAE評價模型的魯棒性[5，11]，公式如下：

　　式中：N為測試集的圖像數(shù)量;G(i)和P(i)分別表示第i張測試圖像的真實(shí)值和預(yù)測值。

　　2.4 實(shí)驗(yàn)過程

　　實(shí)驗(yàn)環(huán)境為Ubuntu18.04操作系統(tǒng)，GPU為GTX1060，使用后端為TensorFlow的Keras深度學(xué)習(xí)框架。實(shí)驗(yàn)過程中為了防止出現(xiàn)過擬合和通過少量樣本訓(xùn)練泛化能力強(qiáng)的新模型，使用訓(xùn)練數(shù)據(jù)增強(qiáng)生成器，通過旋轉(zhuǎn)、平移、縮放、翻轉(zhuǎn)等隨機(jī)變化來增加樣本數(shù)量。數(shù)據(jù)輸入采用小批次訓(xùn)練，每次輸入8個樣本，訓(xùn)練過程的參數(shù)設(shè)置見表1，表2所列。

　　2.5 實(shí)驗(yàn)結(jié)果分析

　　測試結(jié)果見表3所列，MSE和MAE兩個誤差指標(biāo)都在誤差范圍內(nèi)，驗(yàn)證了本文介紹的人群計(jì)數(shù)網(wǎng)絡(luò)結(jié)構(gòu)方案的有效性。

　　本文基于卷積-空洞卷積和多尺度編碼-解碼兩種網(wǎng)絡(luò)在深圳市海岸城、廣州市火車站和shanghai-tech測試數(shù)據(jù)集進(jìn)行測試，結(jié)果見表4、表5所列。

　　系統(tǒng)分析流程如圖5所示。

　　3 案例的應(yīng)用分析

　　3.1 深圳市南山區(qū)海岸城購物中心

　　海岸城位于深圳市南山區(qū)后海，緊鄰濱海大道、南海大道、后海大道、創(chuàng)業(yè)路等南山區(qū)城市主干道，附近有百貨商場、特色餐飲、潮流娛樂、零售店面、品牌商鋪，周邊有深圳大學(xué)、寫字樓、科技創(chuàng)業(yè)園、居民住宅等建筑，周末、節(jié)假日成為了人們聚集的休閑地點(diǎn)，從而形成人流量較大、人群活動密集的現(xiàn)象。本文選取靠近后海地鐵站D，E出口近150 m的步行街為研究對象，此步行街在地上二層，兩側(cè)排滿商鋪，采集數(shù)據(jù)的時間為每個周末的下午5點(diǎn)，采集次數(shù)為5次，具體場景如圖6所示。

　　(1)評價監(jiān)控場景中人群舒適度與行人心理情緒的關(guān)系

　　研究區(qū)段長近50 m，寬近10 m，研究面積為500 m2，通過人群計(jì)數(shù)的實(shí)驗(yàn)得出無人機(jī)特定視角監(jiān)測范圍內(nèi)人數(shù)為400～450人，行人密度為0.8～0.9人/m2，通常情況下，行人密度小于1人/m2時，人群活動比較自由，行人密度小于0.5人/m2時，人群活動比較舒適[12]，所以研究路段基本可滿足行人自由活動的需求，但是人群行走舒適度不高，有行走限制，會影響行人購物的心理情緒，出現(xiàn)焦慮、煩躁等心理狀態(tài)，需注意排隊(duì)購物、行人突然奔跑、小孩隨意走動等行為[13]。

　　(2)人群聚集度與危險(xiǎn)等級的關(guān)系

　　通過計(jì)算人群的數(shù)量，可以得到人群聚集程度、步行街的熱點(diǎn)商鋪，因?yàn)榕抨?duì)購物將導(dǎo)致人群聚集度高，因此應(yīng)重點(diǎn)關(guān)注類似商鋪，采取控制人流量、設(shè)置欄桿、合理疏導(dǎo)等措施。購物中心管理人員根據(jù)聚集程度合理設(shè)置商鋪功能，靠近地鐵口的路段勿安排熱銷購物品牌商鋪，以免造成交通堵塞?？拷娞菘诘牡胤奖M量不要設(shè)置商鋪，以防擁擠造成事故。

　　3.2 廣州市火車站

　　廣州火車站是廣九、京廣鐵路的終點(diǎn)站，有4個站臺、7條到發(fā)線，途徑線路有廣茂鐵路、廣佛肇城際軌道。春運(yùn)期間運(yùn)送乘客約200萬人次，廣州火車站的設(shè)計(jì)規(guī)模已無法滿足當(dāng)下需求，面對如此巨大、密集的客流量，人工安全管理工作很難落實(shí)到每一個角落，所以采用無人機(jī)監(jiān)測火車站的安全很有必要。廣州火車站的具體場景如圖7所示。

　　(1)人群密度與疏散時間的關(guān)系

　　廣州火車站的候車廣場較大，如果發(fā)生意外，需要進(jìn)行人群緊急疏散，那么人群的合理疏散問題就非常重要。系留無人機(jī)憑借靈活穩(wěn)定等特點(diǎn)，可以拍攝各個位置的人數(shù)，無人機(jī)視頻圖像再經(jīng)過模型計(jì)算后得出各位置的實(shí)時人群數(shù)量，根據(jù)人群數(shù)量合理規(guī)劃各通道的疏散時間，并根據(jù)人群密度判斷行走速度，合理規(guī)劃走電梯、扶梯、樓梯等時間，進(jìn)行合理引導(dǎo)確保安全疏散，以免造成恐慌和踩踏事故的發(fā)生，同時還可以根據(jù)計(jì)算得到的人群總數(shù)采用不同等級的緊急預(yù)案，節(jié)約決策時間[14]。

　　(2)人群數(shù)量與交通引導(dǎo)的關(guān)系

　　對于進(jìn)站人群，通過無人機(jī)的航拍得知擁堵人群的位置和數(shù)量，告知進(jìn)站人員選擇合理的進(jìn)站口，錯開擁堵的進(jìn)站口，以減少工作人員的工作量，節(jié)省人力[15]。廣州火車站附近有地鐵2號線、地鐵5號線和廣州火車站東側(cè)的30多個總公交車站，對于出站人員，通過計(jì)算人群數(shù)量、人群聚集度等指標(biāo)引導(dǎo)出站人員選擇正確的通道出站，節(jié)約時間。

　　4 結(jié) 語

　　本文主要研究人群密集活動場景下，通過系留無人機(jī)監(jiān)測平臺拍攝的場景視頻經(jīng)過深度學(xué)習(xí)卷積模型計(jì)算得出人群密度圖和人群數(shù)量，并以深圳市南山區(qū)海岸城和廣州火車站兩個案例進(jìn)行分析，得出以下結(jié)論：

　　(1)實(shí)驗(yàn)通過對深度學(xué)習(xí)模型進(jìn)行測試，證明基于深度學(xué)習(xí)的人群計(jì)數(shù)是可行的，并且誤差較小，符合密集或者稀疏場景的需求;

　　(2)系留無人機(jī)監(jiān)測平臺可以對密集活動進(jìn)行現(xiàn)場安全保護(hù)，實(shí)時提供人員聚集程度、人員分布情況等信息，拍攝廣泛或者特定位置信息;

　　(3)通過兩個案例的簡單分析說明基于系留無人機(jī)監(jiān)測平臺的安全應(yīng)用可以節(jié)約人力、提高效率、提供安全風(fēng)險(xiǎn)等級、預(yù)防安全事故發(fā)生;

　　(4)未來的研究工作還包括人群異常行為檢測和人群數(shù)量預(yù)測，結(jié)合已有人群計(jì)數(shù)、人群聚集度等指標(biāo)來減少安全事故的發(fā)生，為大型人群活動提供有效的保護(hù)措施。

　　參 考 文 獻(xiàn)

　　[1]梁靜，楊君濤.大型社會活動安全風(fēng)險(xiǎn)指標(biāo)體系構(gòu)建的思考[J].現(xiàn)代職業(yè)安全，2015(4)：71-73.

　　[2]盧文剛，蔡裕嵐.城市大型群眾性活動應(yīng)急管理研究：以上海外灘“12·31”特大踩踏事件為例[J].城市發(fā)展研究，2015，22(5)：118-124.

　　[3]藍(lán)海磊.人群計(jì)數(shù)算法綜述[J].計(jì)算機(jī)產(chǎn)品與流通，2019(7)：91.