一、當前安防存儲的需求
在當前安防應用場景下，隨著智能化和大數(shù)據(jù)技術的發(fā)展，針對安防數(shù)據(jù)的存儲主要有海量視頻存儲需求、海量小文件存儲需求以及安防大數(shù)據(jù)的存儲和處理需求。
1、海量視頻流存儲需求
隨著安防行業(yè)高清化持續(xù)發(fā)展，監(jiān)控點位的持續(xù)增加，聯(lián)網(wǎng)規(guī)模的日益龐大，產(chǎn)生了海量的視頻流存儲需求，而視頻云存儲則是當前滿足海量視頻存儲需求的主要產(chǎn)品。安防云存儲通過虛擬化技術全面整合磁盤陣列的存儲容量，可按需分配空間且能夠靈活調(diào)整空間大小。而前端攝像機則可通過視頻流協(xié)議或者存儲接口協(xié)議直寫云存儲，縮短了前端到存儲的距離，充分發(fā)揮了存儲產(chǎn)品的業(yè)務特性，避免大量流媒體服務器的使用，有效降低了投資成本。這些大量的并發(fā)實時視頻流通過云存儲設備集群實現(xiàn)負載均衡調(diào)度，以集群響應的方式提供視頻數(shù)據(jù)的高并發(fā)存儲能力以及回放下載能力。在存儲底層則采用糾刪碼、副本或者各種RAID技術均衡數(shù)據(jù)存儲并提供可靠的數(shù)據(jù)保護，即使節(jié)點出現(xiàn)故障也不會造成數(shù)據(jù)丟失。此外，為了方便視頻的回放定位，一些云存儲還采用了專業(yè)的視頻數(shù)據(jù)索引技術，可根據(jù)視頻存儲的業(yè)務特定，按照存儲時間及點位信息提供高性能的視頻查詢檢索速率，達到秒級響應。在視頻回放的同時還可支持通過時間滑塊拖拉定位、視頻快進、慢放以及系統(tǒng)事件點定點回放等多種策略。
2、海量小文件的存儲需求
海量小文件的存儲需求主要來自當前安防智能化的應用。安防中的視頻圖像AI智能化應用通過人、車、物等對象的深度學習智能分析算法，從視頻流或者視頻圖片中提取出對應的目標對象圖片以及相關的屬性信息，從而達到通過視頻智能識別、跟蹤視頻對象并分析對象特征屬性，實現(xiàn)事前及時預警、事中精確跟蹤以及事后快速分析的目的。
隨著當前視頻圖像AI智能化應用的不斷發(fā)展，分析的實時視頻流數(shù)量越來越大，提取的對象信息越來越多，通過解析提取出來的對象圖片和數(shù)據(jù)相當龐大，這些數(shù)據(jù)都需要進行實時存儲和后續(xù)的大量讀取和分析。
一方面，智能化的前端攝像機設備越來越多，如車輛卡口攝像機、人像卡口攝像機、智能視頻結構化攝像機等，每天產(chǎn)生大量的目標抓拍圖片，并匯聚到中心。以一臺標準車輛卡口攝像機為例，只針對單車道的場景，一般正常路況一天1000臺車輛，如果是交通繁忙車道可能會到5000張以上。而針對人像的采集，正常情況下，平均一個人像卡口攝像機一天采集3000張左右的人像，繁忙地段一天可能采集10000～15000張。而針對普通監(jiān)控場景的結構化攝像機，同時采集車輛和人像的目標數(shù)量更多，一臺攝像機每天可達到20000張左右。按照一個系統(tǒng)1000臺智能化相機的中等規(guī)模，每個監(jiān)控點采集10000張目標圖片計算，數(shù)據(jù)存儲180天則可達到18億張圖片。
另一方面，為了進一步擴大智能分析數(shù)據(jù)的覆蓋范圍，解決非智能前端的目標識別和信息提取，當前大多數(shù)安防系統(tǒng)都部署了后端智能分析算法，用于分析實時視頻流數(shù)據(jù)或者歷史視頻流數(shù)據(jù)，比如視頻結構化分析算法、基于視頻流分析的車輛分析算法以及人像分析算法等，這些后端的智能分析算法也隨著算法的成熟應用范圍越來越廣，智能分析的規(guī)模也越來越大，針對視頻流分析的結果也產(chǎn)生大量的目標圖片要寫入到存儲之中。
此外，不少后端的智能分析算法是針對前端采集的圖片進行二次分析，依靠后端強大的算力以及先進的算法分析能力，將前端采集的圖片再進行一次深度分析，提取更多也更準確的目標屬性，這些圖片可以是前端直接發(fā)送到分析系統(tǒng)的，也可以由采集服務先存儲，然后再由分析系統(tǒng)從存儲系統(tǒng)中調(diào)取前端抓拍的圖片進行分析，然后再把分析出來的結果（如人像圖、人臉圖、車輛的摳圖等）再寫回存儲。這些大量小圖片的讀寫需求對存儲系統(tǒng)提出了很大的挑戰(zhàn)。存儲系統(tǒng)小文件并發(fā)寫入能力、小文件并發(fā)讀出能力、小文件并發(fā)刪除能力以及小文件的檢索定位能力都要求能夠適應大并發(fā)的場景。
3、安防大數(shù)據(jù)存儲和處理需求
安防中的視頻圖像AI智能化應用不僅產(chǎn)生了大量的視頻圖片，也產(chǎn)生了大量的目標結構化數(shù)據(jù)。這些數(shù)據(jù)包括智能前端產(chǎn)生的目標記錄數(shù)據(jù)，如目標類型、目標基本特征以及抓拍時間等，也包括后端智能分析應用分析視頻流或者圖片后產(chǎn)生的目標結構化數(shù)據(jù)。這些數(shù)據(jù)隨著系統(tǒng)規(guī)模增大以及數(shù)據(jù)應用的需求的提升而大量增加，按照之前的例子計算，1000臺的中等規(guī)模，每個監(jiān)控點采集10000個目標計算，數(shù)據(jù)存儲180天則可達到18億條原始目標記錄，如果這些原始目標都經(jīng)過二次分析，那么數(shù)據(jù)記錄至少翻倍。這些大量的數(shù)據(jù)應用都需要在其中進行檢索和關聯(lián)分析，而且隨著視頻大數(shù)據(jù)應用的發(fā)展，各種基于視頻大數(shù)據(jù)的分析統(tǒng)計應用和技戰(zhàn)法應用越來越豐富，涉及關聯(lián)分析的數(shù)據(jù)對象類型越來越多，一次分析任務涉及的數(shù)據(jù)量越來越大，分析的策略越來越復雜，從而對結構化數(shù)據(jù)存儲提出的要求也越來越高。為了保證這些復雜數(shù)據(jù)分析應用功能的使用順暢，對應的結構化數(shù)據(jù)的存儲需要提供高性能的海量數(shù)據(jù)讀寫能力和數(shù)據(jù)分析計算能力。因此當前安防行業(yè)的存儲在滿足大量視頻流存儲的同時，必須要滿足海量小圖片文件以及結構化數(shù)據(jù)存儲讀寫的需求。
二、新趨勢下的安防存儲系統(tǒng)
在視頻AI智能化、安防大數(shù)據(jù)及數(shù)據(jù)融合分析應用的需求下，安防存儲的發(fā)展需要依靠底層存儲技術、物理設備配置以及整體系統(tǒng)架構的協(xié)同發(fā)展。為此，云計算、大數(shù)據(jù)相關的技術和產(chǎn)品將不斷地引入安防存儲系統(tǒng)。
首先，在原來海量視頻流存儲的基礎上，為適應視頻AI智能化應用，存儲系統(tǒng)需支持高性能的小文件（如圖片、視頻片段等）存儲和讀取，提供高性能的分布式文件存儲或者對象存儲能力，支持高并發(fā)的文件寫入。由于小文件的特性，存儲和讀寫的方式跟實時視頻流存儲有很大的不同。系統(tǒng)產(chǎn)生的小文件數(shù)量很多，但是整體占用的容量卻沒實時視頻流存儲大，而由于每個文件都很小，大量并發(fā)的文件存儲進來，存儲系統(tǒng)就必須有高效的數(shù)據(jù)緩存和讀寫機制，以及文件的索引機制，才能保證針對每個文件的檢索和讀寫效率。此外，小文件的存儲還必須考慮數(shù)據(jù)覆蓋刪除的問題通常在一些普通的存儲系統(tǒng)中都是刪除1TB的數(shù)據(jù)，刪除視頻流數(shù)據(jù)很快，但是刪除小文件則出現(xiàn)緩慢甚至阻塞問題，因為刪除1TB的小文件可能涉及到刪除百萬量級的文件，如果存儲的文件的存儲機制不好，刪除這么多文件將會嚴重消耗存儲的資源，這些都是存儲系統(tǒng)需要面臨并解決的重要問題。為此，當前不少存儲系統(tǒng)已經(jīng)采用了分布式對象存儲或者高性能的分布式文件系統(tǒng)技術來解決這個問題。
針對海量的結構化數(shù)據(jù)存儲，目前在存儲系統(tǒng)上主要采用高性能的分布式數(shù)據(jù)庫，通過分布式數(shù)據(jù)庫提供高性能的結構化數(shù)據(jù)存儲、讀寫以及數(shù)據(jù)比對分析能力，比如各種MPP數(shù)據(jù)庫和NewSql數(shù)據(jù)庫等。這些分布式數(shù)據(jù)庫系統(tǒng)本身可提供海量結構化數(shù)據(jù)存儲管理的能力，同時在存儲硬件上一般都會配置高性能的SSD存儲介質(zhì)來滿足高性能的數(shù)據(jù)讀寫分析需求。同時對于數(shù)據(jù)量比較大的場景，系統(tǒng)還會結合應用需求提供數(shù)據(jù)的分級存儲機制，將業(yè)務經(jīng)常使用的數(shù)據(jù)或者大概率會使用的數(shù)據(jù)（即熱數(shù)據(jù)）優(yōu)先放到高性能的存儲介質(zhì)中，比如PCIE接口的SSD固態(tài)硬盤中，或者直接加載到內(nèi)存。而其他不常用的數(shù)據(jù)（即冷數(shù)據(jù)）則放在存儲性能較低的存儲介質(zhì)中，比如SAS接口或SATA接口的機械硬盤。部分存儲系統(tǒng)還支持了冷熱數(shù)據(jù)自動遷移的能力，能夠把熱數(shù)據(jù)中不經(jīng)常使用的數(shù)據(jù)自動下沉到冷數(shù)據(jù)存儲介質(zhì)中，或者把冷數(shù)據(jù)中突然比較常用的數(shù)據(jù)再加載到高性能的熱數(shù)據(jù)存儲介質(zhì)上，這樣就有效保證了用戶常用數(shù)據(jù)都能夠高效命中并高速讀寫，滿足數(shù)據(jù)分析業(yè)務的應用需求。
此外，為了滿足大量的數(shù)據(jù)分析、數(shù)據(jù)比對以及數(shù)據(jù)挖掘的需求，可能會在分布式數(shù)據(jù)庫服務器上運行各種數(shù)據(jù)分析算法服務，為此，分布式的數(shù)據(jù)庫存儲設備還會配置高性能的CPU和大容量內(nèi)存，為數(shù)據(jù)處理提供強大的硬件支持。為了保證數(shù)據(jù)可靠性，分布式數(shù)據(jù)庫采用集群方式來避免單點故障對系統(tǒng)造成的影響，底層通過多副本或者網(wǎng)絡糾刪碼實現(xiàn)數(shù)據(jù)的高可靠性，不會因為某個節(jié)點宕機導致數(shù)據(jù)無法訪問或數(shù)據(jù)丟失。同時通過集群的聚合性能對外提供高性能的數(shù)據(jù)讀寫分析能力。
為了同時滿足大量視頻流存儲、視頻圖像小文件存儲以及海量結構化數(shù)據(jù)的存儲，存儲系統(tǒng)中一般都會配置云存儲系統(tǒng)和分布式數(shù)據(jù)庫系統(tǒng)，在實際應用的部署形態(tài)上主要有融合模式和分離模式兩種部署方式。
1、融合模式
如圖1所示，該模式下分布式數(shù)據(jù)庫和云存儲部署在同一臺設備上，多臺設備構成一個存儲集群。單臺設備既存儲視頻流和圖片等非結構化數(shù)據(jù)，也同時存儲結構化的目標采集數(shù)據(jù)，同時還對外提供結構化數(shù)據(jù)的檢索分析能力。
這種模式一般比較適用于小規(guī)模的系統(tǒng)建設，一臺設備或者兩臺設備即可完成所有的視頻圖像數(shù)據(jù)存儲服務，成本相對也比較低。而且一般情況下，存儲設備是專用設備，會采用一體機的生產(chǎn)模式，安裝部署起來也相對比較簡單。方案的劣勢主要是系統(tǒng)的擴容不夠靈活，擴容需要按單臺設備擴容，如果只是擴容視頻或圖片等非結構化數(shù)據(jù)，也需要一臺完整的設備來支持，用于分析計算的能力可能就會冗余。而如果只是想擴展數(shù)據(jù)的分析計算能力而增加設備，存儲能力也會隨之擴展。此外，分布式數(shù)據(jù)庫和云存儲畢竟是兩套不一樣的存儲系統(tǒng)，都在一套存儲設備上部署也涉及到資源的共享和沖突，相應的業(yè)務效率可能就沒那么高。
2、分離模式
如圖2所示，該模式下分布式數(shù)據(jù)庫和云存儲分開部署在不同設備上，分布式數(shù)據(jù)庫部署在高性能的存儲服務器上，配置高性能的CPU，大容量的內(nèi)存，高性能的SSD存儲介質(zhì)；云存儲則采用存儲陣列設備提供大容量的磁盤存儲空間。計算和存儲形成兩個獨立的存儲集群，通過網(wǎng)絡提供數(shù)據(jù)服務和存儲服務。
這種應用模式下，視頻圖像的結構化數(shù)據(jù)存儲在分布式數(shù)據(jù)庫所在的高性能存儲服務器上，而視頻流、圖片等非結構化數(shù)據(jù)則存儲在云存儲陣列上。這種方式的主要優(yōu)勢是擴展比較靈活和方便，結構化存儲和非結構化存儲都可以獨立擴展，互不影響。所以當只需要擴容視頻流、圖片等存儲空間時，只需要擴容云存儲即可，不需要擴容分布式數(shù)據(jù)庫，也就是不需要再增加部署分布式數(shù)據(jù)庫服務器。同樣，當用戶需要擴展數(shù)據(jù)分析能力時，可以只擴容分布式數(shù)據(jù)庫服務器，不需要擴容云存儲系統(tǒng)。這樣就可以根據(jù)用戶的具體應用需求針對性地靈活擴展。該種模式主要用于中型或大型的系統(tǒng)中，小規(guī)模的場景下成本相對會比較高。
三、結語
在當前安防行業(yè)AI智能化、安防大數(shù)據(jù)及數(shù)據(jù)融合分析應用的新趨勢下，安防存儲系統(tǒng)將更多地采用云計算、大數(shù)據(jù)相關技術，并不斷優(yōu)化提升底層的數(shù)據(jù)存儲機制，通過先進的對象存儲、分布式文件存儲以及分布式數(shù)據(jù)庫可滿足海量高清視頻、海量小圖片文件以及海量視頻圖像目標結構化數(shù)據(jù)的存儲和應用需求，也有效推動了安防智能化以及安防大數(shù)據(jù)應用的快速發(fā)展。
