• <input id="m002q"><u id="m002q"></u></input>
    <input id="m002q"><u id="m002q"></u></input>
  • <input id="m002q"></input>
  • <input id="m002q"><acronym id="m002q"></acronym></input>
  • <menu id="m002q"></menu>
  • <menu id="m002q"></menu>
    <nav id="m002q"></nav>
    <object id="m002q"></object><menu id="m002q"><u id="m002q"></u></menu>
    <menu id="m002q"><u id="m002q"></u></menu>
    企業動態 |行業資訊

    工業大數據漫談12:實時數據庫與時序數據庫

    2020-09-28  

    在工業大數據數據庫存儲領域,除了傳統的關系型數據庫和分布式數據庫以外,還有一種類型的數據庫是非常常用,而且是非常有必要的,就是實時數據庫和時序數據庫。

    實時數據庫誕生于美國,主要是因為現代工業制造流程及大規模工業自動化的發展,導致大量的測量數據需要集成和存儲,而采用關系數據庫難以滿足速度和容量的要求, 因此在80年代中期,開始誕生了適用于工業監控領域的實時數據庫。

    實時數據庫其實并不單單只是一個數據庫,而是一個系統,包括對各類工業接口的數據采集,海量監測數據的壓縮、存儲及檢索,基于監測數據的反饋及控制功能等。

    實時數據庫的出現,主要是為了解決當時關系型數據庫不太擅長的領域,包括:

    1、海量數據的實時讀寫操作

    工業監控數據要求采集速度和響應速度均是毫秒級的,一個大型企業幾萬甚至幾十萬監測點都是常有的事情,這么大容量的高頻數據,如果用關系數據庫進行存儲,由于關系庫本身設計的理念,導致它很難進行每秒幾十萬的數據的讀寫操作,而實時數據庫通過轉為快速讀寫設計的時標型數據結構、高頻緩存等技術,可以實現海量數據的實時讀寫操作。

    2、大容量數據的存儲

    由于數據采集是海量的監控數據,那么如果用傳統數據庫進行存儲,將會占用大量的存儲空間,如果我們用關系數據庫保存10000個監測點,每個監測點每秒鐘采集一次雙精度數的數據,即使不考慮索引等因素,也需要5-6T的存儲空間,這里還不包括存儲跟監測點相關的時間等因素,如果都包括,再建立索引,則需要15T-20T的存儲空間。實時數據庫采用了專門的壓縮算法,包括哈佛曼算法、旋轉門算法以及一些二次壓縮算法,壓縮比普遍能夠達到30:1左右,再加上對于時間及索引的特殊處理,存儲量能夠縮小到關系庫的1/40,因此,上面的例子只需要500G的空間就能夠進行有效存儲了。

    3、集成了工業接口的數據采集

    由于歷史和壟斷的原因,目前工業通訊、傳輸的協議種類繁多,實時庫一般都集成了大量的工業協議接口,可以對各種類型的工業協議進行解析和傳輸。同時,隨著實時數據庫的發展,接口軟件部分也慢慢被獨立出來,即可以與實時數據庫核心集中部署在1臺計算機上,也可以單獨部署在接口機上,從而提供了更好的可擴展性和穩定性。

    實時數據庫.gif

    4、集成控制功能,可實現實時控制

    實時數據庫一般都提供下行控制接口,并且是高速寫出。寫的效率嚴重依賴于接口通訊效率和執行機構。因此,實時數據庫大都是從工控軟件廠商發展而來的,他們就有豐富的工業控制寫入的經驗。即便如此,畢竟工業系統對時序有嚴格的要求,而數據庫從讀到寫,會出現時滯,因此,實時數據庫一般不適宜對快速開關量的控制。

    在云計算的時代,實時數據庫的一些缺點就慢慢的顯露出來了。

    首先,由于實時數據庫是基于時標進行處理的,就導致它只能簡單的使用時間段進行查詢和檢索,當然,各大廠商也開發了許多工具,但無論如何檢索的豐富性不能和關系庫比擬。

    其次,由于實時庫都是出售給大型工業企業的,因此價格昂貴,在物聯網時代,對于中小工業企業來說,是個不小的成本。

    再次,傳統實時庫在部署時不夠方便靈活,傳輸也更多的考慮工業網絡,甚少考慮互聯網的情況,不太適應當下云計算環境的部署。

    這個時候,新興的時序數據庫就出現了。時序數據庫在2017年火了起來,出現了大量的開源和商業產品,時序數據庫就是存放時序數據的數據庫,并且需要支持時序數據的快速寫入、持久化、多緯度的聚合查詢等基本功能。時序數據庫其實主要是實時數據庫的數據存儲部分,但是,由于它采用了新的技術,極大地擴展了數據的容量,除了數據點和時間戳之外,還提供標簽和內容等對數據的描述,并且提供各種聚合查詢,彌補了實時庫的缺陷。

    但是,時序數據庫不提供工業接口、下行控制等功能,這些都需要開發人員自行開發,或者將原有的接口與時序庫對接。

    當然,不管是實時數據庫還是時序數據庫,都在飛速發展中,雙方一定會互相借鑒,互相學習,會提供更好、更多的產品供工業大數據使用。

    爱趣彩票