成果簡介:
1、主要技術內容:隨著云計算、物聯網、移動互聯網的飛速發展,構建在大數據平臺上的應用層安全問題正日益變得越來越嚴峻。但國內外相關安全技術往往面向平臺下層,針對系統應用層異常的實時檢測與定位是學術界與產業界廣泛關注的難點,迄今可實用的成果還不多。如何實時準確地檢測并定位應用層異常具有重要意義。 該項目主要運用開源大數據技術、機器學習技術,針對大數據平臺中應用層異常實時檢測與定位困難問題,研發了離線環境下大數據平臺日志異常檢測與定位技術、異常規則庫構建技術;研發了在線環境下基于概念漂移檢測與規則庫的異常檢測技術、平臺運行性能健康狀態評估技術、近實時的異常事件檢測與分析技術,以及可視化展示技術。該項目構建了具有近實時在線異常檢測、異常定位、運行狀況分析等功能的新一代異常檢測分析系統(RADA)。2、知識產權情況:該項目已取得授權發明專利5件及軟件著作權5件:①基于Web會話流的分布式實時異常定位方法(發明2018100921688);②基于最大頻繁模式的動態規則庫構建方法(發明2018100921669);③基于最大信息系數的大數據平臺在線異常檢測方法(發明2017106817202);④可動態配置的大數據分析系統及方法(發明201510577285X);⑤異構數據集基于MIC的字段值優先連接方法(發明2016100569447X);⑥大數據平臺日志流實時分析系統,著作權2016SR190575;⑦榕基內控運維管理系統[簡稱:RJ-ICOM]V4.0,著作權2019SR0542754;⑧榕基網絡安全威脅感知系統[簡稱:RJ-NSTP]V2.0,著作權2019SR0547950;⑨星云大數據可信服務管理(TSM)系統,著作權2018SR864620⑽政務云安全大數據系統,著作權2019SR06086323。 主要技術指標:經福建省科技信息所評測中心計算機軟件測試實驗室評測,該項目產品功能完善,性能穩定,已達到了以下功能指標和性能指標:1)八項功能性指標:①支持多種日志格式數據源;②支持動態配置管理;③支持近實時異常檢測;④支持異常定位分析;⑤支持指定時段的日志事件歷史視圖查詢;⑥支持指定時段的日志事件異常視圖查詢;⑦支持日志異常關聯事件的擴展視圖展示;⑧支持平臺運行狀態的系統健康服務質量狀態視圖等。2)四項性能指標:①異常識別的準確率100%;②異常識別的查全率≥86%;③離線檢測分析時間縮短到分鐘時間量級;④在線檢測分析縮短到秒鐘時間量級,使在線檢測能達到近實時處理。 4、經濟指標、應用推廣及效益:該項目已取得顯著經濟效益,至2020年11月止,近三年累計實現銷售收入14,566.58萬元,凈利潤2,379.72萬元。 該成果在國內已有一定的市場占有率,已在福建、河南、安徽等多個省推廣,應用情況良好,市場前景巨大,將持續為中國各類大數據中心建設提升智能化服務能力。