大數據分析

網路行為大數據平臺除了要具備彈性水平擴充、即時串流分析能力,也要能處理大量 Log 資料。

透過大數據分析工進行資料前置處理,再透過大數據網路行為模進行資料處理與分析。當資料流進入平臺時它儲存 Log 資料,作為緩衝層。radis 是一個分散式資料串流平臺,除具備執行即時運算、處理高吞吐量資料的能力,也能根據線上環境需求,水平擴充新的叢集。

而核心演算法則是布建在大數據分析平臺,「除了具備水平擴充能力,最重要的是,它能同步支援即時串流分析及批次處理。

最後,系統產生的分析報告,除了儲存在 PostgreSQL 資料庫中,也透過 Node.js 搭建的網站入口,提供用戶查詢服務。

大數據分析