很多朋友都想知道java flume是什么?下面就一起來了解一下吧~
Flume是什么
(1)Flume提供一種分布式的,可靠的對大數據的日志進行高效處理,以及聚集,移動的服務,flume只能在Unix的環境下運行。
(2)Flume基于流式框架,容錯性強,也靈活簡單。
(3)Flume/Kafka用來進行數據收集的,Spark,Storm用來實時處理數據,impala用來實時查詢
(4)Flume是Cloudera提供的一個高可用的,高可靠的,分布式的海量日志采集、聚合和傳輸的系統。Flume基于流式架構,靈活簡單。
Flume的兩個版本
(一)Flume OG
OG:“Original Generation"
0.9x或cdh3以及更早的版本。
有agent、collector、master等組件構成。
(二)Flume NG
NG:“Next/New Generation"
1.x或cdh4以及之后的版本。
有Agent/client等組件構成。
FlumeOG存在的問題
(1)Flume OG代碼工程臃腫
(2)核心組件設計不合理
(3)核心配置不標準
(4 )尤其是在Flume OG的最后一個發行版本0.94.0中,日志傳輸不穩定的現象尤為嚴重。
以上就是小編今天的分享,希望能夠幫到大家。