大數(shù)據(jù)分析
hadoop就是一個生態(tài)圈,它是HDFS 、MapReduce 、Hive和ZooKeeper等組成,一系列的運行就像一條生態(tài)鏈。
1)Pig:一個基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺,為海量數(shù)據(jù)的并行計算,提供了一個簡單的操作和編程接口
2)Hive:就是一個工具,有完整的SQL查詢的功能,可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行 ,當然也要基于hadoop
3)ZooKeeper:高效的,可拓展的協(xié)調(diào)系統(tǒng),存儲和協(xié)調(diào)關(guān)鍵共享狀態(tài)
4)HBase:一個開源的,基于列存儲模型的分布式數(shù)據(jù)庫
5)HDFS:一個分布式文件系統(tǒng),有著高容錯性的特點,適合那些超大數(shù)據(jù)集的應(yīng)用程序;
6)MapReduce:一種編程模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算