700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > 大数据——粗谈Hadoop生态系统

大数据——粗谈Hadoop生态系统

时间:2018-09-02 10:05:09

相关推荐

大数据——粗谈Hadoop生态系统

首先,我们来介绍一下什么是Hadoop。

Hadoop最核心的部件有两个,一为HDFS,所谓的HDFS,就是分布式的文件存储系统。

二为Mapreduce,即为分布式的计算系统(分布式离线的计算框架)。

上述的两个部件,解决了大数据的存储问题,还有解决了大数据的计算问题。

剩下的基本上都是这两个所衍生出来的工具。

Maperduce的编程语言:

1、Jave(最原始的方式)

2、Hadoop Streaming(支持多语言)

3、Hadoop Pipes(支持C和C++)

Mahout提供的算法:分类、聚类、频繁模式挖掘、向量相似度计算、推荐引擎、降维、进化算法、回归分析等

Hive:是构建在Hadoop之上的数据仓库,用于解决海量结构化的日志数据的统计问题,其语言结构HQL,类似于SQL,但又不完全相同。

Pig:基于Hadoop的数据流执行引擎,利用MapReduce并行处理数据,使用Pig Latin语言表达数据流

Hive:即就是Hive2(Stinger),底层的算法引擎由Tez(DGA计算框架)替换MapReduce

Impala:可直接处理存储在HDFS上的数据,并在次写入数据到HDFS,具有良好的扩展性和容错性,适合快速交互式查询。

Oozie:

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。