Hadoop - smile-yan/my-flink-learning GitHub Wiki

Hadoop 学习

1. 基本概念

Hadoop官网定义

The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.

Hadoop = HDFS + MapReduce

HDFS 分布式文件系统：存储是大数据技术的基础

MapReduce 分布式计算：分布式计算是大数据应用的解决方案

官网地址：http://hadoop.apache.org/

2. HDFS

数据块：HDFS以抽象块为单位进行存储，而非整个文件作为存储单元。

NameNode：管理文件系统的命名空间，存放文件元数据；维护着文件系统的所有文件和目录，文件与数据块的映射；记录每个文件中各个块所在数据节点的信息。

DataNode：存储并检索数据块；向NameNode更新所存储块的列表。

3. HDFS优缺点

HDFS优点

1. 适合大文件存储，支持TB、PB级的数据存储，并有副本策略
2. 可以构建在廉价的机器上，并有一定的容错和恢复机制
3. 支持流式数据访问，一次写入，多次读取最高效

HDFS点

1. 不适合大量小文件存储
2. 不适合并发写入，不支持文件随机修改
3. 不支持随机读等低延时的访问方式