HDFS 原理与应用

Hadoop基本介绍

• Hadoop技术体系
  • 存储层：HDFS
  • 调度层：YARN
  • 计算框架：MapReduce。值得注意的是另外一个同属于Apache基金会的开源计算框架Apache Spark，当前业界的使用已经远超于MapReduce，尽管它不属于Hadoop项目，但是和Hadoop也有紧密关系。
• 文件系统
  • 单机文件系统：常见的如Windows NTFS，Linux的Ext4，虽然不同的操作系统和实现，但是本质都是一样的，解决相同的问题。
  • 分布式文件系统
    • 分布式文件系统是单机文件的延伸，概念术语是相通的，比如目录、文件、目录树等。
    • 本质上扩展、延伸了单机文件系统，提供了大容量、高可靠、低成本等功能特性；实现上一般也更为复杂。
• 分布式存储系统，了解分布式存储系统的分类，理解不同存储系统的使用场景。直观的区别是用户使用方式，本质是针对不同的使用场景提供高效合理的系统。
  • 对象存储：例如AWS的S3，阿里云的OSS，开源的Minio。
  • 块存储：例如AWS的EBS，开源社区也有Ceph等。
  • 文件系统：HDFS、GlusterFS、CubeFS等
  • 数据库：KV数据库比如Cassandra，关系型数据库如TiDB、OceanBase等
• HDFS功能特性：需要注意HDFS尽管是一个文件系统，但是它没有完整实现POSIX文件系统规范。

架构原理

• 分布式存储系统的基本概念
  • 容错能力
  • 一致性模型
  • 可扩展性
  • 节点体系模式
  • 数据放置策略
  • 单机存储引擎
• HDFS组件
  • Client/SDK：读写操作的发起点，HDFS很多读写逻辑都是在SDK中实现的。
  • NameNode：元数据节点，是HDFS的中枢节点，也是服务的入口。
  • DataNode：数据节点，存放实际用户数据。

元数据节点NameNode

• 维护目录树
  • 维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。
• 维护文件和数据块的关系
  • 文件被切分成多个块，文件以数据块为单位进行多副本存放
• 维护文件块存放节点信息
  • 通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表。
• 分配新文件存放节点
  • Clientt创健新的文件时候，需要有NameNode来确定分配目标DataNode

数据节点DataNode

• 数据块存取
  • DataNode需要高效实现对数据块在硬盘上的存取
• 心跳汇报
  • 把存放在本机的数据块列表发送给NameNode,以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
• 副本复制
  • 数据写入时Pipeline1O操作
  • 机器故障时补全副本

关键设计

NameNode目录树维护

• fsimage
  • 文件系统目录树
  • 完整的存放在内存中
  • 定时存放到硬盘上
  • 修改是只会修改内存中的目录树
• EditLog
  • 目录树的修改日志
  • clienti更新目录树需要持久化EditLog后才能表示更新成功
  • EditLog可存放在本地文件系统，也可存放在专用系统上
  • NameNode HA方案一个关键点就是如何实现EditLog共享

NameNode数据放置

• 数据块信息维护
  • 目录树保存每个文件的块id
  • NameNode维护了每个数据块所在的节点信息
  • NameNode根据DataNode汇报的信息动态维护位置信息
  • NameNode不会持久化数据块位置信息
• 数据放置策略
  • 新数据存放到哪写节点
  • 数据均衡需要怎么合理搬迁数据
  • 3个副本怎么合理放置