大数据学习笔记
HDFS基本概念
2018/10/28 21:11:48
HDFS体系结构
基本知识点：
- HDFS是以块为基本的存储单位，块的大小为64MB，块是整个文件存储处理的逻辑单位
- 每个数据块都有三份，两个放在机架1，第三个放在机架二，防止硬件设备的故障导致数据块的损失
- HDFS包含两类节点，分别为NameNode和DataNode
- NameNode是管理节点，存放元数据，元数据包含两个部分，分别是文件与数据块的映射表（可通过映射表找到具体的数据块）
- DataNode是数据节点，存放数据块
- Secondary NameNode是备份管理节点，当NameNode出现问题后，备份管理节点将会代替原先NameNode的位置工作
工作流程：
查询流程:
客户端通过命令行或者程序输入查询语句，访问到管理节点，管理节点返回元数据给客户端，客户端再通过其中的映射表读取到数据块
插入流程：
客户端发出插入请求，NameNode找到空的可用的数据块将数据插入，然后数据块以流水线的形式将其复制两份放入指定的的位置
