小于 1 分钟
上传文件
- 打开虚拟机,启动集群
sbin/start-all.sh
- 打开web端网页,检查存活节点
Live Nodes
- 添加文件
text.txt
vi text.txt
- 按
i
进入插入模式 - 添加组员名称
- 输入
:wq
保存退出
- 新建hdfs目录
hdfs dfs -mkdir -p /BigData
- 上传文件
hdfs dfs -put text.txt /BigData
- 检查文件是否上传成功
hdfs dfs -ls /BigData
添加节点
- 克隆节点中包含
DataNode
服务的一台虚拟机 - 修改静态ip,修改
hostname
- 添加免密登陆(克隆虚拟机理论不需要)
- 修改集群配置文件
etc/workers
,添加新加入的节点- 删除克隆虚拟机的tmp缓存,防止ID冲突导致和被克隆机器互相影响(两台机器轮流上线)
rm -r tmp/dfs
- 开启集群
- 检验存活节点
Live Nodes
- (服务正常节点不够)需要刷新资源节点
yarn rmadmin -refreshNodes
- 刷新
NameNodes
hdfs dfsadmin -refreshNamenodes
- (服务正常节点不够)需要刷新资源节点
复制文件,调整副本数量
- 停止集群
sbin/stop-all.sh
- 复制文件
hdfs dfs -cp /bigData/text.txt /success.txt
- 调整副本数量
vi etc/hadoop/hdfs-site.xml
- 按
i
插入 - dfs.replication修改为4
- 按
esc
,输入wq
退出
- 启动集群
start-all.sh