跳至主要內容

fatSheep小于 1 分钟

上传文件

  • 打开虚拟机,启动集群
    • sbin/start-all.sh
  • 打开web端网页,检查存活节点Live Nodes
  • 添加文件text.txt
    • vi text.txt
    • i进入插入模式
    • 添加组员名称
    • 输入:wq保存退出
  • 新建hdfs目录
    • hdfs dfs -mkdir -p /BigData
  • 上传文件
    • hdfs dfs -put text.txt /BigData
  • 检查文件是否上传成功
    • hdfs dfs -ls /BigData

添加节点

  • 克隆节点中包含DataNode服务的一台虚拟机
  • 修改静态ip,修改hostname
  • 添加免密登陆(克隆虚拟机理论不需要)
  • 修改集群配置文件
    • etc/workers,添加新加入的节点
    • 删除克隆虚拟机的tmp缓存,防止ID冲突导致和被克隆机器互相影响(两台机器轮流上线)
      • rm -r tmp/dfs
  • 开启集群
  • 检验存活节点Live Nodes
    • (服务正常节点不够)需要刷新资源节点
      • yarn rmadmin -refreshNodes
    • 刷新NameNodes
      • hdfs dfsadmin -refreshNamenodes

复制文件,调整副本数量

  • 停止集群
    • sbin/stop-all.sh
  • 复制文件
    • hdfs dfs -cp /bigData/text.txt /success.txt
  • 调整副本数量
    • vi etc/hadoop/hdfs-site.xml
    • i插入
    • dfs.replication修改为4
    • esc,输入wq退出
  • 启动集群
    • start-all.sh