这篇文章主要介绍“管理Hadoop的方法”，在日常操作中，相信很多人在管理Hadoop的方法问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”管理Hadoop的方法”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
HDFS
永久性数据结构
#Thu Dec 15 10:07:46 CST 2016
namespaceID=1277563549
clusterID=CID-a4ff16ba-4427-4f8a-bbaf-4665b3ce714b
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1697576408-127.0.0.1-1481767666542
layoutVersion=-63
layoutVersion - HDFS metadata版本号，通常只有HDFS增加新特性时才会更新这个版本号
namespaceID 文件系统命名空间的唯一标识符，是在namenode 首次格式化时创建的
clusterID 是将HDFS集群作为一个整体赋予的唯一标识符
blockpoolID 是数据块池的唯一标识符，数据块池中包含了由一个namenode 管理的命名空间中的所有文件。
CTime 标记了namenode 存储系统的创建时间。对于刚放格式化的存储系统，这个属性值为0
storageType 该存储目录包含的是namenode 的数据结构
文件系统客户端执行写操作时（例如创建或移动文件），这些事务首先被记录到编辑日志中。namenode在内存中维护文件系统的元数据；当编辑日志被修改时，相关元数据信息也同步更新。
每个fsimage都是文件系统元数据的一个完整的永久性检查点。
运行辅助namenode， 
1、secondarynamenode请求namenode停止使用的edits_inprogress文件，新的编辑操作记录到一个新的edits_inprogress文件中，同时namenode会更新所有存储目录中的seen_txid
2、secondarynamenode从namenode中通过HTTP GET获取最近的fsimage和edits文件
3、secondarynamenode将fsimage文件载入内存，逐一执行edits文件中的事务，创建新的合并后的fsimage文件
4、secondarynamenode将新的fsimage文件通过HTTP PUT发送回主namenode，namenode将其保存为临时的.ckpt文件
5、namenode重命名临时的fsimage文件
namenode启动时，首先将映像文件载入内存，并执行编辑日志中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage 文件和一个空的编辑日志。在这个过程中,namenode 运行在安全模式，意味着namenode文件系统对于客户端来说是只读的。
监控
主守护进程是最需要监控的，包括主namenode，辅助namenode 和资源管理器
hadoop守护进程收集事件和度量相关的信息，这些信息统称为“度量”
维护
元数据备份
数据备份
划分优先级
distcp 是一个理想的备份工具
文件系统检查
文件系统均衡器
委任和解除节点
随便允许一台机器以datanode身份连接到namenode 是不安全的。
添加新节点的步骤: <br/>1. 将新节点的网络地址加到include 文件中 <br/>2. 运行以下指令，将审核过的一系列datanode集合更新至namenode 信息 <br/>hdfs dfsadmin -refreshNodes <br/>3.运行以下指令，将审核过的一系列节点管理器信息更新至资源管理器 <br/>yarn rmadmin -refreshNodes <br/>4. 以新节点更新slaves 文件。这样的话，Hadoop控制脚本会将新节点包括在未来操作之中 <br/>5.启动新的datanode 和节点管理器 <br/>6.检查新的datanode和节点管理器是否都出现在网页界面中
1.将待解除节点的网络地址添加到exclude 文件中，不更新include 文件
2.执行以下指令，使用一组新的审核过得datanode 来更新namenode 设置
hdfs dfsadmin -refreshNodes
3.使用一组新的审核过的节点管理器来更新资源管理器设置
yarn rmadmin -refreshNodes
4.转到网页界面，查看待解除datanode的管理状态是否已经变为正在解除，因为此时相关 的datanode正在被解除过程之中。这些datanode会把它们的块复制到其他datanode 中
5.当所有datanode的状态变为解除完毕时，表明所有快已经复制完毕。关闭已经解除的节点。
6.从include 文件中移除这些节点，并运行以下命令
hdfs dfsadmin -refreshNodes yarn rmadmin -refreshNodes
从slaves 文件中移除节点
升级
是否能回滚
到此，关于“管理Hadoop的方法”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注天达云网站，小编会继续努力为大家带来更多实用的文章！