天亮高端IT教育品牌

关注微信交流群

课堂一角


hadoop & hive任务优化之系统概况及任务详情查看方法

     此为hadoop & hive任务优化之第二篇,任务优化的前提是能够对任务所属的环境和任务的执行详情了解的比较清楚,才能进一步去讲优化。查看这些参数情况的方法,有多种,包括通过hadoop web ui,hadoop & hive shell,hadoop & shell api等方法,本篇主要是讲hadoop web ui的方式,也是目前最主流的方式,简单、明了、易用性好。

 一、 hadoop集群系统环境查看

        1.1 hadoop web ui的URL构成

              当搭建好hadoop2.x集群后,默认web url构成为,协议+"://"+ip+":50030"+"/cluster“的结合,即:http://xxx.xxx.xxx.xxx:50030/cluster/的形式。

              其中,50030是hadoop的默认管理端口。

        1.2 系统计算环境指数

               如下图所示,可展示出总共提交了多少任务(apps submitted)、挂起多少(apps pending)、  多少正在运行(apps running)、多少已经完成(app completed)、

多少资源容器单元正在被占用(container running)、多少内存正在被使用(memory used)、总共多少内存(memory total)、多少cpu核正在被使用(vcores used)、总共有多少核(vcores total)、该集群有多少活跃的节点(active nodes)、有多少节点被主动下线(Decommissioned Nodes)、丢失了多少节点(Losted Nodes)等。NO4V3YI690VED[OAA7Y$KEQ.png

 1.3 系统存储环境指数

                 包括集群名称,集群版本,hdfs占用等,如下两个表格:

N6DVF3I}MQ2DO$}6MA%P`B6.png

Summary

Security is off.

Safemode is off.

1006 files and directories, 950 blocks = 1956 total filesystem object(s).

Heap Memory used 4.79 GB of 29 GB Heap Memory. Max Heap Memory is 99 GB.

Non Heap Memory used 48.29 MB of 105.88 MB Commited Non Heap Memory. Max Non Heap Memory is 208 MB.

)N{U}}(2T($Y4QT`3Y]Y]2D.png

二、总结

      工欲善其事,必先利其器。要对各方面的辅助工具比较了解,才能迅速解决问题。