许吉友 - 运维

HDFS 离线 Image 查看工具

脱机图像查看器是一种工具,可将hdfs fsimage文件的内容转储为人类可读的格式,并提供只读的WebHDFS API,以允许脱机分析和检查Hadoop群集的名称空间。该工具能够相对快速地处理非常大的图像文件。该工具处理Hadoop 2.4及更高版本中随附的布局格式。如果要处理较旧的布局格式,则可以使用Hadoop 2.3的Offline Image Viewer或oiv_legacy Command。如果该工具无法处理图像文件,它将干净地退出。 Offline Image Viewer不需要运行Hadoop集群;它的操作完全脱机。

脱机图像查看器提供了几个输出处理器:

使用

web 处理器

Web处理器启动HTTP服务器,该服务器公开只读WebHDFS API。用户可以通过-addr选项指定要监听的地址(默认为localhost:5978)。

$ hdfs oiv -i fsimage

用户可以通过以下shell命令访问查看器并获取fsimage的信息:

$ hdfs dfs -ls webhdfs://127.0.0.1:5978/

要获取所有文件和目录的信息,只需使用以下命令:

$ hdfs dfs -ls -R webhdfs://127.0.0.1:5978/