概观
HDFS是Hadoop的一部分，它具有下载当前名称节点快照的命令。我们可以通过Spark加载图像或对其进行数据摄取，以使其进入Hive以分析数据并验证它如何使用HDFS。HDFS文件系统元数据存储在名为“FsImage”的文件中。我们在此快照中包含：
整个文件系统命名空间。
地图，块和文件复制。配额，ACLS等属性我必须解决的问题如下：运行该命令以下载映像并生成XML文件。
实现Spark作业以处理并将数据保存在Hive表中。使用Hive SQL分析一些数据并使用GnuPlot绘制数据。1.生成HDFS FsImageFSImage可以生成CSV，XML或分布式格式的图像，在我的情况下，我必须评估块和ACLS ; 因为它们是数组类型的字段，所以它们不能以CSV格式工作。你可以在这里看到更多细节：Hadoop Hdfs图像查看器
要生成图像，请检查名称节点中的位置：hdfs getconf -confKey dfs.namenode.name.dir
现在让我们下载图片/tmp。就我而言，正在分析的文件大小为35 GB：hdfs dfsadmin -fetchImage / tmp
现在需要将其转换为可读格式，在本例中为XML：hdfs oiv -p XML -i / tmp / fsimage_0000000000000103292 -o fsimage.xml
1.1将文件加载到Spark中并将其保存到Hive表中我使用Databricks库进行XML，并且它很容易加载，因为它已经将数据转换为数据框。您可以在此处查看所有详细信息：https：//github.com/databricks/spark-xml。我的Hive表的结构如下：
使用分析;
CREATE EXTERNAL TABLE如果不是 EXISTS分析.fsimage_hdfs（ id string COMMENT '唯一标识号。' ， type string COMMENT '数据类型：目录或文件，链接等......'， name string COMMENT '目录或文件的名称..'， 复制字符串COMMENT '复制号。' ， mtime string评论'修改日期'。， atime string评论'上次访问的日期'。， preferredblocksize string COMMENT '使用的块的大小。' ， 权限字符串COMMENT '使用的权限，用户，组（Unix权限）。' ， acls string COMMENT '访问权限：用户和组。' ， 阻止字符串COMMENT '大小块'， storagepolicyid string COMMENT '访问策略的ID号。' ， nsquota string COMMENT '配额名称，如果-1被禁用。' ， dsquota string COMMENT '空间可用并评估用户/组，如果-1被禁用。' ， fileunderconstruction string COMMENT '文件或目录仍处于构建/复制状态。' ， path string COMMENT '文件或目录的路径。'）PARTITIONED BY（odate string，cluster string）行格式SERDE'parquet.hive.serde.ParquetHiveSerDe '作为 INPUTFORMAT 存储'parquet.hive.DeprecatedParquetInputFormat'OUTPUTFORMAT'palam.hive.DeprecatedParquetOutputFormat 'LOCATION '/ powerhorse / bicudo / analyze / fsimage_hdfs' ;在这种情况下，由于还有其他要分析的集群，因此使用ISO标准摄取日和集群名称创建了一个分区。使用spark-xml库，ut非常容易在文件中创建解析器，读取，修改和保存数据。这是一个加载XML数据的简单示例：
val df = sparkSession。sqlContext。读
。格式（“com.databricks.spark.xml”） 。选项（“rowTag”，“inode”） 。选项（“nullValue”，“”） 。load（pathFsImage）我还创建了一些示例代码，您可以运行并使用您的映像进行测试：https：//github.com/edersoncorbari/scala-lab1.2使用GnuPlot分析信息和绘图
在这些分析中，我使用SQL和GnuPlot来查看数据。其他一些有趣的工具是： 继续我们的工作批量数据，我们现在可以做一些分析。使用群集中最常用的复制值生成直方图：SELECT cast（hist .x AS int）AS x，
cast（hist .y AS bigint）y
从
（SELECT histogram_numeric（cast（复制AS DOUBLE），40）AS T0 FROM analyze .fsimage_hdfs WHERE dataingestao = '2019-01-27'AND CLUSTER = 'SEMANTIX_NORTH' AND preferredblocksize <> ''）
T1 LATERAL VIEW爆炸（T0）explosion_table AS hist;
您可以使用GnuPlot制作几种类型的图形，请在此处查看更多示例：GnuPlot演示。您需要在直方图中复制输出并将其放在示例文件replication.dat中：Replication_XReplication_Y
1291327797521260224720421399732176122244023170164374612293110386553144349431910188109267106492101719101207101318现在复制下面的代码并运行：＃！的/ usr / bin中/ gnuplot的
重启明确设置数据文件分隔符“ t”设置终端PNG大小1024，768设置输出“histogram-replication.png”设置标题“复制集群 - Semantix North”设置 xlabel “（X）”设置 ylabel “（Y）”设置键顶部左水平autotitle columnhead外情节'复制.d'你1：2 w冲动lw 10生成的数据如下所示：GNUPLOT
在这种情况下，大多数数据都使用复制块3.我们可以进行另一次分析，以检查在一周内修改的文件。下面，我使用weekly-changes.dat文件标准化了直方图的输出：
DateN_0Dir_1Files_2
2018-10-0146588.03579.043009.02018-10-02135548.04230.0131318.02018-10-0395226.04600.090626.02018-10-0492728.04128.088600.02018-10-05100969.03527.097442.02018-10-0677346.03455.073891.02018-10-0736326.01711.034615.0使用GnuPlot：＃！的/ usr / bin中/ gnuplot的
重启明确设置数据文件分隔符“ t”设置终端PNG大小1024，768设置输出“histogram-weekly-changes.png”设置标题“目录和文件已更改[10/01 at 10/07] Cluster - Semantix NORTH”设置 xlabel “（X）”设置 ylabel “（Y）”设置键顶部左水平autotitle columnhead外设置 xtic旋转-45比例0将 ytics 设置为nomirror设置样式填充实线边框-1设置 boxwidth 0 .5相对设置样式数据直方图设置样式直方图rowstacked使用2：xtic（1）ti col，' u 3 ti col ''' u 4 ti col 绘制'weekly-changes.dat'生成的数据如下所示：图片标题
我将留下一些可能有用的其他查询：
- 将Unix时间戳转换为ISO。
SELECT date_format（from_unixtime（cast（mtime / 1000 AS bigint）），'yyyy-MM-dd'）
来自 fsimage_hdfs LIMIT 10 ;- 检查所用块的大小并将字节转换为GB。
SELECT权限，
count（1）AS totalfiles， 轮（总和（铸造（preferredblocksize AS DOUBLE））/ 1024/1024/1024，2）AS sizegbFROM fsimage_hdfs在哪里 odate = '2019-01-22' 和cluster = 'SEMANTIX_NORTH'GROUP BY权限限制 10 ; - 在特定日期修改的文件。
SELECT count（*）FROM fsimage_hdfs WHERE odate = '2018-12-22'
和cluster = 'SEMANTIX_NORTH' AND date_format（from_unixtime（cast（mtime / 1000 AS bigint）），'yyyy-MM-dd'）= '2019-01-22' ;