0%

分区信息无法查到的问题

分区信息无法查到的问题

在hive上创建了分区表,但是有些数据在hdfs上创建的文件夹,然后将数据直接传到hdfs该文件夹下,导致hive上查询不到该该文件夹所对应的分区信息,这个原因是因为数据从hive上传的话在元数据中存储有分区信息,但是hdfs直接上传的话在hive的元数据中并不会记录,就会导致查不到这部分数据

hdfs上的显示的分区文件

hdfs分区文件夹

hive元数据信息

hive元数据分区

1
2
3
4
5
6
-- 修复该表的分区信息
msck repair table test_partitioned;

-----执行结果
Partitions not in metastore: test_partitioned:date=20210415
Repair: Added partition to metastore test_partitioned:date=20210415

此时就可以在hive上查到该分区数据了