Hive--元数据库

1.BUCKETING_COLS描述了所有采用了分桶技术的SDS

表名	BUCKETING_COLS
字段	类型	名称	备注
SD_ID	BIGINT(20)	唯一标记一个数据存储记录
BUCKET_COL_NAME	VARCHAR(255)
INTEGER_IDX	INT(11)	字段序号

2.CDS--记录HIVE数据仓库中所有的CD_ID,和COLUMN_V2关联

表名	CDS
字段	类型	名称	备注
CD_ID	BIGINT(20)

3.COLUMNS_V2--该表存储表对应的字段信息

表名	COLUMNS_V2
字段	类型	名称	备注
CD_ID	BIGINT(20)	字段信息ID
COMMENT	VARCHAR(256)	字段注释
COLUMN_NAME	VARCHAR(128)	字段名
TYPE_NAME	VARCHAR(4000)	字段类型
INTEGER_IDX	INT(11)	字段序号

4.DATABASE_PARAMS--该表存储数据库的相关参数，在CREATE DATABASE时候用
WITH DBPROPERTIES (property_name=property_value, …)指定的参数

表名	DATABASE_PARAMS
字段	类型	名称	备注
DB_ID	BIGINT(20)
PARAM_KEY	VARCHAR(180)
PARAM_VALUE	VARCHAR(4000)

我们里面没有数据...

5.DBS表--存储所有数据库相关信息

表名	DBS
字段	类型	名称	备注
DB_ID	BIGINT20	数据库ID
DESC	VARCHAR(4000)	数据库描述信息
DB_LOCATION_URI	VARCHAR(4000)	数据库在HDFS中的位置
NAME	VARCHAR(128)	库名
OWNER_NAME	VARCHAR(128)	拥有者姓名
OWNER_TYPE	VARCHAR(10)	拥有者类型

+-------+-----------------------+----------------------------------------------------------+------------+------------+------------+
| DB_ID | DESC                  | DB_LOCATION_URI                                          | NAME       | OWNER_NAME | OWNER_TYPE |
+-------+-----------------------+----------------------------------------------------------+------------+------------+------------+
|     1 | Default Hive database | hdfs://****/user/***/hive/warehouse        | default    | public     | ROLE       |
|    11 | NULL                  | hdfs://***/user/***/hive/warehouse/***.db  | ***     | ***     | USER       |

6.DB_PRIVS--数据库级别的权限管理，数据库权限授予信息。通过GRANT语句对数据库授权后，将会在这里存储

表名	DB_PRIVS
字段	类型	名称	备注
DB_GRANT_ID	BIGINT(20)	id
CREATE_TIME	INT(11)	创建时间
DB_ID	BIGINT(20)	数据库id
GRANT_OPTION	SMALLINT(6)
GRANTOR	VARCHAR(128)
GRANTOR_TYPE	VARCHAR(128)
PRINCIPAL_NAME	VARCHAR(128)
PRINCIPAL_TYPE	VARCHAR(128)
DB_PRIV	VARCHAR(128)

+-------------+-------------+-------+--------------+---------+--------------+----------------+----------------+---------+
| DB_GRANT_ID | CREATE_TIME | DB_ID | GRANT_OPTION | GRANTOR | GRANTOR_TYPE | PRINCIPAL_NAME | PRINCIPAL_TYPE | DB_PRIV |
+-------------+-------------+-------+--------------+---------+--------------+----------------+----------------+---------+
|           1 |  1442563465 |    11 |            0 | ***  | USER         | root           | USER           | ALL     |
+-------------+-------------+-------+--------------+---------+--------------+----------------+----------------+---------+

7.FUNCS--用户注册的函数信息

表名	FUNCS
字段	类型	名称	备注
FUNC_ID	BIGINT(20)
CLASS_NAME	INT(11)
CREATE_TIME	BIGINT(20)
DB_ID	SMALLINT(6)
FUNC_NAME	VARCHAR(128)
FUNC_TYPE	VARCHAR(128)
OWNER_NAME	VARCHAR(128)
OWNER_TYPE	VARCHAR(128)

目前为空

8.FUNC_RU--用户注册函数的资源信息

表名	FUNC_RU
字段	类型	名称	备注
FUNC_ID	BIGINT(20)
RESOURCE_TYPE	INT(11)
RESOURCE_URI	VARCHAR(4000)
INTEGER_IDX	INT(11)

目前为空

9.GLOBAL_PRIVS--全局权限管理

表名	GLOBAL_PRIVS
字段	类型	名称	备注
USER_GRANT_ID	BIGINT(20)
CREATE_TIME	INT(11)
GRANT_OPTION	SMALLINT(6)
GRANTOR	VARCHAR(128)
GRANTOR_TYPE	VARCHAR(128)
PRINCIPAL_NAME	VARCHAR(128)
PRINCIPAL_TYPE	VARCHAR(128)
USER_PRIV	VARCHAR(128)

+---------------+-------------+--------------+---------+--------------+----------------+----------------+-----------+
| USER_GRANT_ID | CREATE_TIME | GRANT_OPTION | GRANTOR | GRANTOR_TYPE | PRINCIPAL_NAME | PRINCIPAL_TYPE | USER_PRIV |
+---------------+-------------+--------------+---------+--------------+----------------+----------------+-----------+
|             1 |  1438151385 |            1 | admin   | ROLE         | admin          | ROLE           | All       |
+---------------+-------------+--------------+---------+--------------+----------------+----------------+-----------+

10.IDXS---索引表，存储Hive索引相关的元数据

表名	IDXS
字段	类型	名称	备注
INDEX_ID	BIGINT(20)
CREATE_TIME	INT(11)
DEFERRED_REBUILD	BIT(1)
INDEX_HANDLER_CLASS	VARCHAR(4000)
INDEX_NAME	VARCHAR(128)
INDEX_TBL_ID	BIGINT(20)
LAST_ACCESS_TIME	INT(11)
ORIG_TBL_ID	BIGINT(20)
SD_ID	BIGINT(20)

| INDEX_ID | CREATE_TIME | DEFERRED_REBUILD | INDEX_HANDLER_CLASS                                         | INDEX_NAME             | INDEX_TBL_ID | LAST_ACCESS_TIME | ORIG_TBL_ID | SD_ID   |
+----------+-------------+------------------+-------------------------------------------------------------+------------------------+--------------+------------------+-------------+---------+
|        1 |  1516269039 |                 | org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler | tmp_liuixnhua_aa_index |        31779 |       1516269039 |       31846 | 8150978 |
+----------+-------------+------------------+-------------------------------------------------------------+------------------------+--------------+------------------+-------------+---------+

11.INDEX_PARAMS--索引相关的属性信息

表名	INDEX_PARAMS
字段	类型	名称	备注
INDEX_ID	BIGINT(20)
PARAM_KEY	VARCHAR(256)
PARAM_VALUE	VARCHAR(4000)

+----------+------------------------------------------------------------+---------------+
| INDEX_ID | PARAM_KEY                                                  | PARAM_VALUE   |
+----------+------------------------------------------------------------+---------------+
|        1 | last_modified_by                                           | portal        |
|        1 | last_modified_time                                         | 1516269567    |
|        1 | transient_lastDdlTime                                      | 1516269567    |
|        1 | {month=201801, day=20180117, hour=2018011721, type=action} | 1516268267685 |
+----------+------------------------------------------------------------+---------------+

12.PARTITIONS存储了Hive数据仓库总所有的分区信息

表名	PARTITIONS
字段	类型	名称	备注
PART_ID	BIGINT(20)	分区ID
CREATE_TIME	INT(11)	分区创建时间
LAST_ACCESS_TIME	INT(11)	最后一次访问时间
PART_NAME	VARCHAR(767)	分区名
SD_ID	BIGINT(20)	分区存储ID
TBL_ID	BIGINT(20)	表ID

select * from PARTITIONS where TBL_ID='41356' order by CREATE_TIME desc limit 1000;           
+----------+-------------+------------------+--------------+----------+--------+
| PART_ID  | CREATE_TIME | LAST_ACCESS_TIME | PART_NAME    | SD_ID    | TBL_ID |
+----------+-------------+------------------+--------------+----------+--------+
| 10425456 |  1531261934 |                0 | day=20180710 | 10467411 |  41356 |
| 10406396 |  1531170030 |                0 | day=20180709 | 10448236 |  41356 |
| 10397666 |  1531143964 |                0 | day=20180430 | 10439506 |  41356 |

13.PARTITION_KEYS--该表存储分区的字段信息。

表名	PARTITION_KEYS
字段	类型	名称	备注
TBL_ID	BIGINT(20)	表ID
PKEY_COMMENT	VARCHAR(4000)	分区字段说明
PKEY_NAME	VARCHAR(128)	分区字段名
PKEY_TYPE	VARCHAR(767)	分区字段类型
INTEGER_IDX	INT(11)	分区字段顺序

 select * from PARTITION_KEYS where TBL_ID='41356';
+--------+--------------+-----------+-----------+-------------+
| TBL_ID | PKEY_COMMENT | PKEY_NAME | PKEY_TYPE | INTEGER_IDX |
+--------+--------------+-----------+-----------+-------------+
|  41356 | 分区字段     | day       | string    |           0 |
+--------+--------------+-----------+-----------+-------------+
1 row in set (0.00 sec)

14.PARTITION_KEY_VALS--该表存储分区字段值。

表名	PARTITION_KEY_VALS
字段	类型	名称	备注
PART_ID	BIGINT(20)	分区ID
PART_KEY_VAL	VARCHAR(255)	分区字段值
INTEGER_IDX	INT(11)	分区字段值顺序

select * from PARTITION_KEY_VALS where PART_ID in('10425456','10406396','10397666');
+----------+--------------+-------------+
| PART_ID  | PART_KEY_VAL | INTEGER_IDX |
+----------+--------------+-------------+
| 10397666 | 20180430     |           0 |
| 10406396 | 20180709     |           0 |
| 10425456 | 20180710     |           0 |
+----------+--------------+-------------+
3 rows in set (0.00 sec)

15.PARTITION_PARAMS--该表存储分区的属性信息。

表名	PARTITION_PARAMS
字段	类型	名称	备注
PART_ID	BIGINT(20)	分区ID
PARAM_KEY	VARCHAR(256)	分区属性名
PARAM_VALUE	VARCHAR(4000)	分区属性值

 select * from PARTITION_PARAMS where PART_ID in('10425456','10406396','10397666');                  
+----------+-----------------------+--------------+
| PART_ID  | PARAM_KEY             | PARAM_VALUE  |
+----------+-----------------------+--------------+
| 10397666 | COLUMN_STATS_ACCURATE | true         |
| 10397666 | numFiles              | 5            |
| 10397666 | numRows               | 94524116     |
| 10397666 | rawDataSize           | 385993563859 |
| 10397666 | totalSize             | 2211522128   |
| 10397666 | transient_lastDdlTime | 1531143966   |
| 10406396 | COLUMN_STATS_ACCURATE | true         |
| 10406396 | numFiles              | 6            |
| 10406396 | numRows               | 99882853     |
| 10406396 | rawDataSize           | 419844793756 |
| 10406396 | totalSize             | 2414610647   |
| 10406396 | transient_lastDdlTime | 1531170048   |
| 10425456 | COLUMN_STATS_ACCURATE | true         |
| 10425456 | numFiles              | 6            |
| 10425456 | numRows               | 99246691     |
| 10425456 | rawDataSize           | 417331104587 |
| 10425456 | totalSize             | 2399026044   |
| 10425456 | transient_lastDdlTime | 1531261951   |
+----------+-----------------------+--------------+
18 rows in set (0.00 sec)

从这个表内可以知道
COLUMN_STATS_ACCURATE:列统计是否准确
numFiles:这个分区下的文件数量如day=20180430 文件数量为5
totalSize:这个分区下的文件总共大小是多少 dfs -dus ///day=20180710 2399026044
numRows:这个分区下的内容条数是多少 select count(1) from EDM_INDICATOR_REFRESH_DAY where day=20180710; 99246691
rawDataSize:原数据大小 --没搞懂
transient_lastDdlTime:生成时间

在spark中spark的的数据不会更新 totalSize,numRows
需要用命令

ANALYZE TABLE t PARTITION(p='p1') COMPUTE STATISTICS

16.PART_COL_PRIVS--分区字段的权限信息。

表名	PART_COL_PRIVS
字段	类型	名称	备注
PART_COLUMN_GRANT_ID	BIGINT(20)
COLUMN_NAME	VARCHAR(256)
CREATE_TIME	VARCHAR(4000)
GRANT_OPTION	BIGINT(20)
GRANTOR	VARCHAR(256)
GRANTOR_TYPE	VARCHAR(4000)
PART_ID	BIGINT(20)
PRINCIPAL_NAME	VARCHAR(256)
PRINCIPAL_TYPE	VARCHAR(4000)
PART_COL_PRIV	BIGINT(20)

select * from PART_COL_PRIVS where PART_ID='10425456';

目前为空

17.PART_COL_STATS--分区字段的统计信息。

表名	PART_COL_STATS
字段	类型	名称	备注
CS_ID	BIGINT(20)
AVG_COL_LEN	DOUBLE
COLUMN_NAME	VARCHAR(128)
COLUMN_TYPE	VARCHAR(128)
DB_NAME	VARCHAR(128)
BIG_DECIMAL_HIGH_VALUE	VARCHAR(255)
BIG_DECIMAL_LOW_VALUE	VARCHAR(255)
DOUBLE_HIGH_VALUE	DOUBLE
DOUBLE_LOW_VALUE	DOUBLE
LAST_ANALYZED	BIGINT(20)
LONG_HIGH_VALUE	BIGINT(20)
LONG_LOW_VALUE	BIGINT(20)
MAX_COL_LEN	BIGINT(20)
NUM_DISTINCTS	BIGINT(20)
NUM_FALSES	BIGINT(20)
NUM_NULLS	BIGINT(20)
NUM_TRUES	BIGINT(20)
PART_ID	BIGINT(20)
PARTITION_NAME	VARCHAR(767)
TABLE_NAME	VARCHAR(128)

目前数据很少 基本不用
select * from PART_COL_STATS  limit 10;
+-------+--------------------+--------------+-------------+---------+------------------------+-----------------------+-------------------+------------------+---------------+-----------------+----------------+-------------+---------------+------------+-----------+-----------+---------+---------------------------+----------------------------------+
| CS_ID | AVG_COL_LEN        | COLUMN_NAME  | COLUMN_TYPE | DB_NAME | BIG_DECIMAL_HIGH_VALUE | BIG_DECIMAL_LOW_VALUE | DOUBLE_HIGH_VALUE | DOUBLE_LOW_VALUE | LAST_ANALYZED | LONG_HIGH_VALUE | LONG_LOW_VALUE | MAX_COL_LEN | NUM_DISTINCTS | NUM_FALSES | NUM_NULLS | NUM_TRUES | PART_ID | PARTITION_NAME            | TABLE_NAME                       |
+-------+--------------------+--------------+-------------+---------+------------------------+-----------------------+-------------------+------------------+---------------+-----------------+----------------+-------------+---------------+------------+-----------+-----------+---------+---------------------------+----------------------------------+
|     1 |              2.712 | count        | string      | portal  | NULL                   | NULL                  |              NULL |             NULL |    1442557224 |            NULL |           NULL |           4 |           255 |       NULL |         0 |      NULL |   78946 | month=201509/day=20150916 | gdm_muas_browse_totalorder_daily |
|     2 |               NULL | people_count | bigint      | portal  | NULL                   | NULL                  |              NULL |             NULL |    1442557224 |         8434232 |              1 |        NULL |           151 |       NULL |         0 |      NULL |   78946 | month=201509/day=20150916 | gdm_muas_browse_totalorder_daily |
|     3 | 2.7213541666666665 | count        | string      | portal  | NULL                   | NULL                  |              NULL |             NULL |    1442557225 |            NULL |           NULL |           4 |           278 |       NULL |         0 |      NULL |   80446 | month=201509/day=20150917 | gdm_muas_browse_totalorder_daily |
|     4 |               NULL | people_count | bigint      | portal  | NULL                   | NULL                  |              NULL |             NULL |    1442557225 |         8428675 |              1 |        NULL |           172 |       NULL |         0 |      NULL |   80446 | month=201509/day=20150917 | gdm_muas_browse_totalorder_daily |
+-------+--------------------+--------------+-------------+---------+------------------------+-----------------------+-------------------+------------------+---------------+-----------------+----------------+-------------+---------------+------------+-----------+-----------+---------+---------------------------+----------------------------------+

18.PART_PRIVS--分区的授权信息

表名	PART_PRIVS
字段	类型	名称	备注
PART_GRANT_ID	BIGINT(20)
CREATE_TIME	INT(11)
GRANT_OPTION	SMALLINT(6)
GRANTOR	VARCHAR(128)
GRANTOR_TYPE	VARCHAR(128)
PART_ID	BIGINT(20)
PRINCIPAL_NAME	VARCHAR(128)
PRINCIPAL_TYPE	VARCHAR(128)
PART_PRIV	VARCHAR(128)

select * from PART_PRIVS limit 10;
+---------------+-------------+--------------+---------+--------------+---------+----------------+----------------+-----------+
| PART_GRANT_ID | CREATE_TIME | GRANT_OPTION | GRANTOR | GRANTOR_TYPE | PART_ID | PRINCIPAL_NAME | PRINCIPAL_TYPE | PART_PRIV |
+---------------+-------------+--------------+---------+--------------+---------+----------------+----------------+-----------+
|             1 |  1442563410 |            0 | ***  | USER         |   78946 | root           | USER           | ALL       |
+---------------+-------------+--------------+---------+--------------+---------+----------------+----------------+-----------+

19.ROLES---角色表，记录所有的角色ROLE_ID、角色名、创建者、所有者

表名	ROLES
字段	类型	名称	备注
ROLE_ID	BIGINT(20)
CREATE_TIME	INT(11)
OWNER_NAME	VARCHAR(128)
ROLE_NAME	VARCHAR(128)

select * from ROLES limit 10;
+---------+-------------+------------+-----------+
| ROLE_ID | CREATE_TIME | OWNER_NAME | ROLE_NAME |
+---------+-------------+------------+-----------+
|       1 |  1438151384 | admin      | admin     |
|       2 |  1438151385 | public     | public    |
+---------+-------------+------------+-----------+

20.SDS--SDS表保存了Hive数据仓库所有的HDFS数据文件信息，每个SD_ID唯一标记一个数据存储记录

表名	SDS
字段	类型	名称	备注
SD_ID	BIGINT(20)
CD_ID	BIGINT(20)
INPUT_FORMAT	VARCHAR(4000)
IS_COMPRESSED	BIT(1)
IS_STOREDASSUBDIRECTORIES	BIT(1)
LOCATION	VARCHAR(4000)
NUM_BUCKETS	INT(11)
OUTPUT_FORMAT	VARCHAR(4000)
SERDE_ID	BIGINT(20)

select * from SDS where SD_ID='9341466' limit 10;
+---------+-------+-------------------------------------------------+---------------+---------------------------+------------------------------------------------------------------------+-------------+--------------------------------------------------+----------+
| SD_ID   | CD_ID | INPUT_FORMAT                                    | IS_COMPRESSED | IS_STOREDASSUBDIRECTORIES | LOCATION                                                               | NUM_BUCKETS | OUTPUT_FORMAT                                    | SERDE_ID |
+---------+-------+-------------------------------------------------+---------------+---------------------------+------------------------------------------------------------------------+-------------+--------------------------------------------------+----------+
| 9341466 | 53901 | org.apache.hadoop.hive.ql.io.orc.OrcInputFormat |               |                           | hdfs://***/user/***/EDM/INDICATOR/EDM_INDICATOR_REFRESH_DAY |          -1 | org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat |  9341466 |
+---------+-------+-------------------------------------------------+---------------+---------------------------+------------------------------------------------------------------------+-------------+--------------------------------------------------+----------+
1 row in set (0.00 sec)

21.SD_PARAMS--该表存储Hive存储的属性信息，在创建表时候使用--STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

表名	SD_PARAMS
字段	类型	名称	备注
SD_ID	BIGINT(20)	存储配置ID
PARAM_KEY	VARCHAR(256)	存储属性名
PARAM_VALUE	VARCHAR(4000)	存储属性值

目前为空

22.SEQUENCE_TABLE--存储SEQUENCE对象下一个可用的值（NEXT_VAL)

表名	SEQUENCE_TABLE
字段	类型	名称	备注
SEQUENCE_NAME	VARCHAR(255)
NEXT_VAL	BIGINT(20)

 select * from SEQUENCE_TABLE limit 100;
+-------------------------------------------------------------------+----------+
| SEQUENCE_NAME                                                     | NEXT_VAL |
+-------------------------------------------------------------------+----------+
| org.apache.hadoop.hive.metastore.model.MColumnDescriptor          |    53966 |
| org.apache.hadoop.hive.metastore.model.MDBPrivilege               |        6 |
| org.apache.hadoop.hive.metastore.model.MDatabase                  |       61 |
| org.apache.hadoop.hive.metastore.model.MGlobalPrivilege           |     2891 |
| org.apache.hadoop.hive.metastore.model.MIndex                     |        6 |
| org.apache.hadoop.hive.metastore.model.MPartition                 | 10433001 |
| org.apache.hadoop.hive.metastore.model.MPartitionColumnStatistics |        6 |
| org.apache.hadoop.hive.metastore.model.MPartitionPrivilege        |        6 |
| org.apache.hadoop.hive.metastore.model.MRole                      |     5441 |
| org.apache.hadoop.hive.metastore.model.MSerDeInfo                 | 10475086 |
| org.apache.hadoop.hive.metastore.model.MStorageDescriptor         | 10475086 |
| org.apache.hadoop.hive.metastore.model.MTable                     |    50681 |
| org.apache.hadoop.hive.metastore.model.MTablePrivilege            |      861 |
| org.apache.hadoop.hive.metastore.model.MVersionTable              |     1066 |
+-------------------------------------------------------------------+----------+
14 rows in set (0.00 sec)

23.SERDES--该表存储序列化使用的类信息

表名	SERDES
字段	类型	名称	备注
SERDE_ID	BIGINT(20)	序列化类配置ID
NAME	VARCHAR(128)	序列化类别名
SLIB	VARCHAR(4000)	序列化类

select * from SERDES where SERDE_ID='9341466' limit 100;
+----------+------+-------------------------------------------+
| SERDE_ID | NAME | SLIB                                      |
+----------+------+-------------------------------------------+
|  9341466 | NULL | org.apache.hadoop.hive.ql.io.orc.OrcSerde |
+----------+------+-------------------------------------------+
1 row in set (0.00 sec)

24.SERDE_PARAMS--该表存储序列化的一些属性、格式信息,比如：行、列分隔符

表名	SERDE_PARAMS
字段	类型	名称	备注
SERDE_ID	BIGINT(20)	序列化类配置ID
PARAM_KEY	VARCHAR(256)	属性名
PARAM_VALUE	VARCHAR(4000)	属性值

select * from SERDE_PARAMS where SERDE_ID='9341466' limit 100;      
+----------+----------------------+-------------+
| SERDE_ID | PARAM_KEY            | PARAM_VALUE |
+----------+----------------------+-------------+
|  9341466 | serialization.format | 1           |
+----------+----------------------+-------------+
1 row in set (0.00 sec)

25.SKEW 数据倾斜相关表

表名	SKEWED_COL_NAMES
字段	类型	名称	备注
SD_ID	BIGINT(20)
SKEWED_COL_NAME	VARCHAR(255)
INTEGER_IDX	INT(11)

26.SKEW 数据倾斜相关表

表名	SKEWED_COL_VALUE_LOC_MAP
字段	类型	名称	备注
SD_ID	BIGINT(20)
STRING_LIST_ID_KID	BIGINT(20)
LOCATION	VARCHAR(4000)

27.SKEW 数据倾斜相关表

表名	SKEWED_STRING_LIST
字段	类型	名称	备注
STRING_LIST_ID	BIGINT(20)

28.SKEW 数据倾斜相关表

表名	SKEWED_STRING_LIST_VALUES
字段	类型	名称	备注
STRING_LIST_ID	BIGINT(20)
STRING_LIST_VALUE	VARCHAR(255)
INTEGER_IDX	INT(11)

29.SKEW 数据倾斜相关表

表名	SKEWED_VALUES
字段	类型	名称	备注
SD_ID_OID	BIGINT(20)
STRING_LIST_ID_EID	BIGINT(20)
INTEGER_IDX	INT(11)

相比0.8版本，0.11元数据增加了数据倾斜相关的表 SKEWED_COL_NAMES SKEWED_COL_VALUE_LOC_MAP SKEWED_STRING_LIST SKEWED_STRING_LIST_VALUES SKEWED_VALUES ，这些高级特性还在测试阶段，目前公司没有用到。

30.SORT_COLS--Hive表创建时SORTED BY字段信息(字段名，sort类型,字段序号)

表名	SORT_COLS
字段	类型	名称	备注
SD_ID	BIGINT(20)
COLUMN_NAME	VARCHAR(128)
ORDER	INT(11)
INTEGER_IDX	INT(11)

select * from SORT_COLS limit 10;
+---------+-------------+-------+-------------+
| SD_ID   | COLUMN_NAME | ORDER | INTEGER_IDX |
+---------+-------------+-------+-------------+
| 8150977 | event_id    |     1 |           0 |
| 8150978 | event_id    |     1 |           0 |
| 8150979 | event_id    |     1 |           0 |
+---------+-------------+-------+-------------+
3 rows in set (0.00 sec)

31.TABLE_PARAMS--表级属性，文件大小，最后一次ddl时间等等

表名	TABLE_PARAMS
字段	类型	名称	备注
TBL_ID	BIGINT(20)
PARAM_KEY	VARCHAR(256)
PARAM_VALUE	VARCHAR(4000)

select * from TABLE_PARAMS where TBL_ID='41356';
+--------+-----------------------+-------------------------+
| TBL_ID | PARAM_KEY             | PARAM_VALUE             |
+--------+-----------------------+-------------------------+
|  41356 | EXTERNAL              | TRUE                    |
|  41356 | comment               | 指标体系--刷新表        |
|  41356 | last_modified_by      | portal                  |
|  41356 | last_modified_time    | 1531296969              |
|  41356 | transient_lastDdlTime | 1531296969              |
+--------+-----------------------+-------------------------+
5 rows in set (0.00 sec)

32.TAB_COL_STATS---表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。

表名	TAB_COL_STATS
字段	类型	名称	备注
CS_ID	BIGINT(20)
AVG_COL_LEN	DOUBLE
COLUMN_NAME	VARCHAR(128)
COLUMN_TYPE	VARCHAR(128)
DB_NAME	VARCHAR(128)
BIG_DECIMAL_HIGH_VALUE	VARCHAR(255)
BIG_DECIMAL_LOW_VALUE	VARCHAR(255)
DOUBLE_HIGH_VALUE	DOUBLE
DOUBLE_LOW_VALUE	DOUBLE
LAST_ANALYZED	BIGINT(20)
LONG_HIGH_VALUE	BIGINT(20)
LONG_LOW_VALUE	BIGINT(20)
MAX_COL_LEN	BIGINT(20)
NUM_DISTINCTS	BIGINT(20)
NUM_FALSES	BIGINT(20)
NUM_NULLS	BIGINT(20)
NUM_TRUES	BIGINT(20)
TBL_ID	BIGINT(20)
TABLE_NAME	VARCHAR(128)

目前为空

33.VERSION表--存储HIVE版本信息

表名	VERSION
字段	名称	备注
VER_ID	ID主键	1
SCHEMA_VERSION	HIVE版本	1.2.0
VSERSION_COMMENT	版本说明	SET BY METASTORE HADOOP@1.1.1.1

34.

表名	TBL_PRIVS
字段	类型	名称	备注
TBL_GRANT_ID	BIGINT20
CREATE_TIME	INT(11)
GRANT_OPTION	SMALLINT(6)
GRANTOR	VARCHAR(128)
GRANTOR_TYPE	VARCHAR(128)
GRANTOR_NAME	VARCHAR(128)
PRINCIPAL_TYPE	VARCHAR(128)
TBL_PRIV	VARCHAR(128)
TBL_ID	BIGINT(20)

 select * from TBL_PRIVS limit 10;
+--------------+-------------+--------------+---------+--------------+----------------+----------------+----------+--------+
| TBL_GRANT_ID | CREATE_TIME | GRANT_OPTION | GRANTOR | GRANTOR_TYPE | PRINCIPAL_NAME | PRINCIPAL_TYPE | TBL_PRIV | TBL_ID |
+--------------+-------------+--------------+---------+--------------+----------------+----------------+----------+--------+
|            2 |  1442564259 |            0 | portal  | USER         | root           | USER           | CREATE   |    391 |
|            3 |  1442564267 |            0 | portal  | USER         | root           | USER           | SELECT   |    391 |
|            4 |  1442564277 |            0 | portal  | USER         | root           | USER           | ALTER    |    391 |
|            5 |  1442564285 |            0 | portal  | USER         | root           | USER           | DROP     |    391 |

35.表字段的授权信息

表名	TBL_COL_PRIVS
字段	类型	名称	备注
TBL_COLUMN_GRANT_ID	BIGINT20
COLUMN_NAME	VARCHAR(128)
CREATE_TIME	INT
GRANT_OPTION	SMALLINT
GRANTOR	VARCHAR(128)
GRANTOR_TYPE	VARCHAR(128)
GRANTOR_NAME	VARCHAR(128)
PRINCIPAL_TYPE	VARCHAR(128)
TBL_PRIV	VARCHAR(128)
TBL_ID	BIGINT(20)

目前为空

36.TBLS--该表中存储Hive表、视图、索引表的基本信息

表名	TBLS
字段	类型	名称	备注
TBL_ID	BIGINT20	表ID
CREATE_TIME	INT	创建时间
DB_ID	BIGINT20	数据库ID
LAST_ACCESS_TIME	INT	上次访问时间
OWNER	VARCHAR(767)	所有者
RETENTION	INT	保留字段
SD_ID	BIGINT	序列化配置信息
TBL_NAME	VARCHAR(128)	表名
TBL_TYPE	VARCHAR(128)	表类型
VIEW_EXPANDED_TEXT	MEDIUMTEXT	视图的详细HQL语句
VIDEW_ORIGINAL_TEXT	MEDIUMTEXT	视图的原始HQL语句

 select * from TBLS where TBL_NAME like 'edm_indicator_refresh_day%';
+--------+-------------+-------+------------------+--------+-----------+----------+-----------------------------------+----------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER  | RETENTION | SD_ID    | TBL_NAME                          | TBL_TYPE       | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT |
+--------+-------------+-------+------------------+--------+-----------+----------+-----------------------------------+----------------+--------------------+--------------------+
|  41356 |  1524133433 |    11 |                0 | portal |         0 |  9341466 | edm_indicator_refresh_day         | EXTERNAL_TABLE | NULL               | NULL

没有评论