Hive的几种复杂数据类型
Hive 提供了几种复杂数据类型，能够支持更灵活和多样的数据存储。这些复杂数据类型对于处理嵌套数据或不规则数据特别有用。主要包括以下几种：
文章目录
- Hive的几种复杂数据类型
- 1. 数组（ARRAY）
- 2. 结构体（STRUCT）
- 3.映射（MAP）
- 4. 联合类型（UNIONTYPE）
- 5. 复杂数据类型的嵌套使用
- 综合案列
- hive复杂数据类型运用场景总结
1. 数组（ARRAY）
数组类型用于存储同一数据类型的多个元素。数组中的元素是有序的，可以通过索引访问。
ARRAY<type>
示例
假设我们有一个存储学生信息的表，每个学生可以有多个考试成绩我们，可以为数组类型列添加注释，说明数组的用途和存储的元素类型。
CREATE TABLE student_scores (
student_id INT COMMENT '学生的唯一标识符',
student_name STRING COMMENT '学生的姓名',
scores ARRAY<INT> COMMENT '学生的考试成绩，包含多个成绩值'
);
---插入
INSERT INTO student_scores VALUES (1, 'Alice', ARRAY(90, 85, 88));
INSERT INTO student_scores VALUES (2, 'Bob', ARRAY(78, 82, 75));
---查询
SELECT student_name, scores FROM student_scores;
---访问数组元素
SELECT student_name, scores[0] FROM student_scores;获取第一个成绩
2. 结构体（STRUCT）
结构体类型用于存储一组不同类型的字段。可以将多个不同类型的数据组合在一个字段中。
STRUCT<field1:type1, field2:type2, ...>
假设我们有一个包含员工信息的表，每个员工有多个字段，如姓名、薪资和入职日期：
CREATE TABLE employees (
emp_id INT COMMENT '员工的唯一标识符',
emp_info STRUCT<name:STRING, salary:FLOAT, join_date:DATE>
COMMENT '包含员工的姓名、薪资和入职日期的结构体'
-- 结构体字段的注释：
-- name: 员工的姓名
-- salary: 员工的薪资
-- join_date: 员工的入职日期
);
---插入
INSERT INTO employees VALUES (1, STRUCT('John Doe', 75000.50, '2020-01-01'));
---查询
SELECT emp_info.name, emp_info.salary FROM employees;
3.映射（MAP）
映射类型用于存储键值对（key-value pairs）。键和值可以是不同的数据类型。这个类型特别适合存储类似字典或哈希表的数据。
语法
MAP<key_type, value_type>
示例
假设我们有一个表来存储员工的多个联系方式，其中每个联系方式都由一个键（如电话、电子邮件）和一个值（如电话号码、电子邮件地址）组成：
CREATE TABLE employee_contacts (
emp_id INT COMMENT '员工的唯一标识符',
contact_info MAP<STRING, STRING> COMMENT '员工的联系方式，包含多个键值对（例如，电话和电子邮件）'
-- 映射字段的注释：
-- 键：表示联系信息的类型，如'phone'或'email'
-- 值：对应的联系信息，如电话号码或电子邮件地址
);
---插入数据
INSERT INTO employee_contacts VALUES (1, MAP('phone'='123-456-7890', 'email'='john.doe@example.com'));
---查询数据
SELECT emp_id, contact_info['phone'] FROM employee_contacts; -- 查询电话号码
SELECT emp_id,
contact_info['phone'] AS phone_number,
contact_info['email'] AS email_address
FROM employee_contacts;
4. 联合类型（UNIONTYPE）
联合类型允许字段存储不同类型的数据。它可以存储多种类型的数据，但在同一时刻只能存储其中一种类型的数据。这对于处理复杂的嵌套数据结构非常有用。
语法
UNIONTYPE<type1, type2, ...>
示例
假设我们有一个表来存储某个用户的反馈信息，其中每条反馈可以是文本、整数或布尔值：
CREATE TABLE user_feedback (
feedback_id INT COMMENT '反馈的唯一标识符',
feedback UNIONTYPE<STRING, INT, BOOLEAN> COMMENT '用户的反馈内容，可以是文本、整数或布尔值'
-- 联合类型字段的注释：
-- 可以存储不同类型的反馈内容：
-- STRING：文本类型反馈，如用户评论
-- INT：整数类型反馈，如评分
-- BOOLEAN：布尔类型反馈，如是否满意
);
---插入数据
INSERT INTO user_feedback VALUES (1, 'Great service!');
INSERT INTO user_feedback VALUES (2, 5); -- 整型反馈
INSERT INTO user_feedback VALUES (3, TRUE); -- 布尔反馈
---查询数据
SELECT feedback_id, feedback FROM user_feedback;
5. 复杂数据类型的嵌套使用
Hive 还支持复杂数据类型的嵌套使用，你可以将 ARRAY、STRUCT 和 MAP 结合使用，以构建更加复杂的数据结构。
示例
创建一个表存储课程信息，其中包括课程名称、教师信息（结构体类型）以及学生名单（数组类型）：
CREATE TABLE course_info (
course_id INT,
course_name STRING,
teacher_info STRUCT<name:STRING, experience_years:INT>,
students ARRAY<STRING>
);
INSERT INTO course_info VALUES (
101,
'Big Data Analytics',
STRUCT('Dr. Smith', 10),
ARRAY('Alice', 'Bob', 'Charlie')
);
SELECT course_name, teacher_info.name, students FROM course_info;
---查询
---通过 EXPLODE 函数将数组展开，每一行显示一个学生：
SELECT course_name, teacher_info.name AS teacher_name, student
FROM course_info
LATERAL VIEW EXPLODE(students) AS student;
---course_name：每一行显示课程名称（在本例中为 'Big Data Analytics'）。
---teacher_info.name：每一行显示教师的姓名（在本例中为 'Dr. Smith'）。
---student：每一行显示 students 数组中的一个学生。
综合案列
我们将创建一个名为 employee_data 的表，包含以下字段：
id：员工 ID（INT 类型，基本类型）
name：员工姓名（STRING 类型，基本类型）
salary：员工工资（DOUBLE 类型，基本类型）
skills：员工的技能（ARRAY 类型，复杂类型）
address：员工地址（STRUCT<street: STRING, city: STRING, zip: INT> 类型，复杂类型）
projects：员工参与的项目（MAP<STRING, STRING> 类型，复杂类型）
CREATE TABLE employee_data (
id INT,
name STRING,
salary DOUBLE,
skills ARRAY<STRING>,
address STRUCT<street: STRING, city: STRING, zip: INT>,
projects MAP<STRING, STRING>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '|'
MAP KEYS TERMINATED BY ':'
STORED AS TEXTFILE;
--ROW FORMAT DELIMITED:
--表示行的格式为分隔符格式。这意味着每一行的数据用特定的分隔符分隔。
--FIELDS TERMINATED BY ',':
--定义了字段之间的分隔符为逗号 ,。这意味着在数据存储时，每个字段的值用逗号隔开。
--COLLECTION ITEMS TERMINATED BY '|':
--定义了数组和映射中的项之间的分隔符为竖线 |。例如，skills 数组中的多个技能会用竖线隔开。
--MAP KEYS TERMINATED BY ':':
--定义了映射中键（key）和值（value）之间的分隔符为冒号 :。这意味着在 projects 字段中，项目名称与项目描述之间用冒号隔开。
--STORED AS TEXTFILE:
--定义了数据将以文本文件的格式存储。这意味着 Hive 会将表的数据存储为可读的文本文件，这对调试和查看数据非常有用。
INSERT INTO TABLE employee_data VALUES
(1, 'Alice', 75000.00,
ARRAY('Java', 'Python'),
NAMED_STRUCT('street', '123 Main St', 'city', 'New York', 'zip', 10001),
MAP('Project1', 'Data Warehouse', 'Project2', 'Cloud Migration')),
(2, 'Bob', 85000.00,
ARRAY('Scala', 'Spark'),
NAMED_STRUCT('street', '456 Market St', 'city', 'San Francisco', 'zip', 94105),
MAP('Project1', 'Big Data Analytics', 'Project2', 'Machine Learning'));
- 查询 STRUCT 结构中的某个字段
假设我们要查询员工住在 New York 的所有员工。
SELECT * FROM employee_data
WHERE address.city = 'New York';
解释: 这里我们通过 address.city 来访问 STRUCT 结构中的 city 字段，查找地址中的城市是 New York 的员工。
- 查询 MAP<STRING, STRING> 结构中的某个键
假设我们想查询员工参与了名为 Project1 的项目，并且这个项目的描述是 Data Warehouse。
SELECT * FROM employee_data
WHERE projects['Project1'] = 'Data Warehouse';
解释: 这里我们通过 projects[‘Project1’] 来访问 MAP 中 Project1 键对应的值，并查找项目描述为 Data Warehouse 的员工。
- 查询数组 (ARRAY) 中包含某个值的员工
假设我们想查询掌握 Java 技能的所有员工。
SELECT * FROM employee_data
WHERE ARRAY_CONTAINS(skills, 'Java');
解释: ARRAY_CONTAINS 函数用于检查数组 skills 中是否包含 Java，如果包含则返回该员工的信息。
hive_260">hive复杂数据类型运用场景总结
这些复杂数据类型在 Hive 中非常有用，特别是在处理大数据和半结构化数据时。它们可以帮助存储更复杂的、嵌套的数据结构，使得数据查询更加灵活和高效。
ARRAY：适用于存储同类数据集合。
STRUCT：适用于存储多个字段的组合。
MAP：适用于存储键值对数据。
UNIONTYPE：适用于存储多种类型中的任意一个。
