鲨鱼网
Hive支持的文件格式与压缩算法
创始人
2025-02-13 16:50:58
0次

[[194194]]

概述

只要是配置了正确的文件类型和压缩类型(比如Textfile+Gzip、SequenceFile+Snappy等)，Hive都可以按预期读取并解析数据，提供SQL功能。

SequenceFile本身的结构已经设计了内容进行压缩。所以对于SequenceFile文件的压缩，并不是先生成SequenceFile文件，再对文件进行压缩。而是生成SequenceFile文件时，对其中的内容字段进行压缩。最终压缩后，对外仍体现为一个SequenceFile。

RCFile、ORCFile、Parquet、Avro对于压缩的处理方式与SequenceFile相同。

文件格式

  1. Textfile
  2. SequenceFile
  3. RCFile
  4. ORCFile
  5. Parquet
  6. Avro

压缩算法的编解码器

TEXTFILE

  1. --创建一个表，格式为文本文件： 
  2. CREATE EXTERNAL TABLE student_text (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED  
  4.     FIELDS TERMINATED BY ','  
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS TEXTFILE; 
  7. --导入数据到此表中,将启动MR任务 
  8. INSERT OVERWRITE TABLE student_text SELECT * FROM student; 

可查看到生成的数据文件的格式为非压缩的文本文件：

  1. hdfs dfs -cat /user/hive/warehouse/student_text/000000_0 
  2.  
  3. 1001810081,cheyo 
  4. 1001810082,pku 
  5. 1001810083,rocky 
  6. 1001810084,stephen 
  7. 2002820081,sql 
  8. 2002820082,hello 
  9. 2002820083,hijj 
  10. 3001810081,hhhhhhh 
  11. 3001810082,abbbbbb 

文本文件,DEFLATE压缩

  1. --创建一个表，格式为文件文件： 
  2. CREATE TABLE student_text_def (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS TEXTFILE; 
  7. --设置压缩类型为Gzip压缩 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.output.compress=true; 
  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec;  
  11. --导入数据： 
  12. INSERT OVERWRITE TABLE student_text_def SELECT * FROM student; 
  13. --查看数据 
  14. SELECT * FROM student_text_def; 

查看数据文件,可看到数据文件为多个.deflate文件。

  1. hdfs dfs -ls /user/hive/warehouse/student_text_def/ 
  2. -rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000000_0.deflate 
  3. -rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000001_0.deflate 
  4. -rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000002_0.deflate 

文本文件,Gzip压缩

  1. --创建一个表，格式为文件文件： 
  2. CREATE TABLE student_text_gzip (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS TEXTFILE; 
  7. --设置压缩类型为Gzip压缩 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.output.compress=true; 
  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 
  11. --导入数据： 
  12. INSERT OVERWRITE TABLE student_text_gzip SELECT * FROM student; 
  13. --查看数据 
  14. SELECT * FROM student_text_gzip; 

查看数据文件,可看到数据文件为多个.gz文件。解开.gz文件，可以看到明文文本：

  1. hdfs dfs -ls /user/hive/warehouse/student_text_gzip/ 
  2. -rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000000_0.gz 
  3. -rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000001_0.gz 
  4. -rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000002_0.gz 

文本文件,Bzip2压缩

  1. --创建一个表，格式为文件文件： 
  2. CREATE TABLE student_text_bzip2 (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS TEXTFILE; 
  7. --设置压缩类型为Bzip2压缩： 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.output.compress=true; 
  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec; 
  11. --导入数据 
  12. INSERT OVERWRITE TABLE student_text_bzip2 SELECT * FROM student; 
  13. --查看数据： 
  14. SELECT * FROM student_text_bzip2; 

查看数据文件,可看到数据文件为多个.bz2文件。解开.bz2文件，可以看到明文文本：

  1. hdfs dfs -ls /user/hive/warehouse/student_text_bzip2 
  2. -rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000000_0.bz2 
  3. -rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000001_0.bz2 
  4. -rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000002_0.bz2 

文本文件,lzo压缩

  1. --创建表 
  2. CREATE TABLE student_text_lzo (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS TEXTFILE; 
  7. --设置为LZO压缩 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.output.compress=true; 
  10. SET mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec; 
  11. --导入数据 
  12. INSERT OVERWRITE TABLE student_text_lzo SELECT * FROM student; 
  13. --查询数据 
  14. SELECT * FROM student_text_lzo; 

查看数据文件,可看到数据文件为多个.lzo压缩。解开.lzo文件，可以看到明文文本。

未实测,需要安装lzop库

文本文件,lz4压缩

  1. --创建表 
  2. CREATE TABLE student_text_lz4 (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS TEXTFILE; 
  7. --设置为LZ4压缩 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.output.compress=true; 
  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.Lz4Codec; 
  11. --导入数据 
  12. INSERT OVERWRITE TABLE student_text_lz4 SELECT * FROM student; 

查看数据文件,可看到数据文件为多个.lz4压缩。使用cat查看.lz4文件，可以看到是压缩后的文本。

  1. hdfs dfs -ls /user/hive/warehouse/student_text_lz4 
  2. -rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000000_0.lz4 
  3. -rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000001_0.lz4 
  4. -rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000002_0.lz4 

文本文件,Snappy压缩

  1. --创建表 
  2. CREATE TABLE student_text_snappy (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS TEXTFILE; 
  7. --设置压缩 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.compress.map.output=true; 
  10. SET mapred.output.compress=true; 
  11. SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 
  12. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 
  13. SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 
  14. --导入数据 
  15. INSERT OVERWRITE TABLE student_text_snappy SELECT * FROM student; 
  16. --查询数据 
  17. SELECT * FROM student_text_snappy; 

查看数据文件,可看到数据文件为多个.snappy压缩文件。使用cat查看.snappy文件，可以看到是压缩后的文本:

  1. hdfs dfs -ls /user/hive/warehouse/student_text_snappy 
  2. Found 3 items 
  3. -rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000000_0.snappy 
  4. -rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000001_0.snappy 
  5. -rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000002_0.snappy 

SEQUENCEFILE

Sequence文件,DEFLATE压缩

  1. --创建一个表，格式为文件文件： 
  2. CREATE TABLE student_seq_def (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS SEQUENCEFILE; 
  7. --设置压缩类型为Gzip压缩 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.output.compress=true; 
  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec;  
  11. --导入数据： 
  12. INSERT OVERWRITE TABLE student_seq_def SELECT * FROM student; 
  13. --查看数据 
  14. SELECT * FROM student_seq_def; 

查看数据文件,是一个密文的文件.

  1. hdfs dfs -ls /user/hive/warehouse/student_seq_def/ 
  2. -rw-r--r--  /user/hive/warehouse/student_seq_def/000000_0 

Sequence文件,Gzip压缩

  1. --创建一个表，格式为文件文件： 
  2. CREATE TABLE student_seq_gzip (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS SEQUENCEFILE; 
  7. --设置压缩类型为Gzip压缩 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.output.compress=true; 
  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 
  11. --导入数据： 
  12. INSERT OVERWRITE TABLE student_seq_gzip SELECT * FROM student; 
  13. --查看数据 
  14. SELECT * FROM student_seq_gzip; 

查看数据文件,是一个密文的文件，无法通过gzip解压：

  1. hdfs dfs -ls /user/hive/warehouse/student_seq_gzip/ 
  2. -rw-r--r--  /user/hive/warehouse/student_seq_gzip/000000_0 

RCFILE

RCFILE,Gzip压缩

  1. CREATE TABLE student_rcfile_gzip (id STRING, name STRING) 
  2. ROW FORMAT DELIMITED 
  3.     FIELDS TERMINATED BY ',' 
  4.     LINES TERMINATED BY '\n' 
  5. STORED AS RCFILE; 
  6.  
  7. --设置压缩类型为Gzip压缩 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.output.compress=true; 
  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 
  11. --导入数据： 
  12. INSERT OVERWRITE TABLE student_rcfile_gzip SELECT id,name FROM student; 
  13. --查看数据 
  14. SELECT * FROM student_rcfile_gzip; 

ORCFile

ORCFile有自己的参数设置压缩格式，一般不使用上述Hive参数设置压缩参数。

ORCFile,ZLIB压缩

  1. --创建表 
  2. CREATE TABLE student_orcfile_zlib (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS ORCFILE TBLPROPERTIES ("orc.compress"="ZLIB"); 
  7.  
  8. --导入数据 
  9. INSERT OVERWRITE TABLE student_orcfile_zlib SELECT id,name FROM student; 
  10. --查询数据 
  11. SELECT * FROM student_orcfile_zlib; 

ORCFILE,Snappy压缩

  1. --创建表 
  2. CREATE TABLE student_orcfile_snappy2 (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS ORCFILE TBLPROPERTIES ("orc.compress"="SNAPPY"); 
  7.  
  8. --导入数据 
  9. INSERT OVERWRITE TABLE student_orcfile_snappy2 SELECT id,name FROM student; 
  10. --查询数据 
  11. SELECT * FROM student_orcfile_snappy2; 

一般不使用下述方式。下述方式压缩后，结果与上述同类型压缩(SNAPPY)不同。具体原因待进一步研究。

  1. --创建表 
  2. CREATE TABLE student_orcfile_snappy (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS ORCFILE; 
  7. --设置压缩 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.compress.map.output=true; 
  10. SET mapred.output.compress=true; 
  11. SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 
  12. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 
  13. SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 
  14. --导入数据 
  15. INSERT OVERWRITE TABLE student_orcfile_snappy SELECT id,name FROM student; 
  16. --查询数据 
  17. SELECT * FROM student_orcfile_snappy; 

Parquet

Parquet,Snappy压缩

  1. --创建表 
  2. CREATE TABLE student_parquet_snappy (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS PARQUET; 
  7. --设置压缩 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.compress.map.output=true; 
  10. SET mapred.output.compress=true; 
  11. SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 
  12. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 
  13. SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 
  14. --导入数据 
  15. INSERT OVERWRITE TABLE student_parquet_snappy SELECT id,name FROM student; 
  16. --查询数据 
  17. SELECT * FROM student_parquet_snappy; 

Avro

Avro,Snappy压缩

  1. --创建表 
  2. CREATE TABLE student_avro_snappy (id STRING, name STRING) 
  3. ROW FORMAT DELIMITED 
  4.     FIELDS TERMINATED BY ',' 
  5.     LINES TERMINATED BY '\n' 
  6. STORED AS AVRO; 
  7. --设置压缩 
  8. SET hive.exec.compress.output=true; 
  9. SET mapred.compress.map.output=true; 
  10. SET mapred.output.compress=true; 
  11. SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 
  12. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 
  13. SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 
  14. --导入数据 
  15. INSERT OVERWRITE TABLE student_avro_snappy SELECT id,name FROM student; 
  16. --查询数据 
  17. SELECT * FROM student_avro_snappy; 

上一篇：XCTF联赛“出海计划”开启，八月新加坡站国际赛蓄势待发

下一篇：移动办公 黑白激光多功能一体机推荐

相关内容

热门资讯

PHP新手之PHP入门 PHP是一种易于学习和使用的服务器端脚本语言。只需要很少的编程知识你就能使用PHP建立一个真正交互的...
网络中立的未来 网络中立性是什... 《牛津词典》中对“网络中立”的解释是“电信运营商应秉持的一种原则，即不考虑来源地提供所有内容和应用的...
各种千兆交换机的数据接口类型详... 千兆交换机有很多值得学习的地方，这里我们主要介绍各种千兆交换机的数据接口类型，作为局域网的主要连接设...
粉嫩如何诠释霸道 东芝M805... “霸道粉”是个什么玩意东芝M805拿过来的时候，笔者扑哧笑了，不是笑这款笔记本，而是笑这款产品的颜色...
如何利用交换机和端口设置来管理... 在网络管理中，总是有些人让管理员头疼。下面我们就将介绍一下一个网管员利用交换机以及端口设置等来进行D...
什么是大数据安全 什么是大数据... 在《为什么需要大数据安全分析》一文中，我们已经阐述了一个重要观点，即：安全要素信息呈现出大数据的特征...
只需三步，让你掌握阿尔法路由器... 请参照以下阿尔法路由器设置方法，通过浏览器进入及设置宽带路由器。经过这三个步骤的设置，基本上能够熟悉...
如何更省钱? 近期特价热门硒鼓... 如今激光打印设备已经成为商务或企业的绝对主力办公设备，但采购者往往忽视了激光打印设备所用的耗材，相对...
全面诠释网络负载均衡 负载均衡的出现大大缓解了服务器的压力，更是有效的利用了资源，提高了效率。那么我们现在来说一下网络负载...
如何允许远程连接到MySQL数... [[277004]]【51CTO.com快译】默认情况下，MySQL服务器仅侦听来自localhos...