常用的存储格式
来源:千锋教育
发布人:qyf
2022-12-07
推荐
在线提问>>
TextFile
默认格式，按行存储，可以压缩但压缩文件不支持分片，反序列化开销是SequenceFile的几十倍(需要判断分隔符和换行符)
SequenceFile
hadoop原生支持，将kv以二进制方式按行存储，压缩后的文件支持压缩。默认以record压缩，可以改为block性能更好。压缩率很低，查询速度一般。
RCFile
按行分块、按列存储的存储方式，反序列化速度较慢，但压缩率和查询速度最快。
ORC file
RC的改良版，每个Task输出单文件、存储索引、支付复杂类型、支持块压缩、可以直接读取，ORC比RC高效很多。
Parquet
列式存储，是spark的默认存储格式，压缩和查询性能比ORC稍差，但是支持的编码更多，而且对嵌套式结构支持的更好(json)。
因此对结构化数仓来说ORC file格式更好，对灵活的spark作业来说Parquet格式更好。
下一篇大数据之回文数
