Hadoop文件的存储格式实例详解
sequence文件存储格式
1.txt
纯文本格式，若干行记录。默认用字符编码存储
2.SequenceFile格式（顺序文件格式，可进行切割）
key-value格式进行存储，最终形成的是一个二进制文件，需用hadoop提供的api进行写入存储。
编写写入seq文件案例。
Configurationconfiguration=newConfiguration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystemfileSystem=FileSystem.get(configuration);
Pathpath=newPath("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Writerwriter=SequenceFile.createWriter(fileSystem,configuration,path,IntWritable.class,Text.class);
writer.append(newIntWritable(1),newText("gg1"));
writer.append(newIntWritable(1),newText("gg2"));
writer.append(newIntWritable(1),newText("gg3"));
writer.append(newIntWritable(1),newText("gg4"));
writer.close();
3.编写读取seq文件案例
Configurationconfiguration=newConfiguration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystemfileSystem=FileSystem.get(configuration);
Pathpath=newPath("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Readersr=newSequenceFile.Reader(fileSystem,path,configuration);
IntWritablekey=newIntWritable();
Textvalue=newText();
while(sr.next(key,value)){
System.out.println(key+":"+value);
}
4.查看文件内容
$>hdfsdfs-text/user/myfile.seq $>hdfsdfs-cat/user/myfile.seq（此命令查看会出现乱码）
seq文件格式解析
顺序文件由文件头和随后的一条或多条记录组成
---文件头------ --key-value----sync --key-value---- --key-value---- --key-value---- --key-value----sync --key-value---- --key-value---- --key-value----sync
文件头格式
SEQ+版本号+key类型class+value类型class+压缩格式类型
代码案例
/**
*读取文件位置
*/
publicvoidseekSeq()throwsIOException{
Configurationconfiguration=newConfiguration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystemfileSystem=FileSystem.get(configuration);
Pathpath=newPath("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Readersr=newSequenceFile.Reader(fileSystem,path,configuration);
IntWritablekey=newIntWritable();
Textvalue=newText();
sr.seek(253);//定位到第253字节的位置，告诉指针下一次要定位的位置。
sr.next(key,value);//定位到第253字节的位置，并取出相应的值。
System.out.println(key+":"+value);
sr.close();
}
/**
*读取seqfile同步点
*/
publicvoidsync()throwsIOException{
/**
*-----文件头-------
128byte*--key-value----sync
153byte*--key-value----
.*--key-value----
.*--key-value----
.*--key-value----sync
*--key-value----
*--key-value----
*--key-value----sync
*/
Configurationconfiguration=newConfiguration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystemfileSystem=FileSystem.get(configuration);
Pathpath=newPath("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Readersr=newSequenceFile.Reader(fileSystem,path,configuration);
IntWritablekey=newIntWritable();
Textvalue=newText();
intsyncPos=12;
sr.sync(syncPos);//如上图在写入文件的时候可一指定多少条记录写入一个同步点
longpos=sr.getPosition();//获取下次要定位的字节位置。
sr.next(key,value);
System.out.println("syncPos:"+syncPos+"pos:"+pos+"key:"+key+"value:"+value);
}
MapFile文件格式
1.是排序的seqfie，具有索引。要求key按照大小顺序添加
2.包含两个文件
- index文件：索引和偏移量的映射，可以设置间隔，默认128（解释：第128key位置--->第256字节指存入128个key对应的第128key的末尾位置是第128字节的位置。）
- data文件：存放真实的数据。格式为key-value。和seqfile文件类似
总结
以上所述是小编给大家介绍的Hadoop文件的存储格式实例详解，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！