python读取hdfs并返回dataframe教程
不多说，直接上代码
fromhdfsimportClient
importpandasaspd
HDFSHOST="http://xxx:50070"
FILENAME="/tmp/preprocess/part-00000"#hdfs文件路径
COLUMNNAMES=[xx']
defreadHDFS():
'''
读取hdfs文件
Returns：
df:dataframehdfs数据
'''
client=Client(HDFSHOST)
#目前读取hdfs文件采用方式：
#1.先从hdfs读取二进制数据流文件
#2.将二进制文件另存为.csv
#3.使用pandas读取csv文件
withclient.read(FILENAME)asfs:
content=fs.read()
s=str(content,'utf-8')
file=open("data/tmp/data.csv","w")
file.write(s)
df=pd.read_csv("data/tmp/data.csv",names=COLUMNNAMES)
returndf
补充知识：Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV
1.目标
通过hadoophive或spark等数据计算框架完成数据清洗后的数据在HDFS上
爬虫和机器学习在Python中容易实现
在Linux环境下编写Python没有pyCharm便利
需要建立Python与HDFS的读写通道
2.实现
安装Python模块pyhdfs
版本:Python3.6,hadoop2.9
读文件代码如下
frompyhdfsimportHdfsClient
client=HdfsClient(hosts='ghym:50070')#hdfs地址
res=client.open('/sy.txt')#hdfs文件路径,根目录/
forrinres:
line=str(r,encoding='utf8')#open后是二进制,str()转换为字符串并转码
print(line)
写文件代码如下
frompyhdfsimportHdfsClient
client=HdfsClient(hosts='ghym:50070',user_name='hadoop')#只有hadoop用户拥有写权限
str='helloworld'
client.create('/py.txt',str)#创建新文件并写入字符串
上传本地文件到HDFS
frompyhdfsimportHdfsClient
client=HdfsClient(hosts='ghym:50070',user_name='hadoop')
client.copy_from_local('d:/pydemo.txt','/pydemo')#本地文件绝对路径,HDFS目录必须不存在
3.读取文本文件写入csv
Python安装pandas模块
确认文本文件的分隔符
#pyhdfs读取文本文件,分隔符为逗号,
frompyhdfsimportHdfsClient
client=HdfsClient(hosts='ghym:50070',user_name='hadoop')
inputfile=client.open('/int.txt')
#pandas调用读取方法read_table
importpandasaspd
df=pd.read_table(inputfile,encoding='gbk',sep=',')#参数为源文件,编码,分隔符
#数据集to_csv方法转换为csv
df.to_csv('demo.csv',encoding='gbk',index=None)#参数为目标文件,编码,是否要索引
以上这篇python读取hdfs并返回dataframe教程就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。