Python读取数据集并消除数据中的空行方法
如下所示：
#-*-coding:utf-8-*-
#@authorhulei2016-5-3
fromnumpyimport*
importoperator
fromosimportlistdir
importsys
reload(sys)
sys.setdefaultencoding('utf8')
#x,y=getDataSet_dz('iris.data.txt',4)
defgetDataSet(filename,numberOfFeature):#将数据集读入内存
fr=open(filename)
numberOfLines=len(fr.readlines())#getthenumberoflinesinthefilefile.readlines()是把文件的全部内容读到内存，并解析成一个list
returnMat=zeros((numberOfLines,numberOfFeature))#preparematrixtoreturn3代表数据集中特征数目###
classLabelVector=[]#preparelabelsreturn
fr=open(filename)
index=0
forlineinfr.readlines():
line=line.strip()#strip()参数为空时，默认删除空白符（包括'\n','\r','\t','')
listFromLine=line.split(',')#split以什么为标准分割一次分成数组中的每个元素
returnMat[index,:]=listFromLine[0:numberOfFeature]
#classLabelVector.append(int(listFromLine[-1]))#append()方法向列表的尾部添加一个新的元素
iflistFromLine[-1]=='Iris-setosa':
classLabelVector.append(1)
eliflistFromLine[-1]=='Iris-versicolor':
classLabelVector.append(2)
else:
#eliflistFromLine[-1]=='Iris-virginica':
classLabelVector.append(3)
index+=1
returnreturnMat,classLabelVector
defgetDataSet_dz(filename,numberOfFeature):#改进版，可以消除数据中的空白行
numberOfLines=0
mx=[]#将数据集去除空行后存入
fr=open(filename)
forlineinfr.readlines():
line=line.strip()
ifline!='':#去除空白行
numberOfLines+=1
mx.append(line.split(','))
returnMat=zeros((numberOfLines,numberOfFeature))
classLabelVector=[]
forindexinrange(numberOfLines):
returnMat[index,:]=mx[index][0:numberOfFeature]
ifmx[index][-1]=='Iris-setosa':
classLabelVector.append(1)
elifmx[index][-1]=='Iris-versicolor':
classLabelVector.append(2)
else:
#eliflistFromLine[-1]=='Iris-virginica':
classLabelVector.append(3)
returnreturnMat,classLabelVector
以上这篇Python读取数据集并消除数据中的空行方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。