不得不说DataFrame现在很火,已经有很多库都是基于DataFrame写的,而且它用起来也很方便,读excel只需要一行代码,起使用xlrd的日子,至今还脑壳疼,所以对于一个用python做数据处理的人来说,pandas是必须要了解的。对于一个数据处理工具来说,读写是最基本的,下面是我最近整理的关于pandas一些基本本操作,主要包括以下内容:
开始前先引入两个库
import pandas as pdimport numpy as np
data={"one":np.random.randn(4),"two":np.linspace(1,4,4),"three":['zhangsan','李四',999,0.1]}df=pd.DataFrame(data,index=[1,2,3,4])
set_index
、reset_index
、reindex
。set _index
用于将df中的一行或多行设置为索引。df.set_index(['one'],drop=False)
ordf.set_index('one)
df.set_index(['one','two'])
df.index=['a','b','c','d']
reset_index
用于将索引还原成默认值,即从0开始步长为1的数组。df.reset_index(drop=True)
drop
默认值为False
,意为将原来的索引做为数据列保留,如果设为True
,原来的索引会直接删除。reindex
比较复杂,也不常用到,这里是基础篇,不做大量说明,感兴趣的朋友可以看官方文档data=np.random.randn(6,4)#创建一个6行4列的数组df=pd.DataFrame(data,columns=list('ABCD'),index=[1,2,'a','b','2006-10-1','第六行'])
pd.DataFrame(columns=('id','name','grade','class'))
为了便于理解,以下面DataFrame为例,对其读写操作展开说明:
方法1:df.列名
该方法每次只能读取一列。
df['列名']
or df[['列名']]
、df[['列名1','列名2','列名n']]
df['A']
和 df[['A']]
都能读取第一列数据,但它们的返回结果是不同的,这里的不同指的是数据结构的不同,感兴趣的朋友可以用type(df['A']),type(df[['A']])
查看。.iloc[:,colNo]
or .iloc[:,colNo1:colNo2]
.iloc
方法可以让我们通过列号索引数据,具体如下:df.iloc[:1]
读取第一列df.iloc[:,1:3]
读取第1列到第3列df.iloc[:,2:]
读取第2列之后的数据df.iloc[:,:3]
读取前3列数据方法1:.loc['行标签']
or.loc[['行标签']]
、.loc[['行标签1','行标签2','行标签n']]
.loc
根据行标签索引数据,这里的行标签可以理解为索引(没有深入研究,但是在这里,行标签=索引),比如我们要分别读取第1行和第3行就是df[[1]]
、df[['a']]
,如果该df的索引变为['a', 'b', 'c', 'd', 'e', 'f']
,分别读取第1行和第3行的操作将变成df[['a']]
,df[['c']]
,也就是说.loc
后面的'行标签'
必须在索引中。
df.loc[[1]]
和df.loc[1]
返回结果的值相同,但数据结构有差异.iloc['行号']
or.iloc[['行号']]
、.iloc[['行号1','行号2','行号n']]
.iloc
根据行号索引数据,行号是固定不变的,不受索引变化的影响,如果df的索引是默认值,则.loc和.iloc的用法没有区别,因为此时行号和行标签相同。df.loc[1]
和df.iloc[1]
读到的内容是不一样的,df.loc[1]
读取的是索引号为1的那一行,df.iloc[1]
读取的是第1行。.iloc
可以通过切片的方式读取数据,所谓切片就是给出要读数据的首尾位置,然后读取首尾中间这“一片”数据(个人理解,可能理解的不对或比较片面,对此有疑惑的朋友请自行查阅相关资料)比如我们要读取第1行到第4行的数据,利用切片的方法就是df.iloc[1:5]df.iloc[:5]
,读取第0行到第4行的数据;df.iloc[8:]
,读取第8行后所有数据,包括第8行;df.iloc[3,6]
,读取第3行到第6行的数据,包括第3行但不包括第6行。.ix
df.ix[[1]]
可以认为是要读第1行,也可以认为要读索引为1的那一行,此时就产生了冲突,可以看到此时pandas认为df.ix[[1]]
读的是索引为1的那一行,如果用索引外的标签检索就会报错,而df.ix[1]
被认为是第1行,此时df.ix[1]
和df.ix[[1]]
读到的不是同一行数据。['a', 'b', 'c', 'd', 'e', 'f']
再进行上面的操作df.ix[5]
和df.ix[[5]]
读到的是同一行数据。loc
,iloc
,ix
的区别如下:loc
通过索引标签读取数据;iloc
通过行号读取数据;ix
既可以通过行号读取数据,也可以通过索引标签读取数据,但是当索引为数字且不从0开始时,有两种情况:.ix[['列标签']]
,.ix[行号]
。at
、iat
at
、iat
这里就不做介绍了,因为上面的方法完全够用了,感兴趣的话可以看官方文档。.loc
,.iloc
完全可以满足DataFrame的读取操作,所以ix
,at
,iat
并不推荐使用。方法1:df[col][row]
读取一个单元格的数据时推荐使用,也可以写成df.col[row]
.loc
df.loc[row][col]
或df.loc[row,col]
df.loc[row][[col1,col2]]
df.loc[1,[col1,col2]]
df.loc[row][firstCol:endCol]
df.loc[row,firstCol:endCol]
df.loc[[row1,row2]][col]
df.loc[[row1,row2]].col
df.loc[[row1,row2],col]
df.loc[[row1,row2],[col1,col2]]
df.loc[[row1,row2]][[col1,col2]]
df.loc[[row1,row3],firstCol:endCol]
loc
不支持行号切片索引。.iloc
df.iloc[rowNo].col
df.iloc[rowNo][col]
df.iloc[rowNo,colNo]
df.iloc[rowNo,col]
不支持。df.iloc[rowNo,firestColNo,endColNo]
df.iloc[rowNo][[col1,col2]]
df.iloc[rowNo][firesCol:endCol]
df.iloc[rowNo,[col1,col2]]
,df.iloc[rowNo,firstColNo:endColNo]
均不支持。df.iloc[[rowNo1,rowNo2],colNo]
df.iloc[firstRowNo:endRowNo,colNo]
df.iloc[[rowNo1,rowNo2]][col]
df.iloc[firstRowNo,endRowNo][col]
df.iloc[firstRowNo:endRowNo,firstColNo:endColNo]
df.iloc[[RowNo1,RowNo2],[ColNo1,ColNo2]]
df.iloc[firstRowNo:endRowNo][[col1,col2]]
.ix
df.ix[firstRow/firstRowNo:endRow/endRowNo,firstCol/firstColNo:endCol/endColNo]
df.ix[[row1/rowNo1,row2,rowNo2],[col1/colNo1,col2,colNo2]]
at
,iat
df.col=colList/colValue
df[col]=colList/colValue
df.A=[1,2,3,4,5,6]
,df['A']=0
df.loc[row]=rowList
df.loc[row]=rowValue
df.loc[[row1,row2],[col1,col2]]=value/valueList
df.iloc[[rowNo1,rowNo2],[colNo1,colNo2]]=value/valueList
df.iloc[[rowNo1,rowNo2]][[col1,col2]]=value/valueList
df.ix[firstRow:endRow,firstCol:endCol]=value/valueList
ps:DataFrame的读写操作是多变的,这里也仅仅列出了几种常用的方法,熟练一种方式即可。
以下面DataFrame为例展开说明
insert(ioc,column,value)ioc:要插入的位置colunm:列名value:值
row={'one':111,'two':222,'three':333}df.loc[1]=row ordf.iloc[1]=row or df.ix[1]=row or
如果插入一行或一列,用上面的方法把插入位置改为末尾即可,下面给出插入多行多列的方法。
pandas.concat(objs, axis=0, join_axes=None, ignore_index=False)objs:合并对象axis:合并方式,默认0表示按列合并,1表示按行合并ignore_index:是否忽略索引
有df1和df2定义如下:
drop(labels, axis=0, level=None, inplace=False)lables:要删除数据的标签axis:0表示删除行,1表示删除列,默认0inplace:是否在当前df中执行此操作
后记:关于pandas的基本操作就写到这里了,关于以上内容如果有什么问题可以通过邮件联系博主,水平有限,请大家批评指正。
后面如果有机会,我会写关于DataFrame更进一步的操作,我也不知道会不会写,能写多少,先附上地址pandas进阶:DataFrame高级操作
联系客服