簡(jiǎn)述：
這是本人第一篇博文，因?yàn)樽约合胂蜃罱芑鸬娜斯ぶ悄?，大?shù)據(jù)，進(jìn)行靠攏。所以就從基本做起，掌握基本的python 的庫，像 pandas ,numpy 。水平有限大家見諒。
pandas 是基于NumPy 的一種工具，該工具是為了解決數(shù)據(jù)分析任務(wù)而創(chuàng)建的。Pandas 納入了大量庫和一些標(biāo)準(zhǔn)的數(shù)據(jù)模型，提供了高效地操作大型數(shù)據(jù)集所需的工具。pandas提供了大量能使我們快速便捷地處理數(shù)據(jù)的函數(shù)和方法。你很快就會(huì)發(fā)現(xiàn)，它是使Python成為強(qiáng)大而高效的數(shù)據(jù)分析環(huán)境的重要因素之一。(來自百度百科)
一.生成數(shù)據(jù)
最基礎(chǔ)的把不管你進(jìn)行大數(shù)據(jù)還是啥的首先你得先讀數(shù)據(jù)吧。
1.導(dǎo)入庫`

import numpy as np
import pandas as pd

2.讀入csv 或 xlsx 文件。

df = pd.DataFrame(pd.read_csv('name.csv',header=1))
df = pd.DataFrame(pd.read_excel('name.xlsx'))

1）關(guān)于 read_csv 這個(gè)文件有很多參數(shù)：
咱羅列一下
這是官網(wǎng)的數(shù)據(jù)

read_csv(filepath_or_buffer, sep=',', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, skiprows=None, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, skip_blank_lines=True, parse_dates=False, infer_datetime_format=False, keep_date_col=False, date_parser=None, dayfirst=False, iterator=False, chunksize=None, compression='infer', thousands=None, decimal=b'.', lineterminator=None, quotechar='"', quoting=0, escapechar=None, comment=None, encoding=None, dialect=None, tupleize_cols=None, error_bad_lines=True, warn_bad_lines=True, skipfooter=0, doublequote=True, delim_whitespace=False, low_memory=True, memory_map=False, float_precision=None)

官網(wǎng)原文鏈接：(http://pandas./pandas-docs/stable/io.html)
有點(diǎn)嚇人，但是別慌，我感覺常用的有幾個(gè)，總結(jié)一下。常用的有，`

（1）.filepath_or_buffer 文件的地址和名字`

df = pd.read_csv('mcup(6).CSV', sep=',',engine='python')

（2）sep 間隔。如果不使用參數(shù)，默認(rèn)用逗號(hào)分隔。有一個(gè)好用的間隔符
‘\s+’
正則表達(dá)式中\(zhòng)s匹配任何空白字符，包括空格、制表符、換頁符等等。
但是要分情況 。不一定‘\s+’ 好用。
（3）delimiter sep 會(huì)失效 pd.read_csv(path,sep='\s+',delimiter='\n'）sep 不會(huì)有作用

（4）delim_whitespace
delim_whitespace=True，分隔符我們就簡(jiǎn)化成了和sep=’\s+'一樣能處理各種常見分割符
(5) header 默認(rèn)為0 可為數(shù)字也可為list(列表) 沒有列名時(shí)要設(shè)成None
為列表時(shí)，就像[1,3]時(shí)是將第1行和第3行作為標(biāo)題，第2行就會(huì)跳過，并從第4行開始讀取數(shù)據(jù)
當(dāng)為0 時(shí)就是直接第一行為列名，第二行開始為數(shù)據(jù)，其他同理。 沒有列名時(shí)要設(shè)成None
第一行開始讀為數(shù)據(jù)。
我感覺差不多就這些，再用到別的看官網(wǎng)。
2） 關(guān)于read_excel()這個(gè)

pd.read_excel(io, sheet_name=0, header=0, names=None, index_col=None, 
              usecols=None, squeeze=False,dtype=None, engine=None, 
              converters=None, true_values=None, false_values=None, 
              skiprows=None, nrows=None, na_values=None, parse_dates=False, 
              date_parser=None, thousands=None, comment=None, skipfooter=0, 
              convert_float=True, **kwds)

在羅列幾個(gè)常用的：
（1）io Excel的存儲(chǔ)路徑

io = r'C:\Users\Administrator\Desktop\data.xlsx'  #這里的r是轉(zhuǎn)意。

data = pd.read_excel("io")

（2）sheet_name

工作表的名稱（中英文都行）。

data = pd.read_excel(io, sheet_name = 1)  #

還可以 sheet_name = “SheetN” S 要大寫 。代表第N個(gè)sheet
(3) header 和上面的類似：、
(4) names 重新進(jìn)行命名 ，像數(shù)據(jù)庫里的 As

df = pd.read_excel(io,sheet_name="2017" ,names =  ['year','day','month'])

假設(shè)之前的列名就會(huì)別改成 year day month 注意： names 里的個(gè)數(shù)一定要和列名個(gè)數(shù)一樣。
（5） index_col 用作索引的列

df = pd.read_excel(io,sheet_name="2017" ,index_col ="年")

以年作為用作索引的列``
（6） usecols 需要讀那些列 可以為整型

df = pd.DataFrame(pd.read_excel("Appendix 1.xls",sheet_name="2018", usecols = [1, 2, 3]))

意思就是讀1，2，3，行
(7)
nrows 讀取多少行。
差不多就這樣：

二.對(duì)讀取的信息進(jìn)行查看
1.看形狀 df.shape
2.基本信息df,info()
3.看格式df.dtype
4.看空值df.isnull()
5.看列名df.columns
6.看前十行df.head
7.看后十行df.tail
三.數(shù)據(jù)合并
1.用merge合并（注意：需指定鏈接鍵）

pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
         left_index=False, right_index=False, sort=True,
         suffixes=('_x', '_y'), copy=True, indicator=False,
         validate=None)

left 左面的DataFrame 對(duì)象
right 右面的DataFrame 對(duì)象
on 用來確定數(shù)據(jù)集合的主鍵

pd.merge(df1,df2,on = 'country')

left_on right_on用來指列名使不同的列明合并(注意 列名屬性必須相同)

df = pd.merge(df1,df2,left_on="country",right_on ="city")

how 是鏈接方式，默認(rèn)為inner
how:inner:取交集，outer:并集；left:參照左邊表格行，right:參照右邊表格行
2.concat 合并

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
keys=None, levels=None, names=None, verify_integrity=False, sort=None, copy=True)

axis =0 為默認(rèn)值，上下合并 axis =1 左右合并
join 同上
sort 網(wǎng)上說在大數(shù)據(jù)時(shí)不要用。

df = pd.concat([df1, df2, df3], axis=0, ignore_index=True)#

合并后重新索引。

3.join 合并 （默認(rèn)為外連接 outer）

df= pd.concat([df1, df2], axis=0, join='outer') 

默認(rèn)之下先是進(jìn)行列合并 ，有相同的列再行合并

四.數(shù)據(jù)清洗
1.處理缺失值
首先 isnull() 和 notnull 使用

df.isnull()
df.isnutnull()

對(duì)于缺失的值來說，我用的都是用0 或用平均值代替 或者直接刪除
1）用0代替df.fillna(0)
2) 用平均值代替

df ['prince']= df.fillna(df['price'].mean())

3)刪除df.dropna()

兩個(gè)返回的都是bool 型變量
2.重復(fù)值
df.duolicated() 這是找重復(fù)值的函數(shù)
df.drop_duplicates() 這是去掉重復(fù)值。
3.數(shù)據(jù)之間有空格（這個(gè)因?yàn)槲沂切“走€沒見過太多數(shù)據(jù)）
查看 df['名字'].value_counts()
3.去空格：
1）去兩邊的空格

df['name']=df['name'].map(str.strip)

2)去左邊的空格

    df['name']=df['name'].map(str.lstrip)

3)去右邊的空格

df['name']=df['name'].map(str.rstrip)

還有就是大小寫的轉(zhuǎn)換：

1） 全部變成大寫

df['name']=df['name'].map(str.upper)

2)全部變成小寫

df['name']=df['name'].map(str.lower)

3)首字母大寫

df['name']=df['name'].map(str.tittle)

4.檢驗(yàn)類型
1)檢驗(yàn)字符

df['name'].apply(lambda x: x.isalpha())

2)檢驗(yàn)字母

df['name'].apply(lambda x: x.isalpha())

3）檢驗(yàn)數(shù)字

df['name'].apply(lambda x: x.isalnum())

5.改數(shù)據(jù)類型

df['name']=df['name'].astype(np.int64)

6.數(shù)據(jù)替換

df['city'].replace('sh', 'shanghai')

五.數(shù)據(jù)分組
1.groupby 這學(xué)期在學(xué)數(shù)據(jù)庫，感覺很像數(shù)據(jù)庫老師說的pandas 和sql 很像，這個(gè)就是按什么分類。

對(duì)一個(gè)字段

df.groupby('country‘) .count()

對(duì)兩個(gè)字段

df.groupby(['name','country'])['id'].count()

六.數(shù)據(jù)篩選

這是最關(guān)鍵的至少我感覺（大佬勿噴）
1.直接

df['sum'] = df.apply(lambda x: x.sum(), axis=1) # 行求和，axis=1表示橫向

df.loc['sum'] = df.apply(lambda x: x.sum()) # loc獲取一整列的數(shù)據(jù)，對(duì)一列數(shù)據(jù)進(jìn)行求和

2.loc 行索引 以及篩選

print(df1.loc["1"])
aa=df1.loc[( df1['age'] > 1) & (df1['age'] < 10) ]
aa=df1.loc[( df1['age'] > 1) ].sort_values(['age'])

注意一定要是行標(biāo)簽

2 iloc獲取列索引

df1.iloc[0:len(df), 0:3]

0 到3 列 所有行

df_inner.iloc[:3,:2] #冒號(hào)前后的數(shù)字不再是索引的標(biāo)簽名稱，而是數(shù)據(jù)所在的位置，從0開始，前三行，前兩列。

3.重新設(shè)置索引

df.reset_index()

4.isin 的簡(jiǎn)單應(yīng)用

df['city'].isin(['beijing'])

也可取反
5.
contains的簡(jiǎn)單應(yīng)用

  df = df[~df["名字"].str.contains("王")]   #找到名字中沒有王的那個(gè)人
  new_df_object = old_df_object[old_df_object.name.str.contains(r'.*?中國.*')]  #  參考的

也可正則化，下一次打算系統(tǒng)總結(jié)一下正則化

七.常用操作
刪除一行，axis 指軸
df1.drop(‘列名’, axis=1)
標(biāo)準(zhǔn)差：

df['price'].std()

協(xié)方差

df['price'].cov(df['m-point'])

兩個(gè)字段的相關(guān)性分析

df['price'].corr(df_i['m-point']）

寫入文件

df.to_csv('example.csv') 
df.to_excel('python.xlsx', sheet_name='love')

大體操作，當(dāng)然我也只是一個(gè)’小學(xué)生’,剛剛?cè)腴T，所以會(huì)有理解的偏差，希望大家多多指教。我們共同進(jìn)步。