Python pandas alapok

 Python Pandas alapok

# Import

2

import pandas as pd

3

​

In [3]:

1

## csv olvasás + írás

2

user = pd.read_csv('ugyfelcsv1.csv', header=None, nrows=5)  ## csv-ből olvasás, nincs fejlécsor, az első 5 sort

3

user                                                        ## megjelenítés

4

user.to_csv('ugyfelcsv1_kimenet.csv')                       ## csv-be mentés

5

​

6

​

In [36]:

1

## xls olvasás + írás

2

xlsx = pd.ExcelFile('telepules.xlsx')                      ## xls-ből olvasás

3

df = pd.read_excel(xlsx,  'telepules')                     ## aktív munkalap kijelőlése

4

df                                                         ## megjelenítés

5

#df.to_excel('telepules_kimenet.xlsx',  sheet_name='Tel')   ## xls-be mentés

6

​

7

​

Out[36]:

	helyseg	lakos
0	Debrecen	204333
1	Miskolc	162905
2	Szeged	161837
3	Pécs	147719
4	Budapest 11. ker.	144599
...	...	...
3171	Felsőszenterzsébet	17
3172	Tornakápolna	15
3173	Tornabarakony	14
3174	Gagyapáti	13
3175	Iborfia	9

3176 rows × 2 columns

In [38]:

1

## alap infok (pandas)

2

print('Sor, oszlop szám' ,df.shape)  ## sor és oszlopszám kiírása

3

print('index', df.index)

4

print('Oszlop nevek', df.columns)

5

print('ifo',df.info())

6

print('count',df.count())

7

print('cumsum', df.cumsum())

8

print('describe',df.describe())

9

print('Elemi egyedi értékek',df['helyseg'].unique())      

10

print('Elemi értékek száma',df['helyseg'].nunique()) 

11

​

12

​

Sor, oszlop szám (3176, 2)
index RangeIndex(start=0, stop=3176, step=1)
Oszlop nevek Index(['helyseg', 'lakos'], dtype='object')
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3176 entries, 0 to 3175
Data columns (total 2 columns):
 #   Column   Non-Null Count  Dtype 
---  ------   --------------  ----- 
 0   helyseg  3176 non-null   object
 1   lakos    3176 non-null   int64 
dtypes: int64(1), object(1)
memory usage: 49.8+ KB
ifo None
count helyseg    3176
lakos      3176
dtype: int64
cumsum                                                 helyseg    lakos
0                                              Debrecen   204333
1                                       DebrecenMiskolc   367238
2                                 DebrecenMiskolcSzeged   529075
3                             DebrecenMiskolcSzegedPécs   676794
4            DebrecenMiskolcSzegedPécsBudapest 11. ker.   821393
...                                                 ...      ...
3171  DebrecenMiskolcSzegedPécsBudapest 11. ker.Győr...  9908747
3172  DebrecenMiskolcSzegedPécsBudapest 11. ker.Győr...  9908762
3173  DebrecenMiskolcSzegedPécsBudapest 11. ker.Győr...  9908776
3174  DebrecenMiskolcSzegedPécsBudapest 11. ker.Győr...  9908789
3175  DebrecenMiskolcSzegedPécsBudapest 11. ker.Győr...  9908798

[3176 rows x 2 columns]
describe                lakos
count    3176.000000
mean     3119.898615
std     11263.585339
min         9.000000
25%       345.750000
50%       837.000000
75%      1965.250000
max    204333.000000
Elemi egyedi értékek ['Debrecen' 'Miskolc' 'Szeged' ... 'Tornabarakony' 'Gagyapáti' 'Iborfia']
Értékek száma 3176

In [6]:

1

# df.rank()

2

df.sort_values(by='lakos') 

3

df[df['lakos']>10000000]

4

print(df[1:3])

5

print('-----------')

6

print(df.loc[4][0])

7

print('-----------')

8

print(df.iloc[2])

9

print('-----------')

10

print(df.loc[3][0])

11

​

12

​

13

​

   helyseg   lakos
1  Miskolc  162905
2   Szeged  161837
-----------
Budapest 11. ker.
-----------
helyseg    Szeged
lakos      161837
Name: 2, dtype: object
-----------
Pécs

In [7]:

1

## Text állományok megnyítása (csv: ,)

2

user_1 = pd.read_csv("ugyfelcsv1.csv")

3

user_2 = pd.read_csv("ugyfelcsv2.csv")

4

​

5

​

In [15]:

1

# user = pd.read_csv('ugyfelcsv11.txt', sep='\t', lineterminator='\r')  ## TAB szeperát

2

user = pd.read_csv('ugyfelcsv11.txt', sep=';', lineterminator='\r')  ## pontosvesszővel szeperát

3

user

4

​

5

​

Out[15]:

	ugyfel_id	vnev	knev	szdatum	nem
0	1	Walter	Gwendolyn	1954-07-10	M
1	2	Armstrong	Kieran	1932-02-24	M
2	3	Kline	Silas	1938-07-16	M
3	4	Gallagher	Rhoda	1972-10-28	M
4	5	Gallagher	Robin	1940-02-02	M
5	6	Frank	Blair	1977-12-19	M
6	7	Cash	Vaughan	1989-04-06	M
7	8	Shields	Charissa	1926-03-25	F
8	9	Brown	Inga	1942-04-18	F
9	10	Crawford	Glenna	1969-05-14	F

In [9]:

1

# user_1.head()  # csak első négy sor megjelenítése

2

user_1

3

​

4

​

Out[9]:

	ugyfel_id	vnev	knev	szdatum	nem
0	1	Walter	Gwendolyn	1954-07-10	M
1	2	Armstrong	Kieran	1932-02-24	M
2	3	Kline	Silas	1938-07-16	M
3	4	Gallagher	Rhoda	1972-10-28	M
4	5	Gallagher	Robin	1940-02-02	M
5	6	Frank	Blair	1977-12-19	M
6	7	Cash	Vaughan	1989-04-06	M
7	8	Shields	Charissa	1926-03-25	F
8	9	Brown	Inga	1942-04-18	F
9	10	Crawford	Glenna	1969-05-14	F

In [10]:

1

## charset beállítás utánni megnyítás

2

import codecs

3

doc = codecs.open('ugyfelcsv11.txt','rU','UTF-8') ## open for reading with "universal" type set

4

user_1 = pd.read_csv(doc, sep=';')

5

user_1

6

​

7

​

Out[10]:

	ugyfel_id	vnev	knev	szdatum	nem
0	1	Walter	Gwendolyn	1954-07-10	M
1	2	Armstrong	Kieran	1932-02-24	M
2	3	Kline	Silas	1938-07-16	M
3	4	Gallagher	Rhoda	1972-10-28	M
4	5	Gallagher	Robin	1940-02-02	M
5	6	Frank	Blair	1977-12-19	M
6	7	Cash	Vaughan	1989-04-06	M
7	8	Shields	Charissa	1926-03-25	F
8	9	Brown	Inga	1942-04-18	F
9	10	Crawford	Glenna	1969-05-14	F

In [17]:

1

# user_dada.rename(columns={"ugyfel_id": "ID"}, inplace=True)  ## fejléc átnevezése, ha szükséges lenne

2

user_2.head()  ## csak első őt sor 

3

​

4

​

Out[17]:

	ugyfel_id	igazolvanytipus_id	igazolvanyszam
0	3	J	YLHVLF29
1	4	J	SIDNEE06
2	5	SZ	DUSUNF64
3	6	UL	ENBNYK36
4	7	UL	PFOTXW50

In [18]:

1

# user_id.rename(columns={"ugyfel_id": "ID"}, inplace=True)

2

user_2.head(10)

3

​

4

​

Out[18]:

	ugyfel_id	igazolvanytipus_id	igazolvanyszam
0	3	J	YLHVLF29
1	4	J	SIDNEE06
2	5	SZ	DUSUNF64
3	6	UL	ENBNYK36
4	7	UL	PFOTXW50
5	8	J	MMRDLZ25
6	9	SZ	SKCMWG34
7	10	UL	VUKMBG65
8	11	SZ	NCGJMG03
9	12	SZ	LZQSRL48

---

Két forrás tartalmának automatikus összekapcsolása 0.

Kapcsolás automatikusan a kulcs mező szerint történik

Amikor több táblában is tárolunk adatokat, és előfordulhat olyan, hogy az egyes táblák adatainak önmagában semmilyen értelme nincsen.

A megoldás keresés közben általában előjön, hogy egy másik táblázatban vannak olyan adatok amelyek segítenek az adatok hasznosulásában, de ehez a táblázatokat össze kell kapcsolni, ezt hívjuk merging -nek, azaz összeolvadásnak.

A panda dataframe .merge metódus a közös oszlopokat keresi a paraméterben megadott táblákban, majd ezek után egy új táblában a különböző sorokat ötvözi.

new_df = pd.merge(orders, costumers)

Szerencsére minden DataFrame-nek van merge metódusa, így ha több táblát is össze akarunk olvasztani, akkor ezeket tudjuk láncolatban használni.

new_df = orders.merge(customers).merge(products)

---

In [22]:

1

result = pd.merge(user_1, user_2, how='left')

2

result

3

​

4

​

Out[22]:

	ugyfel_id	vnev	knev	szdatum	nem	igazolvanytipus_id	igazolvanyszam
0	1	Walter	Gwendolyn	1954-07-10	M	NaN	NaN
1	2	Armstrong	Kieran	1932-02-24	M	NaN	NaN
2	3	Kline	Silas	1938-07-16	M	J	YLHVLF29
3	4	Gallagher	Rhoda	1972-10-28	M	J	SIDNEE06
4	5	Gallagher	Robin	1940-02-02	M	SZ	DUSUNF64
5	6	Frank	Blair	1977-12-19	M	UL	ENBNYK36
6	7	Cash	Vaughan	1989-04-06	M	UL	PFOTXW50
7	8	Shields	Charissa	1926-03-25	F	J	MMRDLZ25
8	9	Brown	Inga	1942-04-18	F	SZ	SKCMWG34
9	10	Crawford	Glenna	1969-05-14	F	UL	VUKMBG65

In [35]:

1

## jelőlő bekapcsolása

2

#print(pd.merge(user_1, user_2, right_index=True, left_index=True).head())

3

#print('-----------------')

4

#print(pd.merge(user_1, user_2,  how='left', suffixes=('_left', '_right')).head())

5

pd.merge(user_1, user_2, right_index=True, left_index=True).head()

6

​

7

​

8

​

Out[35]:

	ugyfel_id_x	vnev	knev	szdatum	nem	ugyfel_id_y	igazolvanytipus_id	igazolvanyszam
0	1	Walter	Gwendolyn	1954-07-10	M	3	J	YLHVLF29
1	2	Armstrong	Kieran	1932-02-24	M	4	J	SIDNEE06
2	3	Kline	Silas	1938-07-16	M	5	SZ	DUSUNF64
3	4	Gallagher	Rhoda	1972-10-28	M	6	UL	ENBNYK36
4	5	Gallagher	Robin	1940-02-02	M	7	UL	PFOTXW50

---

Két forrás tartalmának összekapcsolása 1.

Kapcsolás az ugyfel_id kulcs mező szerint történik

---

In [13]:

1

result = pd.merge(user_1,

2

                 user_2[['ugyfel_id', 'igazolvanyszam']], ## hozzáfűzési mezők, az első a kulcs mező

3

                 on='ugyfel_id',                          ## kulcs mező a kapcsoláshoz (azonos nevüek legyenek)

4

                 how='left',                              ## Kapcsolat módja (left, right, outer, inner)

5

                 indicator=True                           ## jelző újmezőben megjelenítése                   

6

                 )

7

result.head(10)

8

​

9

​

10

​

Out[13]:

	ugyfel_id	vnev	knev	szdatum	nem	igazolvanyszam	_merge
0	1	Walter	Gwendolyn	1954-07-10	M	NaN	left_only
1	2	Armstrong	Kieran	1932-02-24	M	NaN	left_only
2	3	Kline	Silas	1938-07-16	M	YLHVLF29	both
3	4	Gallagher	Rhoda	1972-10-28	M	SIDNEE06	both
4	5	Gallagher	Robin	1940-02-02	M	DUSUNF64	both
5	6	Frank	Blair	1977-12-19	M	ENBNYK36	both
6	7	Cash	Vaughan	1989-04-06	M	PFOTXW50	both
7	8	Shields	Charissa	1926-03-25	F	MMRDLZ25	both
8	9	Brown	Inga	1942-04-18	F	SKCMWG34	both
9	10	Crawford	Glenna	1969-05-14	F	VUKMBG65	both

Nézzük egy érték vizsgálatot.

In [89]:

1

print("user_1 shape: {}".format(user_1.shape))

2

print("user_2 shape: {}".format(user_2.shape))

3

​

4

​

5

​

user_1 dimensions: (10, 5)
user_2 dimensions: (10, 3)

In [90]:

1

# Azonositó benn foglalás ellenőrzése

2

user_1['ugyfel_id'].isin(user_2['ugyfel_id']).value_counts()

3

​

4

​

Out[90]:

True     8
False    2
Name: ugyfel_id, dtype: int64

---

Két forrás tartalmának összekapcsolása 2.

Kapcsolás az ugyfel_id kulcs mező szerint történik, de itt korréten megadjuk a kapcsolódo mezők nevét.

---

In [19]:

1

result = pd.merge(user_1,

2

                 user_2[['igazolvanytipus_id', 'ugyfel_id']], ## hozzáfűzési mezők // nem az első a kulcs mező

3

                 left_on='ugyfel_id', right_on='ugyfel_id',   ## kulcs mezők konkrét megadása a kapcsoláshoz (eltérő nevüek)

4

                 how='outer',                                 ## Kapcsolat módja left

5

                 indicator=True                               ## jelző újmezőben megjelenítése                   

6

                 )

7

result.head(12)      ## első 12 sor megjelenítése (most összesen ennyi van)

8

​

9

​

10

​

Out[19]:

	ugyfel_id	vnev	knev	szdatum	nem	igazolvanytipus_id	_merge
0	1	Walter	Gwendolyn	1954-07-10	M	NaN	left_only
1	2	Armstrong	Kieran	1932-02-24	M	NaN	left_only
2	3	Kline	Silas	1938-07-16	M	J	both
3	4	Gallagher	Rhoda	1972-10-28	M	J	both
4	5	Gallagher	Robin	1940-02-02	M	SZ	both
5	6	Frank	Blair	1977-12-19	M	UL	both
6	7	Cash	Vaughan	1989-04-06	M	UL	both
7	8	Shields	Charissa	1926-03-25	F	J	both
8	9	Brown	Inga	1942-04-18	F	SZ	both
9	10	Crawford	Glenna	1969-05-14	F	UL	both
10	11	NaN	NaN	NaN	NaN	SZ	right_only
11	12	NaN	NaN	NaN	NaN	SZ	right_only

---

Két forrás tartalmának összekapcsolása 3.

Kapcsolás az ugyfel_id kulcs mező szerint történik, de átnevezést is végzünk.

---

In [29]:

1

result = pd.merge(user_1, user_2, on='ugyfel_id', how='left', suffixes=('_left', '_right'))

2

result.head(12)  

3

​

4

​

Out[29]:

	ugyfel_id	vnev	knev	szdatum	nem	igazolvanytipus_id	igazolvanyszam
0	1	Walter	Gwendolyn	1954-07-10	M	NaN	NaN
1	2	Armstrong	Kieran	1932-02-24	M	NaN	NaN
2	3	Kline	Silas	1938-07-16	M	J	YLHVLF29
3	4	Gallagher	Rhoda	1972-10-28	M	J	SIDNEE06
4	5	Gallagher	Robin	1940-02-02	M	SZ	DUSUNF64
5	6	Frank	Blair	1977-12-19	M	UL	ENBNYK36
6	7	Cash	Vaughan	1989-04-06	M	UL	PFOTXW50
7	8	Shields	Charissa	1926-03-25	F	J	MMRDLZ25
8	9	Brown	Inga	1942-04-18	F	SZ	SKCMWG34
9	10	Crawford	Glenna	1969-05-14	F	UL	VUKMBG65

---

Új mezők létrehozása

Számított mezők

---

In [53]:

1

#df['col_2'].apply(lambda x : x * 2)

2

#user_1['UJ_UF_ID'].apply(lambda x : x * 2)

3

#szdatum

4

#new = user_1["szdatum"].str.split("-", n = 1, expand = True) ## csak egy vágás

5

new = user_1["szdatum"].str.split("-",  expand = True)

6

user_1['EV']= new[0]   ## új mező létrehozása, ha még nincs

7

user_1['HO']= new[1]   ## új mező létrehozása, ha még nincs

8

user_1['NAP']= new[2]  ## új mező létrehozása, ha még nincs

9

user_1

10

​

11

​

Out[53]:

	ugyfel_id	vnev	knev	szdatum	nem	EV	HO	NAP
0	1	Walter	Gwendolyn	1954-07-10	M	1954	07	10
1	2	Armstrong	Kieran	1932-02-24	M	1932	02	24
2	3	Kline	Silas	1938-07-16	M	1938	07	16
3	4	Gallagher	Rhoda	1972-10-28	M	1972	10	28
4	5	Gallagher	Robin	1940-02-02	M	1940	02	02
5	6	Frank	Blair	1977-12-19	M	1977	12	19
6	7	Cash	Vaughan	1989-04-06	M	1989	04	06
7	8	Shields	Charissa	1926-03-25	F	1926	03	25
8	9	Brown	Inga	1942-04-18	F	1942	04	18
9	10	Crawford	Glenna	1969-05-14	F	1969	05	14

In [60]:

1

user_1["kisbetus_neve"] = user_1.vnev.apply(str.lower)     ## új mező létrehozása, ha még nincs

2

user_1["idx2"] = user_1.ugyfel_id.apply(lambda x : x * 2)  ## új mező létrehozása, ha még nincs

3

## user_1.drop('Lowercase Name', axis=1, inplace=True)     ## oszlop/mező törlése

4

user_1

5

​

6

​

Out[60]:

	ugyfel_id	vnev	knev	szdatum	nem	EV	HO	NAP	kisbetus_neve	idx2
0	1	Walter	Gwendolyn	1954-07-10	M	1954	07	10	walter	2
1	2	Armstrong	Kieran	1932-02-24	M	1932	02	24	armstrong	4
2	3	Kline	Silas	1938-07-16	M	1938	07	16	kline	6
3	4	Gallagher	Rhoda	1972-10-28	M	1972	10	28	gallagher	8
4	5	Gallagher	Robin	1940-02-02	M	1940	02	02	gallagher	10
5	6	Frank	Blair	1977-12-19	M	1977	12	19	frank	12
6	7	Cash	Vaughan	1989-04-06	M	1989	04	06	cash	14
7	8	Shields	Charissa	1926-03-25	F	1926	03	25	shields	16
8	9	Brown	Inga	1942-04-18	F	1942	04	18	brown	18
9	10	Crawford	Glenna	1969-05-14	F	1969	05	14	crawford	20

---

Több hasonló tábla összefűzése

Ha az adatok, amelyek hasonlóak, akár több táblában vannak tárolva, akkor azok beolvasása egy közös táblába is lehetséges, így a közös elemzés is elvégezhető.

pd.concat([df1, df2])

Mivel viszik magukkal az azonosítójukat, szükséges az összefűzés után a reset_index() mely létrehoz egy új indexelést.

---

---

Adatszámlálások

---

In [112]:

1

print("Összesen van {} sorunk, amelyben nem szerepel egy oszlopban sem nulla.".format(

2

    (result.apply(lambda x: x.isnull().sum(), axis=1) == 0).sum()))

3

print("Hiányzó adat {} szor fordul elő az 'igazolvanytipus_id' mezőben.".format(

4

        result['igazolvanytipus_id'].isnull().sum()))

5

​

6

​

Összesen van 8 sorunk, amelyben nem szerepel egy oszlopban sem nulla.
Hiányzó adat 2 szor fordul elő az 'igazolvanytipus_id' mezőben.

---

A szűrések

---

In [115]:

1

user_1[user_1.nem == 'F'] ## Nők megjelenitése csak azok amelyek a nem mezőben F -et tartalmaznak

2

​

3

​

Out[115]:

	ugyfel_id	vnev	knev	szdatum	nem
7	8	Shields	Charissa	1926-03-25	F
8	9	Brown	Inga	1942-04-18	F
9	10	Crawford	Glenna	1969-05-14	F

In [117]:

1

user_1[user_1.vnev.str.startswith('Ga')]  ## Ga vnev kezdettel rendelkezők listázása

2

​

3

​

Out[117]:

	ugyfel_id	vnev	knev	szdatum	nem
3	4	Gallagher	Rhoda	1972-10-28	M
4	5	Gallagher	Robin	1940-02-02	M

In [42]:

1

user_1[(user_1.nem == 'F') & (user_1.vnev.str.startswith('Br'))] ## többszörös feltétel

2

​

3

​

Out[42]:

	ugyfel_id	vnev	knev	szdatum	nem
8	9	Brown	Inga	1942-04-18	F

---

Statisztikai függvények használata

---

In [124]:

1

## Hányan vannak a nők és a férfiak és milyen idősek a legfiatalabbak

2

user_1.groupby("nem").agg({

3

        "szdatum": "min",  ## mean, max, ..

4

        "knev": "count"

5

    })

Out[124]:

	szdatum	knev
nem
F	1926-03-25	3
M	1932-02-24	7