Data Analysis - kamchur/note GitHub Wiki

# pyplot : 서브모듈
import matplotlib.pyplot as plt

plt.rc('font', family='nanum')
sns.set(font="NanumGothicCoding",#"NanumGothicCoding", 
        rc={"axes.unicode_minus":False}, # 마이너스 부호 깨짐 현상 해결
        style='darkgrid')    

# pyplot 기본 라인차트
plt.plot([2, 5, 3, 1, 2])
plt.show()

x = [1, 2, 3, 4, 5]
y = [10, 3, 2, 7, 5]

# 값이 하나면
# y(결과값)만 입력해주어도 됨
plt.plot(y)

# x축, y축 순서로 데이터를 넣음
plt.plot(x, y)

dict = {'v1':[1,2,3,4,5], 'v2':[10,3,2,7,5]}

plt.plot('v1', 'v2', '', data=dict)
plt.show()

# x 축 이름
plt.xlabel('x_name')

# y 축 이름
plt.ylabel('y_name')

# 차트 제목
plt.title('chart_name')

# 초록색, 원, 점선적용
plt.plot('v1', 'v2', 'go--', data=dict)

dict = {'v1':[1,2,3,4,5], 'v2':[2,5,3,1,2], 'v3':[4,6,7,6,5]}

plt.plot('v1', 'v2', 'go--', data=dict)    # 초록색 동그라미 점선
plt.plot('v1', 'v3', 'rs--', data=dict)    # 빨간색 네모 점선
plt.xlabel('month')
plt.ylabel('sales')
plt.title('Monthly Sales')
plt.show()

# 범례 : 레이블을 뜻함, 그래프(선)가 무엇을 의미하는지
# `plt.legend()` 를 사용해야 범례가 표시됨

dict1 = {'v1': [1,2,3,4,5], 'v2': [2,5,3,1,2], 'v3':[4,6,7,6,5]}

# label -> 범례
plt.plot('v1', 'v2', 'go--', data = dict1, label = 'apple')
plt.plot('v1', 'v3', 'rs-', data = dict1, label = 'mango')
plt.xlabel('month')
plt.ylabel('sales')
plt.title('Monthly Sales')

# plt.legend()를 사용해야 label이 표시됨
plt.legend()
plt.grid()
plt.show()

# xlim, ylim 그래프를 그리는 범위
# 테스트가 더 필요하다
dict1 = {'v1': [1,2,3,4,5], 'v2': [2,5,3,1,2], 'v3':[4,6,7,6,5]}

plt.plot('v1', 'v3', 'rs-', data = dict1, label = 'mango')
plt.xlim(0, 6)   # x축 좌우 간격이 좁아짐
plt.ylim(0, 8)   # y축 상하 간격이 좁아짐
plt.grid()
plt.show()

# plt.figure(figsize=(v1, v2))

dict = {'v1':[1,2,3,4,5], 'v2':[2,5,3,1,2], 'v3':[4,6,7,6,5]}

plt.figure(figsize=(4,3))
plt.plot('v1', 'v3', 'rs-', data=dict, label='mango')
plt.grid()
plt.show()

# axvline(위치, color='red', linestyle='--')   : 수직선(vertical)
# axhline(위치, color='blue', linestyle='-')   : 수평선(horizontal)
dict={'v1':[1,2,3,4,5], 'v2':[4,6,8,1,5]}

plt.plot('v1', 'v2', '', data=dict)
plt.axhline(5.3, color='gray', linestyle='--')
plt.axvline(2.4, color='grey', linestyle='--')
plt.show()

# plt.text(x좌표, y좌표, 'input text')

# 2행 1열, `위-아래`
# plt.subplot(row, column, index)
# index=순서

dict = {'v1':[1,2,3,4,5], 'v2':[2,5,3,1,2], 'v3':[4,6,7,6,5]}

plt.figure(figsize=(4,3))
plt.subplot(2,1,1)
plt.plot('v1', 'v2', 'go--', data=dict)

plt.subplot(2,1,2)
plt.plot('v1', 'v3', 'rs--', data=dict)

plt.tight_layout()   # 그래프간 간격을 적절히 맞추기(사용하지 않아도 상관없음)
plt.show()

# 1행 2열, `옆으로, 좌우`

dict={'v1': [1,2,3,4,5], 'v2': [2,5,3,1,2], 'v3':[4,6,7,6,5]}

plt.figure(figsize=(10, 5))
plt.subplot(1,2,1)
plt.plot('v1', 'v2', 'go--', data=dict)

plt.subplot(1,2,2)
plt.plot('v1', 'v3', 'rs-', data=dict)

plt.tight_layout()
plt.show()

import numpy as np
import pandas as pd

import matplotlob.pyplot as plt
impot seaborn as sns

# 중앙값
np.median(list)

# 최빈값 : 최대 빈도수
np.mode(list)

# 4분의 수
np.percentile(list, [0, 25, 50, 75, 100])

# titanic데이터의 'Age'의 4분위수를 구하는데
# np.percentile(titanic['Age'], [0, 25, 50, 75, 100]) 을 입력하면 자꾸 nan, nan...으로 출력되었다
>>> np.percentile(titanic['Age'], [0, 25, 50 ,75, 100])
array([nan, nan, nan, nan, nan])

# 해결방법
>>> np.percentile(titanic[titanic['Age'].notnull()]['Age'], [0, 25, 50, 75, 100])
array([ 0.42 , 20.125, 28.   , 38.   , 80.   ])

# 대표값의 값들을 하나로 아울러주는 답 : 기초통계량
sr.describe()    # sr : series type
df.describe()

# 원래는 숫자타입만 조회하는데 '문자'인 것도 카운트해주는 방법
df.describe(include='all')

# seaborn 라이브러리로 표현할 수 있음

sns.hisplot(data['Sale'], bins=20)
plt.show()

# 숫자형 변수의 분포를 가장 먼저 봐야함
# bins : 구간, 몇 구간으로 나누어서 보여줄지 결정
# bins 값이 클수록 세밀해진다

plt.figure(figsize=(10,5))

plt.subplot(1,2,1)
plt.hist(titanic['Fare'], bins=5, edgecolor='gray')
plt.xlabel('Fare')
plt.ylabel('Frequency')

plt.subplot(1,2,2)
plt.hist(titanic['Fare'], bins=30, edgecolor='red')
plt.xlabel('Fare')
plt.ylabel('Frequency')

plt.show()

# seabon as sns   : 기본 그래프에 다양한 그래프를 그릴 수 있음
# density plot

sns.kdeplot(titanic['Fare'])
plt.show()

# 기본(세로)
plt.boxplot(list)

# 가로로 보기
plt.boxplot(list, vert=False)   # vertical
plt.show()

age = [19,20,23,46,21,25,26,25,28,31,37,24,28,34,38,33,32,29,27,24]
box1 = plt.boxplot(age)
plt.show()

>>> print(type(box1)
<class 'dict'>

>>> print(box1.keys())
dict_keys(['whiskers', 'caps', 'boxes', 'medians', 'fliers', 'means'])

>>> print(box1['whiskers'])
[<matplotlib.lines.Line2D object at 0x000001D5B44FB460>, <matplotlib.lines.Line2D object at 0x000001D5B44FB7C0>]

>>> print(box1['whiskers'][0].get_ydata())    # 아래 max, min
[24. 19.]

>>> print(box1['whiskers'][1].get_ydata())    # 위 min, max
[32.25 38.  ]

air['Date'] = pd.to_datetime(air['Date'])    # 날짜 형식으로 변환

plt.plot('Date', 'Ozone', 'g-', data=air, label='Ozone')
plt.plot('Date', 'Temp', 'r-', data=air, label='Temp')

plt.xlabel('Date')
plt.legend()
plt.show()

import numpy as np
import pandas as pd

import matplotlib.pyplot as plt
impot seaborn as sns

gender = ['F','M','F','F','F','M','F','M','M']

f_cnt = gender.count('F')
m_cnt = gender.count('M')
total_cnt = len(gender)

>>> print('F : ', f_cnt, f_cnt/total_cnt)
>>> print('M : ', m_cnt, m_cnt/total_cnt)
F 5 0.5555555555555556
M 4 0.4444444444444444

>>> print(titanic['Pclass'].value_counts()
3    491
1    216
2    184

# 비율로 나타냄
>>> print(titanic.shape)
>>> print(titanic['Pclass'].value_counts()/titanic.shape[0])
(891, 8)
3    0.551066
1    0.242424
2    0.206510

>>> gender
['F', 'M', 'F', 'F', 'F', 'M', 'F', 'M', 'M']

>>> f_cnt, m_cnt
(5, 4)

plt.bar(x=['F', 'M'], height=[f_cnt, m_cnt])
plt.show()

temp = titanic['Pclass'].value_counts()
>>> print(temp.index)
>>> print(temp.values)
Int64Index([3, 1, 2], dtype='int64')
[491 216 184]

plt.bar(x=temp.index, height=temp.values)
plt.show()

# bar + h : 그래프가 옆으로 그려짐
plt.barh(x=temp.index, height=temp.values)
plt.show()

sns.countplot(x=titanic['Pclass'])
plt.show()

temp = titanic['Pclass'].value_counts()

# 값, 인데스
# autopct = 퍼센트
# % .2f형태 양 끝의 퍼센트 형식
plt.pie(temp.values, label=temp.index, autopct='%.2f%%')
plt.show()

# 각도와 방향 조정 (startangle, counterclock)
plt.pie(temp.values, labels=temp.index, autopct='%.2f%%', startangle=90, counterclock=False)
plt.show()

# 중심으로부터 간격 띄우고, 그림자추가
plt.pie(temp.values, labels=temp.index, autopct='%.2f%%', startangle=90, counterclock=False,
    explode=[0.05, 0.05, 0.05], shadow=True)
plt.show()

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 타이타닉 데이터 
titanic = pd.read_csv('https://bit.ly/3FsgwkJ')

# 아이리스 꽃 분류 데이터
iris = pd.read_csv('https://bit.ly/3JiY7ZZ')

# 보스톤 집값 뎅비터
boston = pd.read_csv('https://bit.ly/3EuWvZw')

# 뉴욕시 공기 오염도 데이터 + 시계열 데이터(날짜 형식으로 변환)
air = pd.read_csv('https://bit.ly/3qmthqZ')
air['Date'] = pd.to_datetime(air['Date'])
air['Month'] = air['Date'].dt.month
air['WeekDay'] = air['Date'].dt.weekday

sns.histplot(data=titanic, x='Age', bins=16)
plt.show()

sns.histplot(data=titanic, x='Age', bins=17, hue='Survived')   # hue : 생존여부 별로 쪼개어 보여짐
plt.show()

sns.kdeplot(data=titanic, x='Age')
plt.show()

sns.kdeplot(data=titatnic, x='Age', hue='Survived', common_norm=False)    # hue 겹쳐서 보여줌
plt.show()

sns.boxplot(data=titanic, y='Age')
plt.show()

sns.boxplot(data=titanic, y='Age', x='Survived')    # 범주별로 따로따로 그려줄 수 있음
plt.show()

sns.distplot(titanic['Age'], bins=16, hist_kws = dict(edgecolor='grey'))
plt.show()

sns.jointplot(x='Petal.Length', y='Petal.Width', data=iris)
plt.show()

# 종류별로 구분
sns.jointplot(x='Petal.Legnth', y='Petal.Width', data=iris, hue='Species')
plt.show()

sns.pairplot(iris, hue='Species')
plt.show()

sns.countplot(x='Embarked', data=titanic)
plt.show()

# hue옵션 사용
sns.countplot(x='Embarked', data=titanic, hue='Survived')
plt.show()

sns.barplot(x='Embarked', y='Fare', data=titanic)
plt.show()

temp1 = titanic.groupby(['Embarked', 'Pclass'], as_index=False)['PassengerId'].count()    # 집계
temp2 = temp1.pivot('Embarked', 'Pclass', 'PassengerId')
# pivot을 원래대로 돌려놓으려면 `unpivot`을 사용

temp1
temp2

temp1 = titanic.groupby(['Embarked', 'Pclass'], as_index=False)['PassengerId'].count()
temp2 = temp1.pivot('Embarked', 'Pclass', 'PassengerId')

sns.heatmap(temp2, annot=True)
plt.show()

# 값을 정수로, 구간 간격을 살짝 벌려서 그리자
# 1.3e+01 10의 2승, 이런 진수를 없애는 것을 `fmt='d'` 라고함(꾸미는것)
sns.heatmap(temp2, annot=True, fmt='d', linewidth= .2)
plt.show()

plt.scatter(air['Temp'], air['Ozone'])
plt.show()

plt.scatter('Temp', 'Ozone', data=air)
plt.xlabel('Temp')
plt.ylabel('Ozone')
plt.show()

# scipy의 통계모듈
import scipy.stats as spst

# 상관계수와 p-value
>>> spst.pearsonr(air['Temp'], air['Ozone'])
(0.6833717861490114, 2.197769800200274e-22)

air.corr()

plt.figure(figsize=8, 8))
sns.heatmap(air.corr(), annot = True, fmt = '.3f', cmap = 'RdYlBu_r', vmin = -1, vmax = 1)
plt.show()

s0 = titanic.loc[titanic['Survived'] == 0, 'Age']
s1 = titanic.loc[titanic['Survived'] == 1, 'Age']

# 사망자의 나이 분포
sns.histplot(s0, bins=16)
plt.axvline(s0.mean(), color='r')
plt.show()

# 생존자의 나이 분포
sns.histplot(s1, bins=16)
plt.axvline(s1.mean(), color='r)
plt.show()

a = np.array([23, 54, 47, 64, 29, 15])

>>> print(f'평균 : {a.mean()}')
>>> print(f'표준편차 : {a.std()}')
평균 : 38.666666666666664
표준편차 : 17.53726191728787

# 타이타닉 평균&표준편차
titanic.groupby(by='Survived')['Age'].agg(['mean', 'std'])

# 표준오차
titanic.groupby(by='Survived')['Age'].agg(['mean', 'std', 'sem'])

# 임의의 모집단 생성
pop2 = [round(rd.normalvariate(160, 10), 1) for i in range(100000)]

# 그래프생성
plt.figure(figsize=(10, 6))
sns.histplot(pop2, bins = 100)
plt.axvline(np.mean(pop2), color='r')
plt.text(np.mean(pop2)+1, 3600, f'pop mean : {np.mean(pop2).round(2)}', color='r')
plt.show()

# 표본조사 100건
s1 = rd.sample(pop2, 100)
s1 = pd.Series(s1)
>>> s1.mean(), s1.std(), s1.sem()
(159.148, 8.561606570656416, 0.8561606570656416)

>>> 1.96 * s1.sem()
1.6780748878486575

# 95% 신뢰구간
>>> s1.mean() - (1.96 * s1.sem()), s1.mean() + (1.96 * s1.sem())
(157.46992511215134, 160.82607488784865)

# 모평균
>>> np.mean(pop2)
160.026661

# 100번 샘플링
samples = { 'id':[], 'values':[]}
for i in range(100):
    samples['id'] += [i] * 100
    samples['values'] += rd.sample(pop2, 100)

samples = pd.DataFrame(samples)
>>> samples.shape
(10000, 2)

# errorbar 차트
# 신뢰구간, 표준오차 구간 시각화
plt.figure(figsize=(18, 8))
sns.pointplot(x='id', y='value', data=samples, join=False)
plt.axhline(np.mean(pop2), color='r')
plt.show()

# sns.barplot은 두 범주의 평균 비교 
sns.barplot(x='Survived', y='Age', data=titanic)
plt.show()

# boxplot
titanic.boxplot('Age', 'Survived')
plt.show()

import scipy.stats as spst
import random as rd

# 모집단 만들기
pop1 = [round(rd.normalvariate(160, 10), 1) for i in range(100000)]
pop2 = [round(rd.normalvariate(170, 10), 1) for i in range(100000)]

plt.figure(figsize=(10, 6))
sns.distplot(pop1, hist=False, kde=True)
sns.distplot(pop2, hist=False, kde=True)
plt.show()

# 표본 추출
s1 = rd.sample(pop1, 100)
s2 = rd.sample(pop2, 100)

# t-test
>>> spst.ttest_ind(s1, s2)
Ttest_indResult(statistic=-1.9424343516120028, pvalue=0.053502918260016644)

# Pclass ---> Age
sns.barplot(x='Pclass', y='Age', data=titanic)
plt.show()

titanic.boxplot('Age', 'Pclass')
plt.show()

# F통계량
P_1 = titanic.loc[titanic.Pclass == 1, 'Age']
P_2 = titanic.loc[titanic.Pclass == 2, 'Age']
P_3 = titanic.loc[titanic.Pclass == 3, 'Age']
>>> spst.f_oneway(P_1, P_2, P_3)
F_onewayResult(statistic=nan, pvalue=nan)

# 빈도수 교차표 만들기
pd.crosstab(titanic['Survived'], titanic['Sex'])

# normalize 적용
pd.crosstab(titanic['Survived'], titatnic['Sex'], normalize='all')

# Pclass -> Survived
temp = pd.crosstab(titanic['Pclass'], titanic['Survived'], normalize='index')
temp.plot.bar(stacked=True)
plt.axhline(1-titanic['Survived'].mean(), color='r')    # 생존율이 위에 그려지기 때문에 '1 - 평균'
plt.show()

from statsmodels.graphics.mosaicplot import mosaic
import scipy.stats as spst

# Pclass별 생존여부를 mosaic plot으로 그리기
mosaic(titanic, ['Pclass', 'Survived'])
plt.axhline(1-titanic['Survived'].mean(), color='r')
plt.show()

## 이름의 순서대로 보고 싶은 경우 : data를 sorting
mosaic(titanic.sort_values(['Pclass', 'Survived']), ['Pclass', 'Survived'], gap=0.01)
plt.axhline(1-titanic['Survived'].mean(), color='r')
plt.show()

# 먼저 집계
table = pd.crosstab(titanic['Survived'], titanic['Pclass'])    # 카이제곱은 행, 열 순서 상관없지만, normalize는 하면 안됨

# 카이제곱검정
result = spst.chi2_contingency(table)
>>> print('카이제곱통계량', result[0])
>>> print('p-value', result[1])
>>> print('기대빈도', result[2])
카이제곱통계량 102.88898875696056
p-value 4.549251711298793e-23
기대빈도
 [[133.09090909 113.37373737 302.53535354]
 [ 82.90909091  70.62626263 188.46464646]]

# feature : Age , target : Survived
sns.histplot(x='Age', data=titanic, hue='Survived')
plt.show()

sns.kdeplot(x='Age', data=titanic, hue='Survived')
plt.show()

sns.kdeplot(x='Age', data=titanic, hue='Survived', common_norm=False)
plt.show()

sns.kdeplot(x='Age', data=titanic, hue='Survived', multiple='fill')
plt.axhline(titanic['Survived'].mean(), color='r')
plt.show()

sns.histplot(x='Age', data=titanic, bins=16, hue='Survived', multiple='fill')
plt.axhline(titanic['Survived'].mean(), color='r')
plt.show()

# titanic : Age --> Survived
import statsmodels.api as sm

model = sm.Logit(titanic['Survived'], titanic['Age'])
result = model.fit()

>>> print(result.pvalues)
Optimization terminated successfully.
         Current function value: 0.661967
         Iterations 4
Age    3.932980e-13
dtype: float64