Data Preprocessing - kamchur/note GitHub Wiki

import pandas as pd

# 지수함수(과학적표기법) -> 실수로 표현
pd.options.display.float_format = '{:.5f}'.format

# 되돌리기
pd.reset_option('display.float_format')

>>> pd.options.display.max_columns
20

>>> pd.options.display.max_columns = 30

# titanic 데이터조회
url = 'https://raw.githubusercontent.com/DA4BAM/dataset/master/titanic.0.csv'
# 읽을 데이터가 너무 많은 경우 1000개만 읽고 싶은 경우
# >>> titanic = pd.read_csv(url, sep=',', skiprows=0, nrows=1000)
titanic = pd.read_csv(url)
tpye(titanic)    # pandas.core.frame.DataFrame

# 행, 열 크기확인
titanic.shape    # (891, 12)

# 컬럼명 확인
titanic.columns

# 컬럼에 들엉 있는 값 확인
# Series상태에서만 지원되는  메서드
titanic['Embarked'].unique()

# 데이터 타입 확인
titanic.dtypes

# 정보확인
titanic.info()

# 앞의 데이터 확인 default=10
titanic.head(v)

# 뒤의 데이터 확인 default=10
titanic.tail(v)

# 기초 통계량 조회
titanic.describe()

# 'Name' 컬럼 조회
sr['Name']
sr.Name
sr.loc[:, 'Name']

type(sr)    # pandas.core.series.Series

# 'Name' 컬럼 조회
df[['Name']]
df.loc[:, ['Name']]
df.iloc[:, [0]]

type(df)    # pandas.core.frame.DataFrame

# df.sort_values(by=[column list], ascending=[True/False])
# ascending = True : 오름차순(default) / False : 내림차순
titanic.sort_values(by='Embarked', ascending=False).head()

# 특정 열을 조회하고 싶은 경우
titanic.sort_values(by='Fare', ascending=True)['Name'].head(10)

# df.loc[행조건, 열이름]
# 10행까지 출력
list1 = ['crim', 'lstat', 'medv']

df.loc[:9, list1]    # `list1' 의 컬럼명들만 표출됨
df.loc[:, list1].head(10)
df.loc[:, list1][:10]

# df.iloc[행조건, 열이름]
# 위의 loc와 동일한 결과
list1 = [0, 11, 12]

df.iloc[:10, list1]
df.iloc[:, list1].head(10)
df.iloc[:, list1][:10]

# df.between(v1, v2, [inclusive='both') : v1 ~ v2 사이 데이터 확인
# inclusive는 포함(이상, 이하) 여부를 묻는 것

# df.isin([c1, c2, ...])  : 리스트 내에 넣은 데이터만 조회
# `or`연산과 동일함 -> `loc[]`내에선 `|`
df.loc[df['Name'].isin([1,3])]

drop_list = ['PassengerId', 'Name', 'Cabin']
titanic.drop(columns=drop_list, axis=1, inplace=True)

# 특정조건 행 삭제
list.drop(index=list.loc[list['Location'] == '~'].index, axis=0, inplace=True) 

# df.map() 함수를 사용하며 파라미터로 dictionary를 사용
# Q. 성별(Sex)를 male -> m, female -> f 로 변경
titanic['Sex'].map({'male':'m', 'female':'f'})

bus_station.astype({"버스정류장ARS번호":'int'})
sb_route['버스정류장ARS번호'] = sb_route['버스정류장ARS번호'].astype(int)

# `as_index`를 'False'해주면 index를 볼 수 있어 DataFrame이 좀더 이쁘다
# Q. 객실(Pclass)등급별 평균나이
titanic.groupby(by='Pclass', as_index=False)['Age'].mean()

# Q. 객실(Pclass)등급별, 생존(Survived)여부별 평균운임, 최대운임, 최소운임
titanic.groupby(by=['Pclass', 'Survived'], as_index=False)['Fare'].agg(['mean', 'max', 'min'])

import pandas as pd
import numpy as np

# DataFrame 두 파일 읽기
sales = pd.read_csv("https://raw.githubusercontent.com/DA4BAM/dataset/master/sales.csv")
products = pd.read_csv("https://raw.githubusercontent.com/DA4BAM/dataset/master/products.csv")

sales.head()
product.head()

# merge
pd.merge(sales, products).head()    # 공통된 컬럼(ProductID) 자동으로 key로 사용

# 'how'를 사용하여 기준 데이터프레임을 지정할 수 있음

pd.merge(sales, products, how='left').head()

# 기준으로 삼을 컬럼 `on=column_name` 사용
# data이름으로 'ProductID'를 기준으로 merge
# data = pd.merge(left=sales, right=products)[['ProductID']]
data = pd.merge(left=sales, right=products, on='ProductID')

# 'Category'별 총 매출액 구하기(amt)
data.groupby(by='Category', as_index=False)['Amt'].sum()

# 전체에서 가장 매출('Amt')이 높은 상품명 10개 조회
data.groupby(by='ProductName', as_index=False)['Amt'].sum().sort_values(by='Amt', ascending=False).head(10)

# 행을 축으로 붙이기
# pd.concat([data1, data2], axis=0)
pd.concat([data1, data2])

# 열을 축으로 붙이기
pd.concat([data1, data2], axis=1)

# 위 데이터와 본 데이터 3개를 열을 축으로 붙이기
pd.concat([data1, data2, data], axis=1)

# SK주식(stock)데이터 요청
stock = pd.read_csv('https://raw.githubusercontent.com/DA4BAM/dataset/master/SK.csv') 

# 날짜('Date'), 종가('Close'), 거래량('Volume') 컬럼만 설정
# stock = stock.loc[:,['Date', 'Close', 'Volume']]
stock = stock[['Date', 'Close', 'Volume']]
stock.head()

# 기준일을 포함하여 과거 3일의 평균을 데이터 프레임에 붙이기
stock['Close_M_3D'] = stock['Close'].rolling(3)
stock['Close_M_3D'] = stock['Close'].rolling(3).mean()

# shift 사용하여 값을 올려보자

stock['Close_M_3D_UP'] = stock['Close_M_3D'].shift(periods=-1)

# min_period
# min_period는 rolling안에 있는 파라미터이며, rolling되는 개수 window의 최소값을 뜻함
# rolling(3, min_period=1)이면 rolling할 데이터가 3개를 확인하여 기준데이터만 넣는 것이 아닌 해당 날짜에 넣어준다고랄까.
# min_periods=1, 값이 하나여도 값을 구할꺼야, 그래서 기준값이 아니어도 값이 구해져서 결과값이 입력됨

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

stock = pd.read_csv('https://raw.githubusercontent.com/DA4BAM/dataset/master/SK.csv') 
stock.drop('AdjClose', axis=1, inplace=True)

# exch_rate : 환율
# exch_Diff : 환율등락
exch_rate = pd.read_csv('https://raw.githubusercontent.com/DA4BAM/dataset/master/USD_KRW.csv')
exch_rate.drop(columns=['open', 'high', 'low'], axis=1, inplace=True)
exch_rate.rename(columns={'date':'Date', 'close':'exch_Close', 'diff':'exch_Diff'}, inplace=True)

# 'Date'를 key로 지정
data = pd.merge(left=stock, right=exch_rate, how='left', on='Date')

# NaN확인
# data.isnull().sum()
data.isna().sum()

# 조건조회로 `NaN`인 데이터 조회
# data.loc[data['Open'].isnull()]
data.loc[data['Open'].isna(),]

data1 = data.dropna(axis=0)
data1.isnull().sum()

# .fillna(v)   안에 NaN대신 넣을 수를 넣음
df3 = data.fillna(0)

data.loc[data['Open'].isna(),]
df3.loc[df3['Date'].isin(['2017-11-16', '2017-11-23', '2018-01-02', '2018-11-15', '2019-11-14'])]

data2 = data.fillna(method='ffill')
data2.isnull().sum()    # all = 0

# NaN이었던 값들이 'ffill'로 인해 어떻게 바뀌었는지 확인
data.loc[data['Open'].isna(),]
data2.loc[data['Date'].between('2017-11-15', '2017-11-25'),]

data3 = data.interpolate(method='linear')
data3.isnull().sum()    # all = 0

data.loc[data['Date'].between('2017-11-14', '2017-11-29', inclusive='')]
data3.loc[data'Date'].between('2017-11-14', '2017-11-29')]

# 
data2['inc_stock'] = data2['exch_Close'].diff()
data2.head(5)

# data2['Date'].unique()    # 컬럼의 고유원소값 알아내기, + dtype까지
data2[['Date']][:5]
data2.dtypes

data2 = pd.to_datetime(data2['Date'])
data2.dtypes

# '범주형'은 dtypes시 'object'타입으로 되어있는것
# Weekday_N(0 ~ 6)으로 표현되어 있는걸 0, 1로 표현

# 'drop_first=True'를 하면 data2 원본의 'WeekDay_N'컬럼이 삭제된다
# 파라미터로 'prefix'를 사용하면 dummy데이터 앞에 글자를 설정할 수 있다
dumm_weekday = pd.get_dummies(data=data2['WeekDay_N'], drop_first=True)
dumm_weekday.head()
data2.head(5)

# pd.concat으로 리스트형 데이터 붙여주기
data3 = pd.concat([data2, dumm_weekday], axis=1)    # axis=1 열을 축으로 가로로 붙이기
data3.head(5)

# concat사용없이 'get_dummies'로 한 번에 'Month'컬럼 가변수화하여 연결하기
# 'columns= ' 파라메터에 값을 넣으면 어떤 컬럼을 dummy할건지 지정하게 됨('drop_fisrt'기능으로 자연스럽게 해당 컬럼삭제)
data3 = pd.get_dummies(data3, columns='Month', drop_first=True, prefix='m')
data3.head(5)

# 칼럼삭제
drop_x = ['Date', 'exch_Diff', 'WeekDay']
data3.drop(columns=drop_x, axis=1, inplace=True)

# NaN행 삭제
data3.dropna(axis=0)

import sklearn.model_selection import train_test_split

# feature = X
# target = y
# 분리작업

X = data3.drop('Close', axis=1)    # 'Close' 종가 주식 컬럼 삭제한 데이터프레임
y = data3.iloc[:, 0]

# train : test = 7 : 3
# training set 70 ~ 80%
# test set 20 ~ 30%
# random_state : 나누는 방식을 보정해주는것 

train_x, test_x, train_y, test_y = train_test_split(X, y, test_size=0.3, random_state=1)

>>> train_x.shape, test_x.shape, train_y.shape, test_y.shape
((682, 22), (293, 22), (682,), (293,))    # 682 옆에 컬럼 '1'하나가 있다고 생각해주어야함 'Close'컬럼

import sklearn.preprocessing import MinMaxScaler, StandardScaler

# 선언
scaler = MinMaxScaler()
x.head(5)

# 적용, 적용시 'Numpy Array'상태가 됨
x1 = scaler.fit_transform(x)

# 데이터프레임으로 변환
x1 = pd.DataFrame(x1, columns = list(x))    # list(x)시 컬럼명들이 리스트형태로 전달됨
x1.head(5)

# 선언
scaler = StandardScaler()

# 적용
x2 = scaler.fit_transform(x)

# type:Numpy Array -> DataFrame
x2 = pd.DataFrame(x2, columns = list(x))