§ Numpy

1. Array 정의 및 사용하기

• c언어로 구현된 파이썬 라이브러리, 고성능 수치계산을 위해 제작
• 벡터 및 행렬 연산에 있어 매우 편리
  • array (행렬) 단위로 데이터를 관리하며 이에 대해 연산 수행
  • list를 np.array 로 설정하면 a.shape는 (4,) 로, 1차원 데이터이며 총 4 크기 갖음
• np.eye(n) 은 1이 대각선으로 들어간 행렬

2. 정수 인덱싱

• 정수 인덱싱

  • a[0] : 0행 전체
  • a[0:2] : 0, 1행 전체
  • a0,2 : 0행 2행 뽑으라는 의미
  • a[0, 2], 1, 3 : 0행 1열, 2행 3열

• 부울린 인덱스

• 위에서 이용한 다차원 인덱싱을 응용하여 boolean indexing 가능, 주로 마스크 라고 이야기 함

3. 브로드 캐스트

• 연산은 동일한 위치에 있는 요소들 끼리 진행
  • np.multiply(a, b) : 행렬의 곱처럼 곱셈이 진행되는게 아니라 각 요소별 곱셈이 진행
• 브로드캐스트 : 서로 크기가 다른 array 가 연산이 가능하게끔 하는 것
  • vv = np.tile(v, (4,1)) : v의 복사본 4개를 차곡차곡 쌓는다.
  • 하짐나 이렇게 하지 않아도 자동으로 브로드캐스팅이 되어 열의 개수가 같다면 자동으로 tile 되어 연산된다.

4. 전치 행렬

• 행과 열을 바꾸는 연산 (x.T 로 계산)
  • 단 1차원 배열은 전치를 지원하지 않기 때문에 reshape를 사용해야 한다.
• 행렬 곱 : np.dot(a, b)
• 행렬 열간, 행간 통계 (row R col C)
  • np.sum(a, axis=0) : 행간 연산, 즉 같은 행끼리 더해지기 때문에 (1, C) 결과가 나옴
  • np.sum(a, axis=1) : 열간 연산, 즉 같은 열끼리 더해지기 때문에 (R, 1) 결과가 나옴
  • np.prod(곱) 에서 axis=0 으로 하면 행간, 같은 행끼리 곱해짐

§ Pandas

1. 데이터 프레임 만들기

• 엑셀이나 csv 파일처럼 가로 세로 데이터 통계를 다룰 때 가공 처리 하는 라이브러리
  • csv 와 excel 과 호환이 잘 된다.
• header 유무의 차이 : 맨 첫번째의 row 가 data 인 경우에는 column title 이 없기 때문에 header=None 이라고 주어야 한다.
  • index_col = 0 은 index column 을 지우라는 의미

2. 요약 정보 확인하기

• head(), tail() : 앞 / 뒤의 (default) 5개 data 보여줌
• info() : Dataframe의 rangeIndex와 각 data type, memory usage를 알려줌
• describe()

3. 열 다루기

• dictionary 형태로 추출 가능 (혹은 data 원소로도 가능) : df['열 이름'] 으로 호출/생성 가능. 혹은 df.c1 형태
• df.drop('열 이름', axis =1 (열 지우기), inplace=True)
  • inplace=True 는 원본에 적용하라는 의미

4. 행 다루기

• 행을 뽑을 때에는 iloc 을 사용한다. (i : index로 list 에서 추출)
• 혹은 df.loc['r1'] 으로 추출 가능
• 마찬가지로 df.drop 으로 지우게 되는데, axis=0 으로 해야한다.

5. 원소 다루기

• iloc 이용하면 가능

6. 외부 파일로 저장하기

• df.to_csv 혹은 df.to_excel 로 저장 가능

§ Matplotlib

1. 데이터를 그래프로 표현하기

• df.plot(kind= ... ) 로 표현 가능
  • 1개의 column 에 대해서만 보려면 df[''].plot() 을 사용하면 된다.
• kind 에는 bar, hist (히스토그램), scatter 등 사용 가능
  • scatter 은 x, y를 설정해주어 두 column 의 상관 관계를 알 수 있음.
  • box 는 data 의 50% 을 표현해주고 양 끝의 막대기는 1.5 배 표현
• 그림으로도 저장 가능. (matplotlib.pyplot 을 import 하여 plt.savefig 사용)

2. 선형 그래프 그리기

• plt.plot(x, y, 'bo')
• plt.grid(True)
• plt.show()

3. 레이더 차트

• 사용할 data 를 가져오기

  • df.columns.to_list() 를 이용해서 column 을 list로 변환
  • val1 = df.loc[0, :].drop('col').values.tolist()
  • 방사형을 그릴 때 처음 시작점과 마지막 점을 이어주어야 하기 때문에 val1 의 맨 처음 값을 마지막에 추가해주어야 한다.
  • val1 += val1[:1]
  • deg = [n / float(len(var)) * 2 * pi for n in range(len(var))]

• 히트맵 : plt.subplot(111, polar=True)

  • 111 : 행, 열, 순번 즉 1행1열 그래프 중 첫번째 그래프
  • polar 속성 : 그래프가 구형으로 변형됨
  • 구형 그래프의 바깥쪽에 둘러쌓인 것은 xticks 이고 내부 값은 yticks
  • plt.xticks(deg[:-1], var, color='grey', size=10)
  • plt.ylim(0, 100) 범위 지정
  • plt.yticks
  • ax.set_rlabel_position(degree) : y값에 대한 label 을 표현해주는 위치 지정

• 내용 채우기

  • ax.plot(deg, val1, linewidth=..., linestyple=..., label=...) : 그래프 선을 그려주는 역할
  • ax.fill : 안의 색을 채워주는 역할
  • plt.legend (범례) (loc='best', bbox_to_anchor=(,) 위치) : 그래프에 대한 요약 내용을 넣어주는 역할

마지막 인강

§ 실전 데이터 분석 및 시각화

ref : https://github.com/imguru-mooc/python_intermediate