개발자와 개발 프로젝트가 많아 짐에 따라 표준화가 중요해 집니다. 그 중에서 여기서 다뤄볼 내용은 코드에 대한 것으로 어떻게 코드의 성숙도를 올리고, 유지보수와 디버깅이 쉬워질 수 있는지에 대해 이야기 하려 합니다. 코드에 대한 분석은 정적 분석과 동적 분석으로 나눌 수 있으며, 정적 분석으로 formatter와 linter를, 동적 분석으로 code coverage에 대해 다루도록 하겠습니다.

formatter and linter

여러 사람이 협업하여 프로젝트를 진행하는 경우 코드스타일에 대한 정의가 없다면 개인 마다 다른 형식으로 개발될 가능성이 큽니다. 누군가는 if 다음 {} 의 위치를 바로 쓰는 것을 선호하고 어떤 사람은 다음 라인에 위치하는 것을 선호 합니다. 함수 정의 한 다음 다른 함수의 정의가 올 때 blank line에 얼만큼 사용할지 등 다양한 선호가 있을 것이고 이는 고스란히 코드에 반영되게 될 것입니다. 다양한 코드 스타일은 프로젝트에 대한 유지보수를 어렵게 만듭니다. 다시 말하면 코드에 대한 가독성이 떨어지고 그 결과 에러를 발견하는 것이 쉽지 않아 디버깅이 어려워 질 것입니다. 모두가 동일한 코드 스타일을 사용하게 된다면 위의 단점이 보완 될 것입니다. 그래서 우리는 formatter와 linter를 이용하여 code format에 대한 violation을 체크하고 바로 잡을 수 있습니다.

• PEP8

pep8은 python 공식 스타일 가이드 입니다. 아래와 같이 코드 스타일에 대해 정의가 되어 있습니다.

Spaces are the preferred indentation method.
Use 4 spaces per indentation level.
Limit all lines to a maximum of 79 characters.
Separate top-level function and class definitions with two blank lines.
Method definitions inside a class are surrounded by a single blank line.
Imports should be grouped in the following order:
  - Standard library imports.
  - Related third party imports.
  - Local application/library specific imports.
  - A blank line between each group of imports.

Formatter와 linter 의 종류

linter와 formatter의 종류는 매우 다양해서 개발그룹에서 선택적으로 적용 가능 합니다.

• pycodestyle

  Pycodestyle은 공식 linter로 PEP8의 스타일 컨벤션을 기반으로 python 코드를 체크합니다.

• pylint

  pylint는 python linter중 하나로 소스코드 체크 및 버그, qulaity 체크를 합니다. 단순히 PEP8을 사용하는 것 보다 많은 verificiation checks와 옵션을 갖고 있습니다. 예를 들어 각 라인의 길이를 체크 한다거나 변수 명이 프로젝트의 기준에 맞게 적용 되어 있는지 선언된 인터페이스가 정말로 구현 되어 있는 지 등 PEP8에 없는 추가적인 내용도 갖고 있습니다. 가장 많이 사용하는 linter로 VSCode의 기본 linter입니다.

• pyflakes

  pyflakes는 앞의 다른 linter 다르게 스타일에 대한 체크가 아니라 프로젝트의 각 파일에서 발생될 수 있는 logistic erorrs , syntax eorror 등을 확인합니다.

• flake8

  flake8은 pyflakes, pycodlestyle 과 Mccabe script 를 감싸고 있는 wrapper 입니다. McCabe script의 는 코드의 복잡성을 줄이기 위해 사용됩니다.

• black

  black은 python code auto-formatter로 전체 파일에 대해 reformatting해주고 string의 경우 " 을갖고도록 만듭니다. black은 python 공식 community에서 사용하는 것이며 line-length를 제외하고 format에 대한 추가적인 configuration은 할 수 없습니다.

• autopep8

  autopep8은 자동으로 python code를 style로 reformatting 해 줍니다. autopep8은 pycodesstyle 에서 리포트 되는 대부분의 이슈를 바로 고칩니다.

• yapf

  yapf은 python formatter중 하나로 google에서 사용하고 유지보수 합니다. configuration이 자유로운 것이 특징입니다.

여기에서는 다양하게 linter를 적용할 수 있는 flake8과 우리의 configuration이 추가적으로 들어가지 않아도 되는 black을 사용해 보도록 하겠습니다.

IDE에서 lint 적용하기

vscode https://code.visualstudio.com/docs/python/linting

• command palette 에서 python: select lint를 입력하여 flake8 선택
• command palette 에서 python: run linting을 통하여 lint 활성화

pre-commit을 이용한 commit check & ci improvement.

pre-commit을 install하게 되면 ./git/hook/pre-commit폴더가 생성되고 이를 바탕으로 git commit시 .pre-commit-config.yaml 에 정의된 모듈을 실행하게 됩니다.

flake8 pre-commit : https://flake8.pycqa.org/en/latest/user/using-hooks.html

repos:
  - repo: https://github.com/ambv/black
    rev: 21.7b0
    hooks:
      - id: black
        language_version: python3.9
  - repo: https://github.com/pycqa/flake8
    rev: 3.9.2
    hooks:
      - id: flake8

Configuration for flake8

[flake8]
    ignore = E203, E266, E501, W503, F403, F401 # set ignore errors
    max-line-length = 89
    max-complexity = 18
    select = B,C,E,F,W,T4,B9
# select
# C90 : All C90 class violations are reported when the user specifies  
# E : ll E class violations are “errors” reported by pycodestyle
# F : All F class violations are reported by pyflakes
# W : All W class violations are “warnings” reported by pycodestyle

flake8 --max-complexity

pre-commit을 수행하면 아래와 같이 되고, git commit 커맨드를 사용해도 동일한 절차를 거칩니다.

pre-commit run --all-files
black....................................................................Passed
flake8...................................................................Passed

Error and violation code

아래 링크는 PEP8에 정의된 ERROR 와 Violation code에 대한 설명입니다. 위 ignore항목에서 필요에 따라 넣어주면, 해당 항목은 체크하지 않습니다.

https://flake8.pycqa.org/en/latest/user/error-codes.html

https://pep8.readthedocs.io/en/latest/intro.html

Code coverage

코드의 Quality를 높이는 방법중 하나는 테스트의 작성입니다. Code coverage는 얼마나 테스트가 잘되어 있는지를 알아 보는 지표로, coverage가 높을 수록 프로그램이 동작할 때 오류를 줄일 수 있습니다. 시스템이 복잡할 수록, 많은 개발자가 개발에 참여할 수록 테스트와 테스트 coverage check는 개발에 반드시 필요한 요소 입니다.

설치

pip install coverage

run

coverage run --omit "venv/*" test_file_path

report

coverage report

coverage reportName       Stmts   Miss  Cover
--------------------------------------------
app/main.py                  8      1    88%
app/routers/query.py         5      1    80%
test/test_endpoints.py      15      6    60%
--------------------------------------------
TOTAL                       28      8    71%

HTML report

coverage html

coverage result in index.html

main.html coverage