asyncio vs thread - goddes4/python-study-wiki GitHub Wiki

다수의 concurrent task 가 존재 할 때 thread 와 asyncio 의 성능 테스트

• 전제 조건 :

• cpu-bound task 가 아닌 i/o bound task 여야 함
• cpu bound task 라면 multiprocessing 고려

task 100개 결과
- thread  : 5.033 seconds
- asyncio : 5.013 seconds

task 400개 결과
- thread  : 5.105 seconds
- asyncio : 5.045 seconds

task 800개 결과
- thread  : 5.202 seconds
- asyncio : 5.079 seconds

결론 :

• 동시성 처리를 위해서 task 당 thread 를 할당 하는것은 메모리 사용량 및 컨텍스트 스위치 비용이 증가 하는 문제가 발생.
• C10K 문제의 경우 asyncio 가 좋은 솔루션이 될 수 있음.
• asyncio 의 경우 싱글 쓰레드로 event loop 가 task 를 처리하는 방식.
• asyncio 는 싱글 쓰레드이기 때문에 task 에 blocking 코드가 있으면 전체적으로 성능 저하가 오기 때문에 모든 코드를 비동기화 시켜야 함. (using yield from coroutine)
• asyncio 의 장점은 Coroutine 을 통해 비동기식 코드를 마치 동기식 코드처럼 작성 할 수 있어서 코드 가독성도 좋음.
• 보통 비동기 호출의 결과를 받기 위해서 callback 을 등록하여 처리 하거나, queue 를 통해서 수신 받아 처리 하는데 이런 코드가 많아 지면 가독성이 저하된다. 이른바 callback hell.
• 개발자가 직접 I/O Multiplexing (select, poll, epoll, kqueue) 코드를 구현하는 것 난이도가 상당하다

example : thread

import asyncio
from concurrent.futures.thread import ThreadPoolExecutor
from logging import DEBUG
import random
import threading
import datetime
import logging
import time

MAX_TASKS = 800


def long_time_process(task_id):
    """
    예를 들면 외부 open_api 를 이용하여 데이터 수집
    :param task_id:
    :return:
    """
    print(datetime.datetime.now(), threading.current_thread(), "long_time_process start.", task_id)
    # time.sleep(random.randint(1, 5))
    time.sleep(5)
    return "done"


def slow_task(task_id):
    ret = long_time_process(task_id)
    print(datetime.datetime.now(), threading.current_thread(), "slow_task-", task_id, "ret=", ret)


if __name__ == '__main__':

    start_time = time.time()
    with ThreadPoolExecutor(max_workers=MAX_TASKS) as executor:
        for i in range(MAX_TASKS):
            # task 실행
            executor.submit(slow_task, task_id=i)
    process_time = time.time() - start_time

    print("process time : {}".format(process_time))

example : asyncio

import asyncio
from logging import DEBUG
import threading
import datetime
import logging
import time

MAX_TASKS = 800


@asyncio.coroutine
def long_time_process(task_id):
    """
    예를 들면 외부 open_api 를 이용하여 데이터 수집
    :param task_id:
    :return:
    """
    print(datetime.datetime.now(), threading.current_thread(), "long_time_process start.", task_id)
    # yield from asyncio.sleep(random.randint(1, 5))
    yield from asyncio.sleep(5)
    return "done"


@asyncio.coroutine
def slow_task(task_id):
    ret = yield from long_time_process(task_id)
    print(datetime.datetime.now(), threading.current_thread(), "slow_task-", task_id, "ret=", ret)


logging.basicConfig(level=DEBUG)

if __name__ == '__main__':
    event_loop = asyncio.get_event_loop()
    # event_loop.set_debug(True)

    futures = []

    start_time = time.time()
    for i in range(MAX_TASKS):
        # task 등록 : coroutine function 만 등록 가능 (coroutine decorating)
        f = event_loop.create_task(slow_task(task_id=i))
        futures.append(f)

    # 최대 5초간 등록된 task 의 종료를 기다린다.
    event_loop.run_until_complete(asyncio.wait(futures, timeout=5))
    event_loop.close()

    process_time = time.time() - start_time

    print("process time : {}".format(process_time))