MariaDB Performance Test - goddes4/python-study-wiki GitHub Wiki

Python Connector 설치

# pip install --egg mysql-connector-python-rf

테스트 코드

from mysql.connector import connect
import time

p_list = []
current_time = time.time()
for i in range(100000):
    p_list.append(
        (
            "Joshuaxx{}".format(i), "layoutyy{}".format(i),
            "123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890",
            "12345678901234567890123456789012345678901234567890", "nfc", current_time,
        ))

conn = connect(user='root', password='rainus!@#', host='localhost', database='infortab')
cur = conn.cursor()
cur_time = time.time()

cur.executemany('REPLACE INTO t_product (pr_code, layout_id, pr_info, page, nfc, last_modified) VALUES (%s, %s, %s, %s, %s, %s)', p_list)
diff_time = time.time() - cur_time

print('diff time : ', diff_time)
cur.close()
conn.commit()
conn.close()

Insert 하기전에 DB 설정

# SET GLOBAL max_allowed_packet = 1073741824;

10만개 데이터 입력

insert = 3.1s
replace = 10.94s

각각 다른 테이블에 10만건 입력 속도 측정 (REPLACE INTO)

1 stire : 10.45s
2 store : 10.47s
3 store : 11.18s
4 store : 11~13s
5 store : 15~17s
6 store : 17~19s
7 store : 22~24s
8 store : 24~26s

※ 연결당 Thread Pool에서 Thread를 할당 받아 처리

1000만건 파일 생성 (속도 : 15.37s, 용량 : 2.4G)

import time
p_list = []
current_time = time.time()
with open('/tmp/test.csv', 'w') as f:
    for i in range(10000000):
        f.write("Joshuaxx{},layoutyy{},123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890,12345678901234567890123456789012345678901234567890,nfc,{}\n".format(i, i, current_time))
diff_time = time.time() - current_time

print('diff time : ', diff_time)

파일 입력 및 출력 (/tmp 에서 수행)

# SELECT  * FROM t_product INTO OUTFILE '/tmp/test.csv'
# LOAD DATA INFILE '/tmp/test.csv' INTO TABLE t_product FIELDS TERMINATED BY ',';
결과 : 1000만건 107.07초

레코드 수 조회

# SELECT COUNT(*) FROM 테이블
MyISAM 은 테이블별 레코드수를 기억하고 있어서 빠름
innoDB 는 느림 (트리거를 이용한 카운트 테이블 고려)

레코드 있는지만 체크 할경우

# SELECT 1 FROM 테이블 LIMIT 1

카운트 테이블 (트리거 사용)

# CREATE TABLE t_product_cnt (cnt INT UNSIGNED NOT NULL);
# INSERT INTO t_product_cnt VALUES (0);

# DELIMITER |
# CREATE TRIGGER t_product_insert AFTER INSERT ON t_product FOR EACH ROW BEGIN
   UPDATE t_product_cnt  SET cnt=cnt+1;
END|

# CREATE TRIGGER t_product_delete AFTER DELETE ON t_product FOR EACH ROW BEGIN
   UPDATE t_product_cnt SET cnt=cnt-1;
END|

# DELIMITER ;