mysqlBenchmarkTest - juedaiyuer/researchNote GitHub Wiki

#mysql基准测试#

基准测试

直接,简单,易于比较,用于评估服务器的处理能力

可能不关心业务逻辑,所使用的查询和业务的真实性可以和业务环境没有关系

压力测试

对真实的业务数据进行测试,获得真实系统所能承受的压力

需要针对不同主题,所使用的数据和查询也是真实用到的

mysql基准测试的目的

建立MySQL服务器的性能基准线,确定当前mysql服务器运行情况
模拟比当前系统更高的负载,以找出系统的扩展瓶颈；增加数据库并发,观察QPS,TPS变化,确定并发量与性能最优的关系
测试不同的硬件,软件和操作系统配置
证明新的硬件设备是否配置正确

##如何测试##

###对整个系统进行基准测试###

从系统入口进行测试(如网站web前端,手机APP前端)

优点

能够测试整个系统的性能,包括web服务器缓存,数据库等
能反映出系统中各个组件接口间的性能问题,体现真实性能状况

缺点

测试设计负责,消耗时间长

###单独对mysql进行基准测试###

优点

测试设计简单,消耗时间短

缺点

无法全面了解整个系统的性能基线

MySQL基准测试的常见指标

单位时间内所处理的事务数(TPS)
单位时间内所处理的查询数(QPS)
响应时间,平均响应时间,最小响应时间,最大响应时间,各时间所占百分比
并发量:同时处理的查询请求的数量,正在工作中的并发的操作数或同时工作的数量

数据库吞吐量:(1,2)

并发量不等于连接数

##基准测试步骤##

对整个系统还是某一组件

使用什么样的数据

准备基准测试及数据收集脚本

CPU使用率,IO,网络流量,状态与计数器信息等

Get_Test_info.sh

#!/bin/bash
INTERVAL=5
PREFIX=/home/imooc/benchmarks/$INTERVAL-sec-status
RUNFILE=/home/imooc/benchmarks/running
echo "1" > $RUNFILE
MYSQL=/usr/local/mysql/bin/mysql
$MYSQL -e "show global variables" >> mysql-variables
while test -e $RUNFILE; do
	file=$(date +%F_%I)
	sleep=$(date +%s.%N | awk '{print 5 - ($1 % 5)}')
	sleep $sleep
	ts="$(date +"TS %s.%N %F %T")"
	loadavg="$(uptime)"
	echo "$ts $loadavg" >> $PREFIX-${file}-status
	$MYSQL -e "show global status" >> $PREFIX-${file}-status &
	echo "$ts $loadavg" >> $PREFIX-${file}-innodbstatus
	$MYSQL -e "show engine innodb status" >> $PREFIX-${file}-innodbstatus &
	echo "$ts $loadavg" >> $PREFIX-${file}-processlist
	$MYSQL -e "show full processlist\G" >> $PREFIX-${file}-processlist &
	echo $ts
done
echo Exiting because $RUNFILE does not exists

运行基准测试

保存及分析基准测试结果

analyze.sh

#!/bin/bash
awk '
	BEGIN {
	 printf "#ts date time load QPS";
	 fmt=" %.2f";
	}
	/^TS/ {
	ts = substr($2,1,index($2,".")-1);
	load = NF -2;
	diff = ts - prev_ts;
	printf "\n%s %s %s %s",ts,$3,$4,substr($load,1,length($load)-1);
	prev_ts=ts;
	}
	/Queries/{
	printf fmt,($2-Queries)/diff;
	Queries=$2
	}
	' "$@"

基准测试中容易忽略的问题

使用生产环境数据时只使用了部分数据,推荐:使用数据库完全备份来测试
在多用户场景中,只做单用户的测试
在单服务器上测试分布式应用
反复执行同一查询,容易缓存命中,无法反应真实查询性能

##mysql基准测试工具##

###mysqlslap###

MySQL服务器自带的基准测试工具,随MySQL一起安装

特点

可以模拟服务器负载,并输出相关统计信息
可以指定也可以自动生成查询语句

常用参数说明

--auto-generate-sql 自动生成SQL脚本进行测试
--auto-generate-sql-add-autoincrement 在生成的表中增加自增id
--auto-generate-sql-load-type 指定测试中使用的查询类型
--auto-generate-sql-write-number 指定初始化数据时生成的数据量
--concurrency 指定并发线程的数量
--engine 指定要测试表的存储引擎,可以用逗号分割多个存储引擎
--no-drop 指定不清理测试数据
--iterations 指定测试运行的次数
--number-of-queries 指定每一个线程执行的查询数量
--debug-info 指定输出额外的内存及CPU统计信息
--number-int-cols 指定测试表中包含的INT类型列的数量
--number-char-cols 指定测试表中包含的varchar类型列的数量
--create-schema 指定了用于执行测试的数据库的名字
--query 用于指定自定义SQL的脚本
--only-print 并不运行测试脚本,而是把生成的脚本打印出来


mysqlslap --concurrency=1,50,100,200 --iterations=3 --number-int-cols=5 --number-char-cols=5 --auto-generate-sql --auto-generate-sql-add-autoincrement --engine=myisam,innodb --number-of-queries=10 --create-schema=sbtest