Tài Liệu Báo Cáo Kiểm Thử - TesterRepo/kiemthu_Group1 GitHub Wiki

1 Kế hoạch kiểm thử

  • Tài liệu này mô tả một kế hoạch kiểm thử để tiến hành một thử nghiệm khả năng sử dụng trong quá trình phát triển của sachmem.com. Các mục tiêu của kiểm thử khả năng sử dụng bao gồm việc thiết lập một cơ sở hiệu suất sử dụng, thiết lập và xác nhận biện pháp hiệu suất sử dụng, giao diện và xác định các mối quan tâm thiết kế tiềm năng để được giải quyết nhằm nâng cao hiệu quả, năng suất, và sự hài lòng của người dùng cuối.
  • Các mục tiêu của kiểm thử khả năng sử dụng là:
  • a. Để xác định mâu thuẫn và các vùng về vấn đề tiện ích trong các lĩnh vực giao diện người dùng và nội dung. Nguồn tiềm năng của các lỗi có thể bao gồm:
  1. a.1. Navigation error - failure để xác định vị trí chức năng, phải thực hiện quá nhiều thao tác để thực hiện một chức năng, không tuân theo dòng màn hình được đề nghị.
  2. a.2. Presentation error - failure để xác định vị trí và hành động đúng khi thông tin mong muốn trong các màn hình, lỗi lựa chọn do sự nhập nhằng nhãn mác.
  3. a.3. Kiểm soát vấn đề sử dụng thanh công cụ hoặc sử dụng không đúng lĩnh vực nhập cảnh.
  4. a.4. Các lỗi về giao diện, xử lý font chữ, hình ảnh.
  • b. Chạy website dưới các điều kiện kiểm thử được kiểm soát bởi người dùng đại diện. Dữ liệu sẽ được sử dụng để kiểm thử các mục tiêu của kiểm thử khả năng sử dụng như là: giao diện người dùng, hiệu quả, hiệu năng đã đạt được.
  • c. Thiết lập hiệu suất người dùng và các mức độ người dùng hài lòng của giao diện người dùng để đánh giá khả năng sử dụng trong tương lai
  • 1.1 Tóm tắt các công việc cần thực hiện
  • Tiến hành kiểm thử chức năng, kiểm thử giao diện của trang sachmem.com với sách Tiếng Anh 3 tập 1.
  • Nhóm tiến hành kiểm thử từng bài trong cuốn sách. Với mỗi bài, cần thực hiện đầy đủ các checklist sẽ được trình bày trong phần 2: Thiết kế ca kiểm thử của tài liệu này
  • 1.2 Phương pháp kiểm thử
  • Dựa trên các checklist được xây dựng, Các thành viên cần thực hiện đầy đủ các mục đã đặt ra, sao cho việc kiểm thử bao phủ toàn bộ cuốn sách. Với mỗi bài tập của sách, cần trực tiếp làm để phát hiện ra lỗi
  • Kết quả thực hiện trong quá trình kiểm thử sẽ được ghi lại dựa trên các tiêu chí sẽ được đề cập đến trong phần 2: Thiết kế ca kiểm thử của tài liệu này.
  • Nếu phát hiện các lỗi, các thành viên sẽ lưu lại các lỗi này để tiếp tục theo dõi
  • 1.3 Nhân lực
  • Nguyễn Thành Nam: Kiểm thử Unit1,2, 3 của cuốn sách.
  • Nguyễn Minh Chính: Kiểm thử Unit 4,5 và review1 của cuốn sách.
  • Dương Minh Đức: Kiểm thử Unit 6, 7 của cuốn sách
  • Phạm Minh Đức: Kiểm thử Unit 8,9 của cuốn sách
  • Trần Tuấn Anh: Kiểm thử Unit 10, review 2 của cuốn sách, tổng hợp, giám sát
  • 1.4 Tập huấn
  • Các thành viên tham gia kiểm thử sẽ được cung cấp mã sách để có thể xem được sách.
  • Tự học cách sử dụng website
  • Cung cấp tài liệu để lưu kết quả kiểm thử
  • 1.5 Quy trình
  • Các thành viên sẽ tiến hành kiểm thử tại nhà bằng máy tính cá nhân với trang web: sachmem.com. Các thành viên chỉ tiến hành kiểm thử với cuốn sách Tiếng Anh 3 Tập 1.
  • Phần mềm hỗ trợ: tùy ý
  • Người điều khiển, giám sát, hướng dẫn: Trần Tuấn Anh
  • Các thành viên tham gia
  • 1.6 Vai trò
  • Hướng dẫn:
  • Cung cấp cái nhìn tổng quan huấn luyện trước khi tiện ích kiểm tra
  • Cung cấp cái nhìn tổng quan của nghiên cứu để tham gia
  • Xác định khả năng sử dụng và mục đích kiểm tra khả năng sử dụng cho người tham gia
  • Hỗ trợ trong ứng xử của người tham gia và quan sát cuộc trao đổi phiên
  • Phản ứng với các yêu cầu của người tham gia để được hỗ trợ
  • Hành động và ý kiến của người tham gia ghi
  • Các nhà quan sát kiểm thử: Không có
  • Các thành viên thực hiện kiểm thử:
  • Thực hiện kiểm thử dựa trên các thiết kế có sẵn
  • Hỗ trợ lẫn nhau trong quá trình kiểm thử
  • Thông báo các khó khăn, sáng tạo với người hướng dẫn
  • Tất cả những thành viên được yêu cầu phải tuân thủ các nguyên tắc đạo đức sau đây:
  • Hiệu suất của bất kỳ người tham gia thử nghiệm không phải do cá nhân. Tên cá nhân của người tham gia không nên được sử dụng trong tài liệu tham khảo bên ngoài phiên thử nghiệm.
  • Mô tả về hiệu suất của người tham gia không cần phải báo cáo cho người quản lý của mình.
  • 1.7 Thước đo khả năng sử dụng.
  • Các thước đo dùng để đánh giá hiệu suất khả năng sử dụng. Một số tiêu chí đánh giá đó là tỷ lệ hoàn thành các thiết kế kiểm thử, mức độ bám sát yêu cầu chức năng, tỷ lệ lỗi, các đánh giá chủ quan cũng sẽ được sử dụng
  • 1.8 Kịch bản hoàn thành
  • Mỗi kịch bản sẽ được hoàn thành khi các mục tiêu của kịch bản đã được thực hiện hết( dù thành công hay không) hoặc các mục tiêu kịch bản không thực hiện được bởi một lỗi nghiêm trọng
  • 1.9 Lỗi nghiêm trọng
  • Lỗi nghiêm trọng là độ lệch của kết quả ca kiểm thử với mục tiêu của kịch bản. Lấy hoặc thông báo các giá trị dữ liệu sai bởi quá trình làm việc của các thành viên là một lỗi nghiêm trọng. Những thành viên có thể không biết răng mục tiêu kịch bản là không chính xác hoặc không đầy đủ.
  • 1.10 Lỗi không nghiêm trọng
  • Lỗi không nghiêm trọng là những lỗi không ảnh hưởng trực tiếp đến chức năng của phần mềm, nó thường là các lỗi nhỏ ở giao diện như font chữ, kích cỡ hình ảnh,….
  • 1.11 Những đánh giá chủ quan
  • Các đánh giá chủ quan là các đánh giá được thu bởi người dùng hoặc chính các thành viên kiểm thử.
  • Các đánh giá này được thu lại bằng cách đặt ra các câu hỏi đối với người dùng
  • 1.12 Kịch bản hoàn thành Thời gian (thời gian vào công việc)
  • Trong 4 ngày, từ 25/11/2015 đến 29/11/2015
  • 1.13 Mức độ nghiêm trọng vấn đề
  • Mức độ nghiêm trọng của lỗi được quy định cụ thể tại phần 2: Thiết kế ca kiểm thử của tài liệu này
  • Đánh giá mức độ nghiêm trọng của lỗi. Có ba mức độ lỗi:
  • a. High - ngăn chặn người dùng hoàn thành nhiệm vụ (lỗi nghiêm trọng)
  • b. Medium - gây khó khăn cho người sử dụng nhưng các nhiệm vụ có thể được hoàn thành (lỗi không quan trọng)
  • c. Low - vấn đề nhỏ mà không ảnh hưởng đáng kể việc hoàn thành nhiệm vụ (Đề xuất cải tiến)

2 Thiết kế kiểm thử

  • Các thành viên thực hiện kiểm thử dựa trên các câu hỏi dưới đây. Các câu hỏi được đánh giá một mức độ ưu tiên, từ đó xác định được các mức độ của các lỗi đó.
  • Lỗi sẽ được đánh giá theo mức độ nghiêm trọng của nó. Có các lớp mức độ nghiêm trọng sau đây:
  • 2.4 Kiểm thử tính năng
  • Kịch bản chung :
  • Để xác định hiệu suất, tính ổn định và khả năng mở rộng của một ứng dụng trong điều kiện khác nhau.
  • Để xác định xem các kiến trúc hiện tại có thể hỗ trợ các ứng dụng ở cấp độ người dùng cao cấp.
  • Để xác định cấu hình cung cấp mức hiệu suất tốt nhất.
  • Để xác định các ứng dụng và cơ sở hạ tầng thấp.
  • Để xác định xem phiên bản mới của phần mềm có bị ảnh hưởng đến thời gian đáp ứng.
  • Để đánh giá sản phẩm hoặc phần cứng để xác định xem nó có thể xử lý khối lượng tải.
  • Làm sao để thực hiện kiểm thử hiệu suất ? Bằng kiểm thử Manual hay tự động ?
  • Thực tế không thể làm kiểm thử bằng tay vì một số hạn chế :
  • Lượng tài nguyên rất lớn
  • Không thể thực hiện công việc đồng thời
  • Tích hợp giám sát không có sẵn
  • Khó thực hiện hành vi lặp đi lặp lại

3 Thực hiện kiểm thử:

Dựa vào các câu hỏi trong Thiết kế kiểm thử, các thành viên tiến hành kiểm thử theo công việc được giao. Các ca kiểm thử được lưu lại trong bảng.

4 Báo cáo kết quả kiểm thử

  • 4.1 Viết tắt và từ điển
  • 4.1.1 Viết tắt
  • 4.1.2 Từ điển
  • 4.2 Tài liệu
  • 4.2.1 Tài liệu dự án
  • Các tài liệu của dự án bao gồm:
  • Website sachmem.com
  • IEE Standard for Software and System Test Documentation
  • MUPePe Test Design Specification
  • 4.3 Điều khoản
  • 4.4 Tổng quan về kết quả kiểm thử
  • 4.4.1 Tests log
  • 4.4.2 Các cơ sở đưa ra quyết định
  • Các cơ sở đưa ra quyết định về kết quả của một ca kiểm thử như sau:
  • High - ngăn chặn người dùng hoàn thành nhiệm vụ (lỗi nghiêm trọng)
  • Trung bình - gây khó khăn cho người sử dụng nhưng các nhiệm vụ có thể được hoàn thành (lỗi không quan trọng)
  • Low - vấn đề nhỏ mà không ảnh hưởng đáng kể việc hoàn thành nhiệm vụ (Đề xuất cải tiến)
  • 4.5 Đánh giá chung về kết quả kiểm thử
  • Kết quả kiểm thử có thể có nhận xét chung như sau: Phần mềm chạy tương đối tốt, các lỗi nghiêm trọng làm ảnh hưởng đến hoạt động của phần mềm, làm phần mềm chạy sai là ít.
  • Đa số các lỗi tìm ra là các lỗi về giao diện.
  • Trong đó. Tỉ lệ các lỗi thu được như sau:
  • Có 189 ca kiểm thử được thực hiện
  • 111 không có lỗi
  • 34 đề xuất cải tiến
  • 33 lỗi không nghiêm trọng
  • 11 lỗi nghiêm trọng. trong 11 lỗi nghiêm trọng có nhiều lỗi lặp lại nhiều lần.

Như vậy:

  • Tỉ lệ lỗi nghiêm trọng là 5,8%
  • Tỉ lệ lỗi không nghiêm trọng là 17,4%
  • Tỉ lệ lỗi đề xuất cải tiến là 17,8%
  • 4.6 Sự phụ thuộc vào môi trường kiểm thử:
  • Trong các ca kiểm thử này, môi trường kiểm thử không có tác động nhiều đến kết quả kiểm thử.
  • Vì thế, kết quả kiểm thử này là tương đối khách quan