Nghiên cứu nhân rộng về nhận thức so với hiệu quả kiểm thử phần mềm

Bảng Liên Kết

Tóm tắt

1 Giới thiệu

2 Nghiên Cứu Gốc: Câu Hỏi Nghiên Cứu và Phương Pháp Luận

3 Nghiên Cứu Gốc: Các Mối Đe Dọa Về Tính Hợp Lệ

4 Nghiên Cứu Gốc: Kết Quả

5 Nghiên Cứu Lặp Lại: Câu Hỏi Nghiên Cứu và Phương Pháp Luận

6 Nghiên Cứu Lặp Lại: Các Mối Đe Dọa Về Tính Hợp Lệ

7 Nghiên Cứu Lặp Lại: Kết Quả

8 Thảo Luận

9 Công Trình Liên Quan

10 Kết Luận Và Tài Liệu Tham Khảo

\

5 Nghiên Cứu Lặp Lại: Câu Hỏi Nghiên Cứu Và Phương Pháp Luận

Chúng tôi quyết định điều tra sâu hơn các kết quả của nghiên cứu gốc để tìm kiếm các yếu tố có thể đằng sau nhận thức sai lệch. Tâm lý học cho rằng nhận thức của con người có thể bị ảnh hưởng bởi các đặc điểm cá nhân như thái độ, sở thích cá nhân và kỳ vọng. Do đó, chúng tôi quyết định xem xét ý kiến của người tham gia bằng cách tiến hành lặp lại có sự khác biệt so với nghiên cứu gốc [47] nhằm mở rộng mục tiêu như sau:

1. Khảo sát về nhận thức hiệu quả được mở rộng để bao gồm các câu hỏi về chương trình.

2. Chúng tôi muốn tìm hiểu liệu nhận thức của người tham gia có thể bị chi phối bởi ý kiến của họ hay không. Cụ thể hơn: sở thích của họ (kỹ thuật yêu thích), hiệu suất của họ (kỹ thuật mà họ nghĩ họ đã áp dụng tốt nhất) và độ phức tạp của kỹ thuật hoặc chương trình (kỹ thuật mà họ nghĩ là dễ áp dụng nhất, hoặc chương trình đơn giản nhất để kiểm tra tự động).

   \ Do đó, nghiên cứu lặp lại xem xét lại RQ1 được nêu trong nghiên cứu gốc (lần này khảo sát được thực hiện bởi người tham gia cũng bao gồm các câu hỏi liên quan đến chương trình), và đề cập đến các câu hỏi nghiên cứu mới sau đây:

   – RQ1.6: Nhận thức của người tham gia có liên quan đến số lỗi được người tham gia báo cáo không? Chúng tôi muốn đánh giá xem người tham gia có coi kỹ thuật mà họ đã báo cáo nhiều lỗi hơn là kỹ thuật hiệu quả nhất hay không.

   – RQ2: Ý kiến của người tham gia có thể được sử dụng làm yếu tố dự báo cho hiệu quả kiểm tra tự động không?

   – RQ2.1: Ý kiến của người tham gia về các kỹ thuật và chương trình là gì? Chúng tôi muốn biết liệu người tham gia có ý kiến khác nhau về các kỹ thuật hoặc chương trình hay không.

   – RQ2.2: Ý kiến của người tham gia có dự đoán hiệu quả của họ không? Chúng tôi muốn đánh giá xem các ý kiến mà người tham gia có về kỹ thuật (hoặc chương trình) có dự đoán được kỹ thuật nào hiệu quả nhất đối với họ hay không.

   – RQ3: Có mối quan hệ nào giữa nhận thức và ý kiến của người tham gia không?

   – RQ3.1: Có mối quan hệ nào giữa nhận thức và ý kiến của người tham gia không? Chúng tôi muốn đánh giá xem các ý kiến mà người tham gia có về kỹ thuật (hoặc chương trình) có liên quan đến nhận thức của họ hay không.

   – RQ3.2: Có mối quan hệ nào giữa các ý kiến của người tham gia không? Chúng tôi muốn đánh giá xem một ý kiến nhất định mà người tham gia có về kỹ thuật có liên quan đến các ý kiến khác hay không.

   \ Để trả lời những câu hỏi này, chúng tôi lặp lại nghiên cứu gốc với sinh viên của cùng khóa học trong năm học tiếp theo. Lần này chúng tôi có 46 sinh viên. Các thay đổi được thực hiện đối với việc lặp lại thí nghiệm như sau: – Bảng câu hỏi được hoàn thành bởi người tham gia vào cuối thí nghiệm được mở rộng để bao gồm các câu hỏi mới. Thông tin chúng tôi muốn thu thập với các câu hỏi ý kiến là: – Hiệu suất của người tham gia về các kỹ thuật. Với câu hỏi này, chúng tôi đang đề cập đến sự tuân thủ quy trình. Kỹ thuật được áp dụng tốt nhất là kỹ thuật mà mỗi người tham gia nghĩ rằng mình đã áp dụng kỹ lưỡng hơn. Nó tương ứng với OT1: Bạn đã áp dụng kỹ thuật nào tốt nhất?

   \ – Sở thích của người tham gia. Chúng tôi muốn biết kỹ thuật yêu thích của mỗi người tham gia. Kỹ thuật mà họ cảm thấy thoải mái nhất khi áp dụng. Nó tương ứng với OT2: Bạn thích kỹ thuật nào nhất?

   – Độ phức tạp của kỹ thuật. Chúng tôi muốn biết kỹ thuật mà mỗi người tham gia nghĩ là dễ nhất để có được sự tuân thủ quy trình. Nó tương ứng với OT3: Kỹ thuật nào dễ áp dụng nhất?

   \ – Khả năng kiểm tra tự động của chương trình. Chúng tôi muốn biết chương trình nào dễ kiểm tra tự động hơn. Đây là chương trình mà việc tuân thủ quy trình có thể đạt được dễ dàng hơn. Nó tương ứng với OP1: Chương trình nào đơn giản nhất? Bảng 16 tóm tắt các câu hỏi khảo sát. Chúng tôi đã chọn những câu hỏi này vì chúng tôi cần đặt các câu hỏi đơn giản, có thể dễ dàng được người tham gia hiểu, đồng thời có ý nghĩa. Chúng tôi không muốn làm cho người tham gia choáng ngợp với các câu hỏi phức tạp có nhiều giải thích. Một bảng câu hỏi phức tạp có thể khiến sinh viên không muốn nộp nó.

   \ – Các lỗi của chương trình được thay đổi. Nghiên cứu gốc được thiết kế để tất cả các kỹ thuật đều hiệu quả trong việc tìm ra tất cả các lỗi được chèn vào. Chúng tôi chọn các lỗi có thể phát hiện được bằng tất cả các kỹ thuật để có thể so sánh các kỹ thuật một cách công bằng. Nghiên cứu lặp lại được thiết kế để bao gồm tình huống trong đó một số lỗi không thể được phát hiện bởi tất cả các kỹ thuật. Do đó, chúng tôi chèn một số lỗi mà các kỹ thuật không hiệu quả trong việc phát hiện. Ví dụ, BT không thể phát hiện một tính năng chưa được triển khai (vì người tham gia được yêu cầu tạo các trường hợp kiểm tra tự động chỉ từ mã nguồn). Tương tự,

EP không thể tìm thấy lỗi mà việc phát hiện phụ thuộc vào sự kết hợp của hai lớp tương đương không hợp lệ. Do đó, trong nghiên cứu lặp lại, chúng tôi chèn một số lỗi có thể được phát hiện bởi BT nhưng không phải EP và một số lỗi có thể được phát hiện bởi EP nhưng không phải BT vào mỗi chương trình (mỗi chương trình được gieo sáu lỗi). Lưu ý rằng thiết kế là cân bằng: chúng tôi chèn cùng một số lỗi mà BT có thể phát hiện, nhưng EP thì không, ngược lại –EP có thể phát hiện, nhưng BT thì không). Thay đổi này dự kiến sẽ ảnh hưởng đến hiệu quả của EP và BT, có thể thấp hơn so với nghiên cứu gốc. Nó không nên ảnh hưởng đến hiệu quả của CR.

– Chúng tôi thay đổi thứ tự áp dụng chương trình để nghiên cứu thêm các vấn đề về sự trưởng thành. Thứ tự bây giờ là: cmdline, ntree, nametbl. Thay đổi này không nên ảnh hưởng đến kết quả.

– Người tham gia chạy các trường hợp kiểm tra tự động của riêng họ. Có thể là những nhận thức sai lệch thu được trong nghiên cứu gốc là do người tham gia không chạy các trường hợp kiểm tra tự động của riêng họ.

– Không còn hai phiên bản nữa mà chỉ có một. Lỗi và thất bại không phải là mục tiêu của nghiên cứu này. Điều này giúp đơn giản hóa thí nghiệm. Bảng 17 cho thấy tóm tắt các thay đổi được thực hiện đối với nghiên cứu.

Để đo lường hiệu quả của kỹ thuật, chúng tôi tiến hành theo cách tương tự như trong nghiên cứu gốc. Chúng tôi không dựa vào các thất bại được báo cáo, vì người tham gia có thể:

1. Báo cáo dương tính giả (thất bại không thực sự).
2. Báo cáo cùng một thất bại nhiều lần (mặc dù họ được yêu cầu không làm như vậy).
3. Bỏ lỡ các thất bại tương ứng với các lỗi đã được thực hiện bởi kỹ thuật, nhưng vì một số lý do chưa được nhìn thấy.

Chúng tôi đo lường biến phản hồi mới (lỗi được báo cáo) bằng cách đếm số lượng lỗi/thất bại được báo cáo bởi mỗi người tham gia. Chúng tôi phân tích Phân tích cảm xúc RQ2.1 theo cách tương tự như RQ1.1, và RQ1.6, RQ2.2, RQ3.1 và RQ3.2 như RQ1.2. Bảng 18 tóm tắt các kiểm tra tự động thống kê được sử dụng để trả lời từng câu hỏi nghiên cứu.

\

6 Nghiên Cứu Lặp Lại: Các Mối Đe Dọa Về Tính Hợp Lệ

Các mối đe dọa về tính hợp lệ được liệt kê trong nghiên cứu gốc áp dụng cho nghiên cứu lặp lại này. Ngoài ra, chúng tôi đã xác định những mối đe dọa sau:

6.1 Tính Hợp Lệ Của Kết Luận

1. Độ tin cậy của việc thực hiện điều trị. Thí nghiệm lặp lại được thực hiện bởi cùng các nhà nghiên cứu đã thực hiện thí nghiệm gốc. Điều này đảm bảo rằng hai nhóm người tham gia không thực hiện các phương pháp điều trị khác nhau.

   6.2 Tính Hợp Lệ Nội Bộ

   1. Lo lắng về đánh giá. Việc sử dụng sinh viên và liên kết hiệu suất của họ trong thí nghiệm với điểm số của họ trong khóa học có thể giải thích rằng người tham gia cho rằng hiệu suất của họ chứ không phải điểm yếu của các kỹ thuật giải thích hiệu quả của một kỹ thuật.

6.3 Tính Hợp Lệ Của Cấu Trúc

1. Giải thích trước hoạt động không đầy đủ về các cấu trúc hiệu ứng. Vì ý kiến là các cấu trúc khó vận hành, tồn tại khả năng các câu hỏi xuất hiện trong bảng câu hỏi không được người tham gia hiểu theo cách chúng tôi dự định. 6.4 Tính Hợp Lệ Bên Ngoài

2. Khả năng tái tạo kết quả. Không rõ ràng đến mức nào các kết quả thu được ở đây có thể tái tạo. Do đó, cần nhiều nghiên cứu lặp lại hơn.

   \ Các bước cần tuân theo là:

   (a) Lặp lại nghiên cứu thu thập các lý do cho các câu trả lời được đưa ra bởi người tham gia.

   (b) Thực hiện nghiên cứu với các chuyên gia có cùng đặc điểm như sinh viên được sử dụng trong nghiên cứu này (những người có ít hoặc không có kinh nghiệm trong kiểm tra tự động phần mềm).

   (c) Khám phá và xác định các loại kinh nghiệm nào có thể ảnh hưởng đến kết quả (học thuật, chuyên nghiệp, lập trình, kiểm tra tự động, v.v.).

   (d) Chạy các nghiên cứu mới có tính đến các mức độ kinh nghiệm tăng dần.

   \ Một lần nữa, trong tất cả các mối đe dọa ảnh hưởng đến nghiên cứu lặp lại, mối đe dọa duy nhất có thể ảnh hưởng đến tính hợp lệ của kết quả của nghiên cứu này trong bối cảnh công nghiệp là mối đe dọa liên quan đến tổng quát hóa sang các loại đối tượng khác.

\

:::info Tác giả:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

:::info Bài viết này có sẵn trên arxiv theo giấy phép CC BY-NC-ND 4.0.

:::

\