AI4SE_Practices/AI4SE-survey/test-standards/test-tasks/task6-test-generation.md

1.6 KiB
Raw Blame History

Task 6: 测试生成类Test Generation

任务描述

使用AI测试生成工具基于代码或接口规范自动生成单元测试、集成测试或端到端测试。测试目标是评估生成测试的正确性、覆盖率、健壮性以及断言的有效性。

子任务

  1. 为一小段业务逻辑生成至少 5 个单元测试(覆盖正常和边界条件)。
  2. 为一个 RESTful API 生成集成测试脚本(使用 HTTP 客户端或 Postman / HTTPie
  3. 评估并补充工具未覆盖的边界用例。

初始条件

  • 提供待测代码、接口文档和运行环境。

验收标准

  • 生成的测试在目标环境能够自动执行且通过(或能正确发现已知缺陷)。
  • 断言合理且能验证业务逻辑核心路径。
  • 测试覆盖率达到预设目标(例如:核心模块 70%+)。

测试步骤

  1. 将代码或接口文档输入工具并保存生成的测试代码为 task6-original-<tool>/tests/
  2. 在隔离环境运行测试并记录测试结果和失败案例。
  3. 对失败或不足的测试进行人工修补并记录修改点。

评估要点

  • 覆盖率和断言质量:是否真正验证了逻辑而非仅执行代码路径。
  • 鲁棒性:在不同输入场景下测试是否保持稳定。
  • 可维护性:生成测试是否清晰、易于扩展与阅读。

量化指标

  • 生成测试的通过率(%);生成后覆盖率(%);需要修改的测试数。

输出文件清单

  • task6-original-<tool>/tests/ — 原始生成的测试文件
  • task6-final-<tool>/tests/ — 修订后的测试
  • task6-eval-<tool>.md — 评估报告与覆盖率数据