forked from Kexing/AI4SE_Practices
This commit is contained in:
parent
c48200455a
commit
2e3e7aedc5
|
|
@ -1,14 +1,14 @@
|
|||
# AI4SE工具测试总结报告
|
||||
|
||||
> **报告日期**:2025-01-XX
|
||||
> **测试类别**:requirements-analysis、architecture-design、code-generation、debugging、local-models、code-refactor、code-review、devops-ci-cd、documentation、project-management、test-generation、full-flow
|
||||
> **报告日期**:2025-12-08
|
||||
> **测试类别**:12个:requirements-analysis、architecture-design、code-generation、debugging、local-models、code-refactor、code-review、devops-ci-cd、documentation、project-management、test-generation、full-flow
|
||||
> **工具总数**:37个
|
||||
> **已完成测试**:16个
|
||||
> **待测试**:21个
|
||||
|
||||
## 📋 执行摘要
|
||||
|
||||
本报告总结了AI4SE项目中十二个工具类别的测试情况:
|
||||
本报告总结了AI4SE项目中12个工具类别的测试情况:
|
||||
- **需求分析类(requirements-analysis)**:4个工具
|
||||
- **架构设计类(architecture-design)**:4个工具
|
||||
- **代码生成类(code-generation)**:3个工具
|
||||
|
|
@ -44,10 +44,13 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **CodeBuddy** ✅ 已测试
|
||||
2. **GitHub Copilot** ✅ 已测试
|
||||
3. **Atlassian Intelligence** ⏳ 待测试
|
||||
4. **ChatGPT** ⏳ 待测试
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [CodeBuddy ✅](./requirements-analysis/codebuddy/overview.md) | AI 需求分析与设计助手 | 结构化需求/用户故事/技术方案,覆盖FR/NFR | 缺少优先级与追溯矩阵 | 免费/订阅,云端 |
|
||||
| [GitHub Copilot ✅](./requirements-analysis/github-copilot/overview.md) | 通用代码/需求生成助手 | 并发与性能建议清晰,IDE集成好 | 缺少优先级与容量规划,安全细节需补充 | $10/月,云端 |
|
||||
| [Atlassian Intelligence ⏳](./requirements-analysis/atlassian-intelligence/overview.md) | Jira/Confluence内嵌需求智能 | 链路追溯潜力、工具链集成 | 需订阅,功能待验证 | 付费,云端 |
|
||||
| [ChatGPT ⏳](./requirements-analysis/chatgpt/overview.md) | 通用LLM做需求分析 | 通用性强,解释充分 | 需付费,缺IDE深度集成 | $20/月,云端 |
|
||||
|
||||
|
||||
### 已完成测试:CodeBuddy
|
||||
|
||||
|
|
@ -150,10 +153,13 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **ChatLLM-Mermaid** ✅ 已测试
|
||||
2. **畅图** ✅ 已测试
|
||||
3. **Eraser** ⏳ 待测试
|
||||
4. **MakeCharts** ⏳ 待测试
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [ChatLLM-Mermaid ✅](./architecture-design/ChatLLM-Mermaid/overview.md) | 对话生成Mermaid架构/流程/序列图 | 门槛低,免费,图表类型多(Mermaid范围内) | 复杂UML有限,需渲染器,代码质量需调 | 免费,云端 |
|
||||
| [畅图 ✅](./architecture-design/畅图/overview.md) | 自然语言生成流程/类图 | 易用,图表质量好,多种常见图表 | UML覆盖有限,功能待补充 | 待测定价,云端 |
|
||||
| [Eraser ⏳](./architecture-design/Eraser/overview.md) | AI驱动专业架构设计 | 功能全面预期 | 可能付费,访问受限待测 | 付费/待测,云端 |
|
||||
| [MakeCharts ⏳](./architecture-design/MakeCharts/overview.md) | AI生成多类型图表 | 多图表类型预期 | 可能付费,访问受限待测 | 付费/待测,云端 |
|
||||
|
||||
|
||||
### 已完成测试:ChatLLM-Mermaid
|
||||
|
||||
|
|
@ -249,9 +255,12 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **Cursor** ✅ 已测试
|
||||
2. **CodeLlama** ⏳ 待测试
|
||||
3. **GitHub Copilot** ⏳ 待测试
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [Cursor ✅](./code-generation/cursor/overview.md) | IDE内AI编程助手 | 响应快,代码结构清晰,功能完整,安全考量 | 边界处理不足,PEP8欠佳,会话管理问题 | $20/月,云端 |
|
||||
| [CodeLlama ⏳](./code-generation/codelama/overview.md) | 开源本地大模型 | 免费可离线,隐私好,可定制 | 需高VRAM,速度慢,部署复杂 | 免费,本地GPU |
|
||||
| [GitHub Copilot ⏳](./code-generation/github-copilot/overview.md) | IDE内代码补全/生成 | 质量与集成预期高 | 需订阅,无法本地部署 | $10/月,云端 |
|
||||
|
||||
|
||||
### 已完成测试:Cursor
|
||||
|
||||
|
|
@ -315,9 +324,12 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **Cursor Debug** ✅ 已测试
|
||||
2. **ChatGPT Debug** ⏳ 待测试
|
||||
3. **Sentry AI** ⏳ 待测试
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [Cursor Debug ✅](./debugging/cursor-debug/overview.md) | Cursor内置调试助手 | Bug定位准,修复建议可行,响应快 | 需上下文,复杂业务识别有限,依赖网络 | $20/月,云端 |
|
||||
| [ChatGPT Debug ⏳](./debugging/chatgpt-debug/overview.md) | 通用LLM调试 | 解释充分,多语言 | 需订阅,IDE集成一般 | 付费,云端 |
|
||||
| [Sentry AI ⏳](./debugging/sentry-ai/overview.md) | 生产错误监控+AI根因 | 生产监控、分组、上下文丰富 | 需集成SDK,付费/网络依赖,开发阶段有限 | 免费/付费,云端 |
|
||||
|
||||
|
||||
### 已完成测试:Cursor Debug
|
||||
|
||||
|
|
@ -409,9 +421,12 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **CodeLlama** ✅ 已测试
|
||||
2. **Qwen-Coder** ⏳ 待测试
|
||||
3. **StarCoder** ⏳ 待测试
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [CodeLlama ✅](./local-models/codelama/overview.md) | 开源本地代码模型 | 免费离线,隐私好,多语言 | 高显存、速度慢、质量中等、部署复杂 | 免费,本地GPU |
|
||||
| [Qwen-Coder ⏳](./local-models/qwen-coder/overview.md) | 中文友好本地模型 | 中文/本地部署优势 | 需高硬件,速度待测 | 免费,本地GPU |
|
||||
| [StarCoder ⏳](./local-models/starcoder/overview.md) | 大规模多语言模型 | 多语言广覆盖,质量预期高 | 需24GB+显存,速度慢 | 免费,本地GPU |
|
||||
|
||||
|
||||
### 已完成测试:CodeLlama
|
||||
|
||||
|
|
@ -497,8 +512,11 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **CodeBuddy** ✅ 已测试
|
||||
2. **Refact** ⏳ 待测试
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [CodeBuddy ✅](./refactoring/CodeBuddy/overview.md) | AI重构与安全优化 | 结构清晰,安全性好,速度快 | 性能未优化,PEP8不足,无日志监控,会话管理问题 | 免费/订阅,云端 |
|
||||
| [Refact ⏳](./refactoring/Refact/overview.md) | 开源本地重构工具 | 免费本地,隐私好 | 速度预期中等,硬件需求,功能待测 | 免费,本地 |
|
||||
|
||||
|
||||
### 已完成测试:CodeBuddy
|
||||
|
||||
|
|
@ -554,9 +572,11 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **Cursor** ✅ 已测试
|
||||
2. **GitHub Copilot** ⏳ 待测试
|
||||
3. **SonarQube** ⏳ 待测试
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [Cursor ✅](./code-review/Cursor/overview.md) | IDE内代码审查AI | 高召回/精确率,修复建议可行,误报低 | 需上下文,低严重性风格检测有限,需联网 | $20/月,云端 |
|
||||
| [GitHub Copilot ⏳](./code-review/github-copilot/overview.md) | IDE内审查/补全 | 集成好,能力预期强 | 需订阅,未验证数据 | $10/月,云端 |
|
||||
| [SonarQube ⏳](./code-review/sonarqube/overview.md) | 企业级代码质量平台 | 覆盖语言多,CI友好 | 配置复杂,需服务器 | 免费/付费,自托管 |
|
||||
|
||||
### 已完成测试:Cursor
|
||||
|
||||
|
|
@ -638,9 +658,12 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **DevOpsGPT** ✅ 已测试
|
||||
2. **aider** ⏳ 待测试
|
||||
3. **CodeFuse-Chatbot** ⏳ 待测试
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [DevOpsGPT ✅](./devops-ci-cd/DevOpsGPT/overview.md) | DevOps全流程助手 | 需求到部署全链路,自动化高,中文支持 | env配置多,文档待补,需联网 | 免费,云端 |
|
||||
| [aider ⏳](./devops-ci-cd/aider/overview.md) | CLI AI编程/DevOps助手 | 轻量,Git友好 | 需命令行习惯,功能待测 | 免费,本地/云端 |
|
||||
| [CodeFuse-Chatbot ⏳](./devops-ci-cd/CodeFuse-Chatbot/overview.md) | 多语言AI开发/DevOps | 中文好,功能全 | 需注册,部分付费 | 免费/付费,云端 |
|
||||
|
||||
|
||||
### 已完成测试:DevOpsGPT
|
||||
|
||||
|
|
@ -703,9 +726,12 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **CodeGPT** ✅ 已测试
|
||||
2. **Cursor** ✅ 已测试
|
||||
3. **GitHub Copilot** ✅ 已测试
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [CodeGPT ✅](./documentation/CodeGPT/overview.md) | 文档生成助手 | 覆盖率/准确性高,示例实用 | 类型精度可提升,验证细节遗漏 | 免费/付费,云端 |
|
||||
| [Cursor ✅](./documentation/cursor/overview.md) | IDE内文档生成 | 准确性高,示例可运行率高,速度快 | 个别异常说明/示例需微调 | $20/月,云端 |
|
||||
| [GitHub Copilot ✅](./documentation/github-copilot/overview.md) | IDE文档与注释 | 集成好,结构清晰 | 需订阅,准确性/示例待验证 | $10/月,云端 |
|
||||
|
||||
|
||||
### 已完成测试:CodeGPT
|
||||
|
||||
|
|
@ -820,9 +846,12 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **vibe-kanban** ✅ 已测试
|
||||
2. **AppFlowy** ⏳ 待测试
|
||||
3. **OpenHands** ⏳ 待测试
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [vibe-kanban ✅](./project-management/vibe-kanban/overview.md) | 多Agent项目管理 | 任务分配/进度跟踪/合并产物 | 配置多,文档待补,需联网 | 免费,云端 |
|
||||
| [AppFlowy ⏳](./project-management/AppFlowy/overview.md) | 开源项目管理 | 多视图,免费 | 本地部署/配置复杂,待测体验 | 免费,本地 |
|
||||
| [OpenHands ⏳](./project-management/OpenHands/overview.md) | 开源AI协作开发 | 免费开源,多Agent潜力 | 需GPU,本地部署复杂 | 免费,本地GPU |
|
||||
|
||||
|
||||
### 已完成测试:vibe-kanban
|
||||
|
||||
|
|
@ -885,9 +914,12 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **Qodo** ✅ 已测试
|
||||
2. **KaneAI** ⏳ 待测试
|
||||
3. **LangChain** ⏳ 待测试
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [Qodo ✅](./test-generation/Qodo/overview.md) | 开源AI测试生成 | 免费,多语言,智能断言 | 已停维护,配置复杂,需联网 | 免费,云端 |
|
||||
| [KaneAI ⏳](./test-generation/KaneAI/overview.md) | AI测试生成 | 生成能力预期强 | 需实测数据,细节未知 | 待测,云端 |
|
||||
| [LangChain ⏳](./test-generation/LangChain/overview.md) | 可定制测试生成框架 | 灵活可编排 | 配置/学习曲线高 | 免费,本地/云端 |
|
||||
|
||||
|
||||
### 已完成测试:Qodo
|
||||
|
||||
|
|
@ -951,9 +983,11 @@
|
|||
|
||||
### 工具列表
|
||||
|
||||
1. **Cursor** ✅ 已测试
|
||||
2. **CodeBuddy** ✅ 已测试
|
||||
3. **InsCode-快马** ✅ 已测试(未成功)
|
||||
| 工具 | 定位/简介 | 主要优势 | 主要劣势 | 付费/部署 |
|
||||
|------|-----------|---------|---------|-----------|
|
||||
| [Cursor ✅](./full-flow/Cursor/overview.md) | 全流程生成/调试 | 代码质量高,可直接运行,结构完整 | 构建时间较长,与CodeBuddy结果相似 | $20/月,云端 |
|
||||
| [CodeBuddy ✅](./full-flow/CodeBuddy/overview.md) | 全流程生成 | 构建速度快,功能完整,可修复错误 | 初始有编译错误,调试笨重,结果与Cursor相似 | 免费/付费,云端 |
|
||||
| [InsCode-快马 ✅(未成功)](./full-flow/InsCode-快马/overview.md) | 在线全流程平台 | Web免安装,中间步骤可跑通 | 构建耗时长,最终失败,稳定性差 | 待测,云端 |
|
||||
|
||||
### 已完成测试:Cursor
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue