nutshell-cache-verification/docs/evaluation_mapping.md

2.9 KiB
Raw Permalink Blame History

评审标准逐项映射

专业技术评估四维度

维度 权重 仓库对应证据 自评说明
完备性 40% tests/test_smoke.py, tests/test_directed.py, tests/test_coherence.py, tests/test_random_crv.py, reports/model_coverage.md 覆盖核心读写、miss/refill、mask、替换、MMIO uncached、coherence probe hit/miss、flush、raw write burst硬件回归 12 passed
技术深度 30% src/env/, src/generator/crv.py, src/scoreboard/, scripts/inject_bug.py Toffee 分层 Agent/Env/ModelCRV 包含复杂 Cache cornerfault injection 可杀死 3/3 RTL mutants
AI 使用效能 20% docs/ai_collaboration.md 明确记录 AI 生成模块、AI 盲区、人工修正和 Prompt Tuning 策略
工程质量 10% LICENSE, THIRD_PARTY_NOTICES.md, Readme.md, docs/, reports/, .gitignore, Makefile Apache 2.0,第三方来源说明,标准目录,生成物忽略,可复现命令和数据报告齐全

量化“人工协同”分值映射

评分项 分值 对应内容
基础环境构建 20 Picker/Verilator DUT 生成、Toffee env、SimpleBus RAM、pytest 回归:make gen_dut, make test-hw
人工干预与优化 25 WRITERSP don't-care 修正Python ABI 修正CRV corner caseMMIO uncached 盲区修复coherence probe agentflush/burst RTL stressscoreboard 诊断3/3 mutant audit
验证覆盖率达标 15 模型回归 325 transactions100%;硬件随机 245 transactions100%required bins 无缺失
协同过程记录 20 docs/ai_collaboration.md 的模块来源表、AI 缺陷与人工修正表、Prompt Tuning 表
工程规范与可复现性 20 Apache 2.0 LICENSE第三方 noticessrc/, tests/, docs/, reports/Makefile target.gitignore 排除生成物

一等奖要求对齐

  • 资深验证专家视角:采用架构透明 oracle + 协议级 scoreboard而非简单波形比对。
  • 高人工逻辑密度:人工定义 Cache replacement、dirty writeback、MMIO decode、coherence probe、mask merge 等高风险场景。
  • AI 缺陷与人工修正对比表:见 docs/ai_collaboration.md
  • Bug 拦截证明mask_merge RTL mutant 被 Toffee compare 检出,见 reports/fault_mask_merge_audit.md
  • 开源合规:根目录 LICENSE 为 Apache License 2.0。

一票否决项检查

要求 状态
根目录包含 Apache 2.0 LICENSE 已满足:LICENSE
目录结构规范 已满足:src/, tests/, docs/, reports/, scripts/, rtl/
禁止提交冗余中间件 已满足:.gitignore 忽略 Cache/, wave, .dat, fault mutant .v, logs, pycachemake clean 不再删除已跟踪报告证据
非纯 AI 原始输出 已满足:人工修正/补强记录见 docs/ai_collaboration.md