!6 测试赛题模板

Merge pull request !6 from Kevin Zhang/dev
This commit is contained in:
Kevin Zhang 2025-08-20 14:48:44 +00:00 committed by Gitee
commit 5d16422fbd
No known key found for this signature in database
GPG Key ID: 173E9B9CA92EEF8F
2 changed files with 61 additions and 16 deletions

View File

@ -0,0 +1,36 @@
name: 赛题(CP)
description: 参赛题目
title: "[cp]: "
labels: ["cp"]
body:
- type: markdown
attributes:
value: |
感谢你积极参与比赛,并提交自己希望参加的赛题,当出现一样的题目、一样的性能的时候,以谁创建赛题的时间早者优先。
- type: textarea
id: desired-solution
attributes:
label: 你提交的赛题的内容介绍
description: 清晰并简洁地描述你希望参赛的内容详细的描述,尽量清晰方便他人了解赛题希望达成的目标。
validations:
required: true
- type: textarea
id: alternatives
attributes:
label: 赛题有对应的预期结果
description: 清晰并简洁地描述赛题完成的预期结果,最佳的方式是知道如何测试验证预期结果的正确性。
validations:
required: false
- type: textarea
id: additional-context
attributes:
label: 你有其他相关背景的信息吗?
description: 在此处添加有关想法的任何其他上下文或截图。
validations:
required: false
- type: checkboxes
attributes:
label: 希望他人来完成赛题
options:
- label: 我有意向他人来完成该赛题,并希望推荐给别人完成。
required: false

View File

@ -24,14 +24,32 @@
## 📥 如何参与提交?
### ✅ 参赛资格
- 你提交的样本中,**至少有 1 个样本被评审通过并正式整合到“GPU CodeForces” 数据集**,即可算作有效参赛。
- 你提交的PR样本中,**至少有 1 个样本被评审通过并正式整合到“GPU CodeForces” 数据集**,即可算作有效参赛。
### 📦 提交内容
- **一个 JSON 格式的数据集文件**(详细格式请参考《评测数据集生成挑战赛样本和要求说明》)。
- 每个数据集需包含:
1. **测试样本**(代码或数据)
2. **标准 GTGround Truth输出生成函数**(基于 CPU/Numpy 或原始框架)
3. **CUDA 性能评估指标**(执行时间、吞吐量、内存带宽)
### 📦 提交PR内容
- **一个PR包含样本的目录** [提交样例](https://gitee.com/ccf-ai-infra/GPUCodeForces/tree/main/example/001-example)
- 每个提交目录建议包含如下:
1. **示例代码:** torch代码示例
2. **对比代码:** 和torch对应的CUDA代码
3. **测试代码入口:** run_code.py请务必用这个名称提交的PR会根据这个名称在GPU上测试结果
4. **其它文件(或目录):** prompt利用LLM从torch代码生成cuda代码的prompt示例或者其它优化代码
4. **PR目录说明文件** https://gitee.com/ccf-ai-infra/GPUCodeForces/blob/main/example/001-example/readme.md
### 📦 提交PR的格式
建议在开始做题目之前创建一个赛题提交的PR和自己创建的赛题相关联。参赛选手在每个比赛周期的目录下例如第一期S1、第二期S2、第三期S3...创建一个目录目录名称赛题的ID例如
```
```
---
## 🏅 竞赛排名机制
1. **优先按接受数量从高到低排序**
2. 若数量相同:
- 比较总评分高者优先
- 若仍相同,比加分项得分高者优先
---
@ -54,15 +72,6 @@
---
## 🏅 排名机制
1. **优先按接受数量从高到低排序**
2. 若数量相同:
- 比较总评分高者优先
- 若仍相同,比加分项得分高者优先
---
## 📚 术语解释
- **评测数据集**:用来测试 GPU 性能的一组标准化样本,包括代码、输入数据和预期结果。