forked from ccf-ai-infra/GPUCodeForces
测试赛题模板
This commit is contained in:
parent
02f587e794
commit
a327df31b6
|
|
@ -0,0 +1,36 @@
|
||||||
|
name: 赛题(CP)
|
||||||
|
description: 参赛题目
|
||||||
|
title: "[cp]: "
|
||||||
|
labels: ["cp"]
|
||||||
|
body:
|
||||||
|
- type: markdown
|
||||||
|
attributes:
|
||||||
|
value: |
|
||||||
|
感谢你积极参与比赛,并提交自己希望参加的赛题,当出现一样的题目、一样的性能的时候,以谁创建赛题的时间早者优先。
|
||||||
|
- type: textarea
|
||||||
|
id: desired-solution
|
||||||
|
attributes:
|
||||||
|
label: 你提交的赛题的内容介绍
|
||||||
|
description: 清晰并简洁地描述你希望参赛的内容详细的描述,尽量清晰方便他人了解赛题希望达成的目标。
|
||||||
|
validations:
|
||||||
|
required: true
|
||||||
|
- type: textarea
|
||||||
|
id: alternatives
|
||||||
|
attributes:
|
||||||
|
label: 赛题有对应的预期结果
|
||||||
|
description: 清晰并简洁地描述赛题完成的预期结果,最佳的方式是知道如何测试验证预期结果的正确性。
|
||||||
|
validations:
|
||||||
|
required: false
|
||||||
|
- type: textarea
|
||||||
|
id: additional-context
|
||||||
|
attributes:
|
||||||
|
label: 你有其他相关背景的信息吗?
|
||||||
|
description: 在此处添加有关想法的任何其他上下文或截图。
|
||||||
|
validations:
|
||||||
|
required: false
|
||||||
|
- type: checkboxes
|
||||||
|
attributes:
|
||||||
|
label: 希望他人来完成赛题
|
||||||
|
options:
|
||||||
|
- label: 我有意向他人来完成该赛题,并希望推荐给别人完成。
|
||||||
|
required: false
|
||||||
41
README.md
41
README.md
|
|
@ -24,14 +24,32 @@
|
||||||
## 📥 如何参与提交?
|
## 📥 如何参与提交?
|
||||||
|
|
||||||
### ✅ 参赛资格
|
### ✅ 参赛资格
|
||||||
- 你提交的样本中,**至少有 1 个样本被评审通过并正式整合到“GPU CodeForces” 数据集**,即可算作有效参赛。
|
- 你提交的PR样本中,**至少有 1 个样本被评审通过并正式整合到“GPU CodeForces” 数据集**,即可算作有效参赛。
|
||||||
|
|
||||||
### 📦 提交内容
|
### 📦 提交PR内容
|
||||||
- **一个 JSON 格式的数据集文件**(详细格式请参考《评测数据集生成挑战赛样本和要求说明》)。
|
- **一个PR包含样本的目录** [提交样例](https://gitee.com/ccf-ai-infra/GPUCodeForces/tree/main/example/001-example)
|
||||||
- 每个数据集需包含:
|
- 每个提交目录建议包含如下:
|
||||||
1. **测试样本**(代码或数据)
|
1. **示例代码:** torch代码示例
|
||||||
2. **标准 GT(Ground Truth)输出生成函数**(基于 CPU/Numpy 或原始框架)
|
2. **对比代码:** 和torch对应的CUDA代码
|
||||||
3. **CUDA 性能评估指标**(执行时间、吞吐量、内存带宽)
|
3. **测试代码入口:** run_code.py(请务必用这个名称,提交的PR会根据这个名称在GPU上测试结果)
|
||||||
|
4. **其它文件(或目录):** prompt(利用LLM从torch代码生成cuda代码的prompt示例)或者其它优化代码
|
||||||
|
4. **PR目录说明文件:** https://gitee.com/ccf-ai-infra/GPUCodeForces/blob/main/example/001-example/readme.md
|
||||||
|
|
||||||
|
### 📦 提交PR的格式
|
||||||
|
|
||||||
|
建议在开始做题目之前创建一个赛题,提交的PR和自己创建的赛题相关联。参赛选手在每个比赛周期的目录下(例如:第一期S1、第二期S2、第三期S3...)创建一个目录,目录名称赛题的ID,例如:
|
||||||
|
```
|
||||||
|
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🏅 竞赛排名机制
|
||||||
|
|
||||||
|
1. **优先按接受数量从高到低排序**
|
||||||
|
2. 若数量相同:
|
||||||
|
- 比较总评分高者优先
|
||||||
|
- 若仍相同,比加分项得分高者优先
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
|
|
@ -54,15 +72,6 @@
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 🏅 排名机制
|
|
||||||
|
|
||||||
1. **优先按接受数量从高到低排序**
|
|
||||||
2. 若数量相同:
|
|
||||||
- 比较总评分高者优先
|
|
||||||
- 若仍相同,比加分项得分高者优先
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 📚 术语解释
|
## 📚 术语解释
|
||||||
|
|
||||||
- **评测数据集**:用来测试 GPU 性能的一组标准化样本,包括代码、输入数据和预期结果。
|
- **评测数据集**:用来测试 GPU 性能的一组标准化样本,包括代码、输入数据和预期结果。
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue