Task11 示例输入:本地化大模型(部署与测试提示)
目标机器信息(示例)
- 操作系统:Ubuntu 22.04
- GPU:NVIDIA RTX 4090,显存 24GB
- 可用内存:64GB
部署要求
安装并启动 CodeLlama-7B,本地提供一个 HTTP 接口用于代码补全与审查任务。
测试用例示例
- 提示:"为以下函数生成 docstring:def add(a, b): return a + b"
- 提示:"将以下同步函数改为异步实现,并说明潜在问题。"
记录:启动日志、平均响应时延(ms)、内存/显存占用。