From 0df0d6f30567e3f3fcf2ffd69c8c761e401ad2bc Mon Sep 17 00:00:00 2001 From: tanglj Date: Tue, 14 Dec 2021 18:01:57 +0800 Subject: [PATCH 01/10] update --- README.md | 85 ++++++++++++++++++++++++++++--------------------------- 1 file changed, 44 insertions(+), 41 deletions(-) diff --git a/README.md b/README.md index 996b276..8a234be 100644 --- a/README.md +++ b/README.md @@ -1,60 +1,63 @@ # 如何在启智平台上进行模型训练 -## 概述 -- ModelArts是华为云提供的面向开发者的一站式AI开发平台，集成了昇腾AI处理器资源池，用户可以在ModelArts下体验MindSpore。OBS是华为云提供的存储方式。 -启智平台对接ModelArts和OBS，将数据集，代码，训练资源池等整合在启智平台上供开发者使用 -本教程以LeNet-MNIST为例，简要介绍如何在启智平台上使用MindSpore完成训练任务。 -## MNIST_Example -- 本项目旨在为AI初学者提供云脑训练示例。大家可以直接使用本项目提供的数据集和代码文件创建自己的训练任务。 +## 概述 +- 本项目以LeNet-MNIST为例，简要介绍如何在启智AI协同平台上使用MindSpore完成训练任务，旨在为AI初学者提供云脑训练示例。 +- 大家可以直接使用本项目提供的数据集和代码文件创建自己的训练任务。 +- 启智平台对接ModelArts和OBS，将数据集，代码，训练资源池等整合在启智AI协同平台上供开发者使用。 + - ModelArts是华为云提供的面向开发者的一站式AI开发平台，集成了昇腾AI处理器资源池，用户可以在ModelArts下体验MindSpore。 + - OBS是华为云提供的存储方式。 + ## 准备工作 -- 启智平台使用准备，本项目需要用户创建启智平台账户，克隆代码到自己的账户，上传数据集，可以通过访问[OpenI_Learning](https://git.openi.org.cn/zeizei/OpenI_Learning)项目学习小白训练营系列课程进行学习。 +- 启智平台使用准备，本项目需要用户创建启智平台账户，克隆代码到自己的账户，上传数据集，具体操作方法可以通过访问[OpenI_Learning](https://git.openi.org.cn/zeizei/OpenI_Learning)项目学习小白训练营系列课程进行学习。 + ## 数据准备 - 数据集可从本项目的数据集目录中下载，[数据集下载](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/datasets?type=1) -### 数据文件说明 -- MNISTData数据集是由10类28∗28的灰度图片组成，训练数据集包含60000张图片，测试数据集包含10000张图片。 -数据集文件的目录结构如下： -MNIST_Data -├── test -│ ├── t10k-images-idx3-ubyte -│ └── t10k-labels-idx1-ubyte -└── train - ├── train-images-idx3-ubyte - └── train-labels-idx1-ubyte +- 数据文件说明 + - MNISTData数据集是由10类28∗28的灰度图片组成，训练数据集包含60000张图片，测试数据集包含10000张图片。 + - 数据集文件的目录结构如下： + MNIST_Data + ├── test + │ ├── t10k-images-idx3-ubyte + │ └── t10k-labels-idx1-ubyte + └── train + ├── train-images-idx3-ubyte + └── train-labels-idx1-ubyte + ## 执行脚本准备 ### 示例代码 - 示例代码可从本仓库中下载，[代码下载](https://git.openi.org.cn/OpenIOSSG/MNIST_Example) -### 代码文件说明 -- [train.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/train.py)，用于训练的脚本文件，包括将数据集从obs拷贝到训练镜像中、指定迭代次数、把训练后的模型数据拷贝回obs等。具体说明请参考[train.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/train.py)的代码注释 +- 代码文件说明 + - [train.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/train.py)，用于训练的脚本文件，包括将数据集从obs拷贝到训练镜像中、指定迭代次数、把训练后的模型数据拷贝回obs等。具体说明请参考[train.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/train.py)的代码注释 -- [inference.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/eval.py)，用于推理的脚本文件。 + - [inference.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/eval.py)，用于推理的脚本文件。 -- [eval.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/eval.py)，用于验证的脚本文件。 + - [eval.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/eval.py)，用于验证的脚本文件。 -- [config.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/config.py)，网络配置信息，在train.py中会使用到。 + - [config.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/config.py)，网络配置信息，在train.py中会使用到。 -- [dataset.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/dataset.py)，对原始数据集进行预处理，产生可用于网络训练的数据集。 + - [dataset.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/dataset.py)，对原始数据集进行预处理，产生可用于网络训练的数据集。 -- [lenet.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/lenet.py)，使用的训练网络,在train.py中会使用到。 + - [lenet.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/lenet.py)，使用的训练网络,在train.py中会使用到。 + ## 创建训练任务 -准备好数据和执行脚本以后，需要创建训练任务将MindSpore脚本真正运行起来。首次使用的用户可参考本示例代码。 -### 使用MindSpore作为常用框架创建训练作业 -- 代码分支：选择仓库代码中要使用的代码分支，默认可选择master分支 -- AI引擎：AI引擎选择[Ascend-Powered-Engine]和所需的MindSpore版本(本示例图片为 [Mindspore-1.3.0-python3.7-aarch64]，请注意使用与所选版本对应的脚本)。 +- 准备好数据和执行脚本以后，需要创建训练任务将MindSpore脚本真正运行起来。首次使用的用户可参考本示例代码。 -- 启动文件：启动文件选择代码目录下的启动脚本。 -- 数据集：数据集选择已上传到启智平台的数据集 - - - 运行参数：数据存储位置和训练输出位置分别对应运行参数data_url和train_url，选择增加运行参数可以向脚本中其他参数传值，如epoch_size。在这里只需填入其他参数传值，data_url和train_url已默认加入运行参数，用户无需重复指定，只需在代码中指定。 - - 资源池：规格选择[Ascend: 1 * Ascend 910 CPU：24 核 256GiB]，表示单机单卡 -### 使用MindSpore作为训练框架创建训练作业，如下图所示。 +### 使用MindSpore作为训练框架创建训练作业，界面截图如下图所示。 ![avatar](Example_Picture/新建训练任务页面.png) + +表1 创建训练作业界面参数说明 +| 参数名称 | 说明 | +| ----------------- | ----------- | +| 代码分支 | 选择仓库代码中要使用的代码分支，默认可选择master分支。 | +| AI引擎 | AI引擎选择[Ascend-Powered-Engine]和所需的MindSpore版本(本示例图片为 [Mindspore-1.3.0-python3.7-aarch64]，请注意使用与所选版本对应的脚本)。 | +| 启动文件 | 启动文件选择代码目录下的启动脚本。 | +| 数据集 | 数据集选择已上传到启智平台的数据集。 | +| 运行参数 | 数据存储位置和训练输出位置分别对应运行参数data_url和train_url，选择增加运行参数可以向脚本中其他参数传值，如epoch_size。在这里只需填入其他参数传值，data_url和train_url已默认加入运行参数，用户无需重复指定，只需在代码中指定。 | +|资源池 | 规格选择[Ascend: 1 * Ascend 910 CPU：24 核 256GiB]，表示单机单卡 | + ## 查看运行结果 -在训练作业界面可以查看运行日志 +###在训练作业界面可以查看运行日志 ![avatar](Example_Picture/查看日志页面.png) -训练结束后可以下载模型文件 -![avatar](Example_Picture/模型下载页面.png) - - -# 说明 -本节内容侧重介绍如何准备一个训练任务的启动文件，关于如何上传代码、上传数据集、创建调试任务和训练任务，可以访问[OpenI_Learning](https://git.openi.org.cn/zeizei/OpenI_Learning)项目学习小白训练营系列课程。 \ No newline at end of file +###训练结束后可以下载模型文件 +![avatar](Example_Picture/模型下载页面.png) \ No newline at end of file From cf8e0509886f0c49626d996f2a601a90358b9c01 Mon Sep 17 00:00:00 2001 From: tanglj Date: Tue, 14 Dec 2021 18:05:04 +0800 Subject: [PATCH 02/10] update --- README.md | 18 +++++++++--------- 1 file changed, 9 insertions(+), 9 deletions(-) diff --git a/README.md b/README.md index 8a234be..b4b25e2 100644 --- a/README.md +++ b/README.md @@ -16,13 +16,13 @@ - 数据文件说明 - MNISTData数据集是由10类28∗28的灰度图片组成，训练数据集包含60000张图片，测试数据集包含10000张图片。 - 数据集文件的目录结构如下： - MNIST_Data - ├── test - │ ├── t10k-images-idx3-ubyte - │ └── t10k-labels-idx1-ubyte - └── train - ├── train-images-idx3-ubyte - └── train-labels-idx1-ubyte +> MNIST_Data +> ├── test +> │ ├── t10k-images-idx3-ubyte +> │ └── t10k-labels-idx1-ubyte +> └── train +> ├── train-images-idx3-ubyte +> └── train-labels-idx1-ubyte ## 执行脚本准备 ### 示例代码 @@ -57,7 +57,7 @@ |资源池 | 规格选择[Ascend: 1 * Ascend 910 CPU：24 核 256GiB]，表示单机单卡 | ## 查看运行结果 -###在训练作业界面可以查看运行日志 +### 在训练作业界面可以查看运行日志 ![avatar](Example_Picture/查看日志页面.png) -###训练结束后可以下载模型文件 +### 训练结束后可以下载模型文件 ![avatar](Example_Picture/模型下载页面.png) \ No newline at end of file From 9dcf3a1f3464afaae6c268437e054db7288b709c Mon Sep 17 00:00:00 2001 From: tanglj Date: Tue, 14 Dec 2021 18:12:03 +0800 Subject: [PATCH 03/10] update --- README.md | 18 +++++++++--------- 1 file changed, 9 insertions(+), 9 deletions(-) diff --git a/README.md b/README.md index b4b25e2..b88aaca 100644 --- a/README.md +++ b/README.md @@ -11,7 +11,7 @@ ## 准备工作 - 启智平台使用准备，本项目需要用户创建启智平台账户，克隆代码到自己的账户，上传数据集，具体操作方法可以通过访问[OpenI_Learning](https://git.openi.org.cn/zeizei/OpenI_Learning)项目学习小白训练营系列课程进行学习。 -## 数据准备 +### 数据准备 - 数据集可从本项目的数据集目录中下载，[数据集下载](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/datasets?type=1) - 数据文件说明 - MNISTData数据集是由10类28∗28的灰度图片组成，训练数据集包含60000张图片，测试数据集包含10000张图片。 @@ -24,8 +24,8 @@ > ├── train-images-idx3-ubyte > └── train-labels-idx1-ubyte -## 执行脚本准备 -### 示例代码 +### 执行脚本准备 +#### 示例代码 - 示例代码可从本仓库中下载，[代码下载](https://git.openi.org.cn/OpenIOSSG/MNIST_Example) - 代码文件说明 - [train.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/train.py)，用于训练的脚本文件，包括将数据集从obs拷贝到训练镜像中、指定迭代次数、把训练后的模型数据拷贝回obs等。具体说明请参考[train.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/train.py)的代码注释 @@ -49,12 +49,12 @@ 表1 创建训练作业界面参数说明 | 参数名称 | 说明 | | ----------------- | ----------- | -| 代码分支 | 选择仓库代码中要使用的代码分支，默认可选择master分支。 | -| AI引擎 | AI引擎选择[Ascend-Powered-Engine]和所需的MindSpore版本(本示例图片为 [Mindspore-1.3.0-python3.7-aarch64]，请注意使用与所选版本对应的脚本)。 | -| 启动文件 | 启动文件选择代码目录下的启动脚本。 | -| 数据集 | 数据集选择已上传到启智平台的数据集。 | -| 运行参数 | 数据存储位置和训练输出位置分别对应运行参数data_url和train_url，选择增加运行参数可以向脚本中其他参数传值，如epoch_size。在这里只需填入其他参数传值，data_url和train_url已默认加入运行参数，用户无需重复指定，只需在代码中指定。 | -|资源池 | 规格选择[Ascend: 1 * Ascend 910 CPU：24 核 256GiB]，表示单机单卡 | +| 代码分支 | 选择仓库代码中要使用的代码分支，默认可选择master分支。 | +| AI引擎 | AI引擎选择[Ascend-Powered-Engine]和所需的MindSpore版本(本示例图片为 [Mindspore-1.3.0-python3.7-aarch64]，请注意使用与所选版本对应的脚本)。 | +| 启动文件 | 启动文件选择代码目录下的启动脚本。 | +| 数据集 | 数据集选择已上传到启智平台的数据集。 | +| 运行参数 | 数据存储位置和训练输出位置分别对应运行参数data_url和train_url，选择增加运行参数可以向脚本中其他参数传值，如epoch_size。在这里只需填入其他参数传值，data_url和train_url已默认加入运行参数，用户无需重复指定，只需在代码中指定。 | +| 资源池 | 规格选择[Ascend: 1 * Ascend 910 CPU：24 核 256GiB]，表示单机单卡 | ## 查看运行结果 ### 在训练作业界面可以查看运行日志 From 78f8661ae89e9c0a6fe84b17e401ef08552cab57 Mon Sep 17 00:00:00 2001 From: tanglj Date: Tue, 14 Dec 2021 18:14:32 +0800 Subject: [PATCH 04/10] update --- README.md | 5 ----- 1 file changed, 5 deletions(-) diff --git a/README.md b/README.md index b88aaca..25dda3d 100644 --- a/README.md +++ b/README.md @@ -50,11 +50,6 @@ | 参数名称 | 说明 | | ----------------- | ----------- | | 代码分支 | 选择仓库代码中要使用的代码分支，默认可选择master分支。 | -| AI引擎 | AI引擎选择[Ascend-Powered-Engine]和所需的MindSpore版本(本示例图片为 [Mindspore-1.3.0-python3.7-aarch64]，请注意使用与所选版本对应的脚本)。 | -| 启动文件 | 启动文件选择代码目录下的启动脚本。 | -| 数据集 | 数据集选择已上传到启智平台的数据集。 | -| 运行参数 | 数据存储位置和训练输出位置分别对应运行参数data_url和train_url，选择增加运行参数可以向脚本中其他参数传值，如epoch_size。在这里只需填入其他参数传值，data_url和train_url已默认加入运行参数，用户无需重复指定，只需在代码中指定。 | -| 资源池 | 规格选择[Ascend: 1 * Ascend 910 CPU：24 核 256GiB]，表示单机单卡 | ## 查看运行结果 ### 在训练作业界面可以查看运行日志 From d63790ec8970a74b226ee8f8cfda1fa51ddd6cb4 Mon Sep 17 00:00:00 2001 From: tanglj Date: Tue, 14 Dec 2021 18:16:29 +0800 Subject: [PATCH 05/10] update --- README.md | 5 +++++ 1 file changed, 5 insertions(+) diff --git a/README.md b/README.md index 25dda3d..5fd33b6 100644 --- a/README.md +++ b/README.md @@ -46,6 +46,11 @@ ### 使用MindSpore作为训练框架创建训练作业，界面截图如下图所示。 ![avatar](Example_Picture/新建训练任务页面.png) +| Model | Acc. | +| ----------------- | ----------- | +| [VGG16](https://arxiv.org/abs/1409.1556) | 92.64% | +| [DLA](https://arxiv.org/pdf/1707.06484.pdf) | 95.47% | + 表1 创建训练作业界面参数说明 | 参数名称 | 说明 | | ----------------- | ----------- | From cb9222e821b36b2d8d263c3de6801cde0ed3ca58 Mon Sep 17 00:00:00 2001 From: tanglj Date: Tue, 14 Dec 2021 18:17:23 +0800 Subject: [PATCH 06/10] update --- README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README.md b/README.md index 5fd33b6..b282441 100644 --- a/README.md +++ b/README.md @@ -46,7 +46,7 @@ ### 使用MindSpore作为训练框架创建训练作业，界面截图如下图所示。 ![avatar](Example_Picture/新建训练任务页面.png) -| Model | Acc. | +| 参数名称 | 说明 | | ----------------- | ----------- | | [VGG16](https://arxiv.org/abs/1409.1556) | 92.64% | | [DLA](https://arxiv.org/pdf/1707.06484.pdf) | 95.47% | From 8aa91cb83cb5601c3084340587365fd91ce090a9 Mon Sep 17 00:00:00 2001 From: tanglj Date: Tue, 14 Dec 2021 18:18:13 +0800 Subject: [PATCH 07/10] update --- README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README.md b/README.md index b282441..66f04f6 100644 --- a/README.md +++ b/README.md @@ -48,7 +48,7 @@ | 参数名称 | 说明 | | ----------------- | ----------- | -| [VGG16](https://arxiv.org/abs/1409.1556) | 92.64% | +| 代码分支 | 选择仓库代码中要使用的代码分支，默认可选择master分支。 | | [DLA](https://arxiv.org/pdf/1707.06484.pdf) | 95.47% | 表1 创建训练作业界面参数说明 From e2aa495d5b69aaf9e69afee9012f849b76b17a20 Mon Sep 17 00:00:00 2001 From: tanglj Date: Tue, 14 Dec 2021 18:19:22 +0800 Subject: [PATCH 08/10] update --- README.md | 1 + 1 file changed, 1 insertion(+) diff --git a/README.md b/README.md index 66f04f6..e5a4dff 100644 --- a/README.md +++ b/README.md @@ -52,6 +52,7 @@ | [DLA](https://arxiv.org/pdf/1707.06484.pdf) | 95.47% | 表1 创建训练作业界面参数说明 + | 参数名称 | 说明 | | ----------------- | ----------- | | 代码分支 | 选择仓库代码中要使用的代码分支，默认可选择master分支。 | From 2ead907e9f163f11e9d63f73e0fc1f02df126532 Mon Sep 17 00:00:00 2001 From: tanglj Date: Tue, 14 Dec 2021 18:20:39 +0800 Subject: [PATCH 09/10] update --- README.md | 9 +++++---- 1 file changed, 5 insertions(+), 4 deletions(-) diff --git a/README.md b/README.md index e5a4dff..bd433b2 100644 --- a/README.md +++ b/README.md @@ -46,16 +46,17 @@ ### 使用MindSpore作为训练框架创建训练作业，界面截图如下图所示。 ![avatar](Example_Picture/新建训练任务页面.png) -| 参数名称 | 说明 | -| ----------------- | ----------- | -| 代码分支 | 选择仓库代码中要使用的代码分支，默认可选择master分支。 | -| [DLA](https://arxiv.org/pdf/1707.06484.pdf) | 95.47% | 表1 创建训练作业界面参数说明 | 参数名称 | 说明 | | ----------------- | ----------- | | 代码分支 | 选择仓库代码中要使用的代码分支，默认可选择master分支。 | +| AI引擎 | AI引擎选择[Ascend-Powered-Engine]和所需的MindSpore版本(本示例图片为 [Mindspore-1.3.0-python3.7-aarch64]，请注意使用与所选版本对应的脚本)。 | +| 启动文件 | 启动文件选择代码目录下的启动脚本。 | +| 数据集 | 数据集选择已上传到启智平台的数据集。 | +| 运行参数 | 数据存储位置和训练输出位置分别对应运行参数data_url和train_url，选择增加运行参数可以向脚本中其他参数传值，如epoch_size。在这里只需填入其他参数传值，data_url和train_url已默认加入运行参数，用户无需重复指定，只需在代码中指定。 | +| 资源池 | 规格选择[Ascend: 1 * Ascend 910 CPU：24 核 256GiB]，表示单机单卡 | ## 查看运行结果 ### 在训练作业界面可以查看运行日志 From da772e8e28f88028b29e5de7995a023657c907cc Mon Sep 17 00:00:00 2001 From: tanglj Date: Wed, 15 Dec 2021 19:39:02 +0800 Subject: [PATCH 10/10] =?UTF-8?q?=E6=9B=B4=E6=96=B0=20'README.md'?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit update --- README.md | 16 ++++++++-------- 1 file changed, 8 insertions(+), 8 deletions(-) diff --git a/README.md b/README.md index bd433b2..51485ff 100644 --- a/README.md +++ b/README.md @@ -1,17 +1,17 @@ # 如何在启智平台上进行模型训练 -## 概述 +## 1 概述 - 本项目以LeNet-MNIST为例，简要介绍如何在启智AI协同平台上使用MindSpore完成训练任务，旨在为AI初学者提供云脑训练示例。 - 大家可以直接使用本项目提供的数据集和代码文件创建自己的训练任务。 - 启智平台对接ModelArts和OBS，将数据集，代码，训练资源池等整合在启智AI协同平台上供开发者使用。 - ModelArts是华为云提供的面向开发者的一站式AI开发平台，集成了昇腾AI处理器资源池，用户可以在ModelArts下体验MindSpore。 - OBS是华为云提供的存储方式。 -## 准备工作 +## 2 准备工作 - 启智平台使用准备，本项目需要用户创建启智平台账户，克隆代码到自己的账户，上传数据集，具体操作方法可以通过访问[OpenI_Learning](https://git.openi.org.cn/zeizei/OpenI_Learning)项目学习小白训练营系列课程进行学习。 -### 数据准备 +### 2.1 数据准备 - 数据集可从本项目的数据集目录中下载，[数据集下载](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/datasets?type=1) - 数据文件说明 - MNISTData数据集是由10类28∗28的灰度图片组成，训练数据集包含60000张图片，测试数据集包含10000张图片。 @@ -24,7 +24,7 @@ > ├── train-images-idx3-ubyte > └── train-labels-idx1-ubyte -### 执行脚本准备 +### 2.2 执行脚本准备 #### 示例代码 - 示例代码可从本仓库中下载，[代码下载](https://git.openi.org.cn/OpenIOSSG/MNIST_Example) - 代码文件说明 @@ -40,7 +40,7 @@ - [lenet.py](https://git.openi.org.cn/OpenIOSSG/MNIST_Example/src/branch/master/lenet.py)，使用的训练网络,在train.py中会使用到。 -## 创建训练任务 +## 3 创建训练任务 - 准备好数据和执行脚本以后，需要创建训练任务将MindSpore脚本真正运行起来。首次使用的用户可参考本示例代码。 ### 使用MindSpore作为训练框架创建训练作业，界面截图如下图所示。 @@ -58,8 +58,8 @@ | 运行参数 | 数据存储位置和训练输出位置分别对应运行参数data_url和train_url，选择增加运行参数可以向脚本中其他参数传值，如epoch_size。在这里只需填入其他参数传值，data_url和train_url已默认加入运行参数，用户无需重复指定，只需在代码中指定。 | | 资源池 | 规格选择[Ascend: 1 * Ascend 910 CPU：24 核 256GiB]，表示单机单卡 | -## 查看运行结果 -### 在训练作业界面可以查看运行日志 +## 4 查看运行结果 +### 4.1 在训练作业界面可以查看运行日志 ![avatar](Example_Picture/查看日志页面.png) -### 训练结束后可以下载模型文件 +### 4.2 训练结束后可以下载模型文件 ![avatar](Example_Picture/模型下载页面.png) \ No newline at end of file