From e24def4c522bc3cda5b51a4c7cbcbb2b2aeb4cc0 Mon Sep 17 00:00:00 2001 From: yingchen Date: Wed, 17 Nov 2021 18:58:35 +0800 Subject: [PATCH] add minddata api cn --- .../mindspore.dataset.DatasetCache.rst | 37 ++++++++++++++++++ .../dataset/mindspore.dataset.compare.rst | 24 ++++++++++++ .../dataset/mindspore.dataset.deserialize.rst | 39 +++++++++++++++++++ .../dataset/mindspore.dataset.serialize.rst | 35 +++++++++++++++++ .../dataset/mindspore.dataset.show.rst | 22 +++++++++++ ...dataset.audio.transforms.AllpassBiquad.rst | 24 ++++++++++++ 6 files changed, 181 insertions(+) create mode 100644 docs/api/api_python/dataset/mindspore.dataset.DatasetCache.rst create mode 100644 docs/api/api_python/dataset/mindspore.dataset.compare.rst create mode 100644 docs/api/api_python/dataset/mindspore.dataset.deserialize.rst create mode 100644 docs/api/api_python/dataset/mindspore.dataset.serialize.rst create mode 100644 docs/api/api_python/dataset/mindspore.dataset.show.rst create mode 100644 docs/api/api_python/dataset_audio/mindspore.dataset.audio.transforms.AllpassBiquad.rst diff --git a/docs/api/api_python/dataset/mindspore.dataset.DatasetCache.rst b/docs/api/api_python/dataset/mindspore.dataset.DatasetCache.rst new file mode 100644 index 0000000000..6ec42c9e2a --- /dev/null +++ b/docs/api/api_python/dataset/mindspore.dataset.DatasetCache.rst @@ -0,0 +1,37 @@ +mindspore.dataset.DatasetCache +============================== + +.. py:class:: mindspore.dataset.DatasetCache(session_id, size=0, spilling=False, hostname=None, port=None, num_connections=None, prefetch_size=None) + + 创建数据缓存客户端实例。 + + 有关详细信息，请查看 `教程 `_ 、 + `编程指南 `_。 + + **参数：** + + - **session_id** (int)：当前数据缓存客户端的会话ID，用户在命令行开启缓存服务端后可通过 `cache_admin -g` 获取。 + - **size** (int, optional)：设置数据缓存服务可用的内存大小（默认为0，即内存使用没有上限。注意，这可能会产生计算机内存不足的风险）。 + - **spilling** (bool, optional)：如果共享内存不足，是否将溢出部分缓存到磁盘（默认为False）。 + - **hostname** (str, optional)：数据缓存服务客户端的主机IP（默认为None，使用默认主机名127.0.0.1）。 + - **port** (int, optional)：指定连接到数据缓存服务端的端口号（默认为None，使用端口50052）。 + - **num_connections** (int, optional)：TCP/IP连接数量（默认为None，使用默认值12）。 + - **prefetch_size** (int, optional)：指定缓存队列大小，使用缓存功能算子时，将直接从缓存队列中获取数据（默认为None，使用默认值20）。 + + + **样例：** + + .. code-block:: + + >>> import mindspore.dataset as ds + >>> + >>> # 创建数据缓存客户端实例，其中 `session_id` 由命令 `cache_admin -g` 生成 + >>> some_cache = ds.DatasetCache(session_id=session_id, size=0) + >>> + >>> dataset_dir = "path/to/imagefolder_directory" + >>> ds1 = ds.ImageFolderDataset(dataset_dir, cache=some_cache) + + + .. py:method:: get_stat() + + 获取缓存实例的统计信息。 \ No newline at end of file diff --git a/docs/api/api_python/dataset/mindspore.dataset.compare.rst b/docs/api/api_python/dataset/mindspore.dataset.compare.rst new file mode 100644 index 0000000000..32246536a0 --- /dev/null +++ b/docs/api/api_python/dataset/mindspore.dataset.compare.rst @@ -0,0 +1,24 @@ +mindspore.dataset.compare +========================== + +.. py:method:: mindspore.dataset.compare(pipeline1, pipeline2) + + 比较两个数据处理管道是否相同。 + + **参数：** + + - **pipeline1** (Dataset)：数据处理管道。 + - **pipeline2** (Dataset)：数据处理管道。 + + **返回：** + + bool，两个数据处理管道是否相等。 + + **样例：** + + .. code-block:: + + >>> pipeline1 = ds.MnistDataset(mnist_dataset_dir, 100) + >>> pipeline2 = ds.Cifar10Dataset(cifar_dataset_dir, 100) + >>> ds.compare(pipeline1, pipeline2) + \ No newline at end of file diff --git a/docs/api/api_python/dataset/mindspore.dataset.deserialize.rst b/docs/api/api_python/dataset/mindspore.dataset.deserialize.rst new file mode 100644 index 0000000000..d92e2cb9bf --- /dev/null +++ b/docs/api/api_python/dataset/mindspore.dataset.deserialize.rst @@ -0,0 +1,39 @@ +mindspore.dataset.deserialize +============================== + +.. py:method:: mindspore.dataset.deserialize(input_dict=None, json_filepath=None) + + 数据处理管道反序列化，支持输入Python字典或使用 `mindspore.dataset.serialize()` 接口生成的JSON文件。 + + .. note:: + 反序列化包含自定义Python函数的数据处理管道时，部分参数信息可能丢失；当 `input_dict` 和 `json_filepath` 同时不为None时，返回反序列化JSON文件的结果。 + + **参数：** + + - **input_dict** (dict)：包含序列化数据集图的Python字典。 + - **json_filepath** (str)：JSON文件的路径，用户可通过 `mindspore.dataset.serialize()` 接口生成。 + + **返回：** + + 成功时，返回Dataset对象；失败时，则返回None。 + + **异常：** + + **OSError:** 无法打开JSON文件。 + + **样例：** + + .. code-block:: + + >>> dataset = ds.MnistDataset(mnist_dataset_dir, 100) + >>> one_hot_encode = c_transforms.OneHot(10) # num_classes是输入参数 + >>> dataset = dataset.map(operation=one_hot_encode, input_column_names="label") + >>> dataset = dataset.batch(batch_size=10, drop_remainder=True) + >>> # 用例1：序列化/反序列化 JSON文件 + >>> ds.engine.serialize(dataset, json_filepath="/path/to/mnist_dataset_pipeline.json") + >>> dataset = ds.engine.deserialize(json_filepath="/path/to/mnist_dataset_pipeline.json") + >>> # 用例2：序列化/反序列化 Python字典 + >>> serialized_data = ds.engine.serialize(dataset) + >>> dataset = ds.engine.deserialize(input_dict=serialized_data) + + \ No newline at end of file diff --git a/docs/api/api_python/dataset/mindspore.dataset.serialize.rst b/docs/api/api_python/dataset/mindspore.dataset.serialize.rst new file mode 100644 index 0000000000..2179862c58 --- /dev/null +++ b/docs/api/api_python/dataset/mindspore.dataset.serialize.rst @@ -0,0 +1,35 @@ +mindspore.dataset.serialize +============================ + +.. py:method:: mindspore.dataset.serialize(dataset, json_filepath='') + + 将数据处理管道序列化成JSON文件。 + + .. note:: + 目前不支持某些Python对象序列化。对于map算子的自定义Python函数序列化， `mindspore.dataset.serialize` 仅返回其函数名称。 + + **参数：** + + - **dataset** (Dataset): 数据处理管道对象。 + - **json_filepath** (str): 生成序列化JSON文件的路径。 + + **返回：** + + Dict，包含序列化数据集图的字典。 + + **异常：** + + **OSError:** 无法打开文件。 + + **样例：** + + .. code-block:: + + >>> dataset = ds.MnistDataset(mnist_dataset_dir, 100) + >>> one_hot_encode = c_transforms.OneHot(10) # num_classes是输入参数 + >>> dataset = dataset.map(operation=one_hot_encode, input_column_names="label") + >>> dataset = dataset.batch(batch_size=10, drop_remainder=True) + >>> # 将其序列化为JSON文件 + >>> ds.engine.serialize(dataset, json_filepath="/path/to/mnist_dataset_pipeline.json") + >>> serialized_data = ds.engine.serialize(dataset) # 将其序列化为Python字典 + \ No newline at end of file diff --git a/docs/api/api_python/dataset/mindspore.dataset.show.rst b/docs/api/api_python/dataset/mindspore.dataset.show.rst new file mode 100644 index 0000000000..ac96a2c34d --- /dev/null +++ b/docs/api/api_python/dataset/mindspore.dataset.show.rst @@ -0,0 +1,22 @@ +mindspore.dataset.show +====================== + +.. py:method:: mindspore.dataset.show(dataset, indentation=2) + + 将数据处理管道图写入MindSpore的INFO级别日志文件。 + + **参数：** + + - **dataset** (Dataset): 数据处理管道对象。 + - **indentation** (int, optional): 设置MindSpore的INFO级别日志文件打印时的缩进字符数。若为None，则不缩进。 + + **样例：** + + .. code-block:: + + >>> dataset = ds.MnistDataset(mnist_dataset_dir, 100) + >>> one_hot_encode = c_transforms.OneHot(10) + >>> dataset = dataset.map(operation=one_hot_encode, input_column_names="label") + >>> dataset = dataset.batch(batch_size=10, drop_remainder=True) + >>> ds.show(dataset) + \ No newline at end of file diff --git a/docs/api/api_python/dataset_audio/mindspore.dataset.audio.transforms.AllpassBiquad.rst b/docs/api/api_python/dataset_audio/mindspore.dataset.audio.transforms.AllpassBiquad.rst new file mode 100644 index 0000000000..d9906b6533 --- /dev/null +++ b/docs/api/api_python/dataset_audio/mindspore.dataset.audio.transforms.AllpassBiquad.rst @@ -0,0 +1,24 @@ +mindspore.dataset.audio.transforms.AllpassBiquad +================================================= + +.. py:class:: mindspore.dataset.audio.transforms.AllpassBiquad(sample_rate, central_freq, Q=0.707) + + 给形如(..., time)维度的音频波形施加双极点全通滤波器。 + + **参数：** + + - **sample_rate** (int)：采样率，例如44100 (Hz)，不能为零。 + - **central_freq** (float)：中心频率（单位：Hz）。 + - **Q** (float, optional)：品质因子，参考 https://en.wikipedia.org/wiki/Q_factor，取值范围(0, 1]（默认值为0.707）。 + + **样例：** + + .. code-block:: + + >>> import numpy as np + >>> + >>> waveform = np.array([[2.716064453125e-03, 6.34765625e-03], [9.246826171875e-03, 1.0894775390625e-02]]) + >>> numpy_slices_dataset = ds.NumpySlicesDataset(data=waveform, column_names=["audio"]) + >>> transforms = [audio.AllpassBiquad(44100, 200.0)] + >>> numpy_slices_dataset = numpy_slices_dataset.map(operations=transforms, input_columns=["audio"]) + \ No newline at end of file