diff --git a/README_zh_CN.md b/README_zh_CN.md index b300f2b31e..ddf66202f4 100644 --- a/README_zh_CN.md +++ b/README_zh_CN.md @@ -53,11 +53,11 @@ DolphinScheduler的工作计划： - Due to DolphinScheduler's multi-tenant task switch user using command `sudo -u {linux-user}`, the deployment user needs to have `sudo` privileges and be password-free. If novice learners don’t understand, you can ignore this point for now. +> - If you find the line "Defaults requirett" in the `/etc/sudoers` file, please comment the content. ### Configure Machine SSH Password-Free Login @@ -99,12 +99,12 @@ deployUser="dolphinscheduler" ### Modify `dolphinscheduler_env.sh` -File `./bin/env/dolphinscheduler_env.sh` describes the following configurations: +File `./bin/env/dolphinscheduler_env.sh` describes the following configurations: -* Database configuration of DolphinScheduler, see [Initialize the Database](#initialize-the-database) for detailed instructions. -* Some tasks which need external dependencies or libraries such as `JAVA_HOME` and `SPARK_HOME`. -* Registry center `zookeeper`. -* Server related configuration, such as cache type, timezone, etc. +- Database configuration of DolphinScheduler, see [Initialize the Database](#initialize-the-database) for detailed instructions. +- Some tasks which need external dependencies or libraries such as `JAVA_HOME` and `SPARK_HOME`. +- Registry center `zookeeper`. +- Server related configuration, such as cache type, timezone, etc. You could ignore the task external dependencies if you do not use those tasks, but you have to change `JAVA_HOME`, registry center and database related configurations based on your environment. diff --git a/docs/docs/en/guide/installation/standalone.md b/docs/docs/en/guide/installation/standalone.md index 27f6a32f5b..e5201c6438 100644 --- a/docs/docs/en/guide/installation/standalone.md +++ b/docs/docs/en/guide/installation/standalone.md @@ -11,8 +11,8 @@ If you want to deploy DolphinScheduler in production, we recommend you follow [c ## Preparation -* JDK：download [JDK][jdk] (1.8+), install and configure environment variable `JAVA_HOME` and append `bin` dir (included in `JAVA_HOME`) to `PATH` variable. You can skip this step if it already exists in your environment. -* Binary package: download the DolphinScheduler binary package at [download page](https://dolphinscheduler.apache.org/en-us/download/download.html). +- JDK：download [JDK][jdk] (1.8+), install and configure environment variable `JAVA_HOME` and append `bin` dir (included in `JAVA_HOME`) to `PATH` variable. You can skip this step if it already exists in your environment. +- Binary package: download the DolphinScheduler binary package at [download page](https://dolphinscheduler.apache.org/#/en-us/download). ## Start DolphinScheduler Standalone Server diff --git a/docs/docs/en/guide/start/docker.md b/docs/docs/en/guide/start/docker.md index 7b5b7887eb..8172af5d8f 100644 --- a/docs/docs/en/guide/start/docker.md +++ b/docs/docs/en/guide/start/docker.md @@ -45,14 +45,14 @@ modify docker-compose's free memory up to 4 GB. - Hyper-V mode: Click `Docker Desktop -> Settings -> Resources -> Memory` modified it - WSL 2 mode: see [WSL 2 utility VM](https://docs.microsoft.com/zh-cn/windows/wsl/wsl-config#configure-global-options-with-wslconfig) for more detail. -After complete the configuration, we can get the `docker-compose.yaml` file from [download page](/en-us/download/download.html) +After complete the configuration, we can get the `docker-compose.yaml` file from [download page](https://dolphinscheduler.apache.org/#/en-us/download) form its source package, and make sure you get the right version. After download the package, you can run the commands as below. ```shell $ DOLPHINSCHEDULER_VERSION=3.0.3 $ tar -zxf apache-dolphinscheduler-"${DOLPHINSCHEDULER_VERSION}"-src.tar.gz # Going to docker-compose's location -# For Mac or Linux users +# For Mac or Linux users $ cd apache-dolphinscheduler-"${DOLPHINSCHEDULER_VERSION}"-src/deploy/docker # For Windows users, you should run command `cd apache-dolphinscheduler-"${DOLPHINSCHEDULER_VERSION}"-src\deploy\docker` @@ -81,7 +81,7 @@ $ docker run -d --name dolphinscheduler-tools \ -e SPRING_DATASOURCE_USERNAME="" \ -e SPRING_DATASOURCE_PASSWORD="" \ --net host \ - apache/dolphinscheduler-tools:"${DOLPHINSCHEDULER_VERSION}" tools/bin/upgrade-schema.sh + apache/dolphinscheduler-tools:"${DOLPHINSCHEDULER_VERSION}" tools/bin/upgrade-schema.sh # Starting DolphinScheduler service $ docker run -d --name dolphinscheduler-master \ -e DATABASE="postgresql" \ diff --git a/docs/docs/en/guide/upgrade.md b/docs/docs/en/guide/upgrade.md index af44a7483c..3af991c13b 100644 --- a/docs/docs/en/guide/upgrade.md +++ b/docs/docs/en/guide/upgrade.md @@ -8,7 +8,7 @@ To prevent data loss by some miss-operation, it is recommended to back up data b ### Download the Latest Version Installation Package -Download the latest binary distribute package from [download](/en-us/download/download.html) and then put it in the different +Download the latest binary distribute package from [download](https://dolphinscheduler.apache.org/#/en-us/download) and then put it in the different directory where current service running. And all below command is running in this directory. ## Upgrade @@ -54,14 +54,14 @@ The architecture of worker group is different between version before version 1.3 #### How Can I Do When I Upgrade from 1.3.1 to version before 2.0.0 -* Check the backup database, search records in table `t_ds_worker_group` table and mainly focus on three columns: `id, name and IP`. +- Check the backup database, search records in table `t_ds_worker_group` table and mainly focus on three columns: `id, name and IP`. | id | name | ip_list | | :--- | :---: | ---: | | 1 | service1 | 192.168.xx.10 | | 2 | service2 | 192.168.xx.11,192.168.xx.12 | -* Modify worker related configuration in `bin/env/install_config.conf`. +- Modify worker related configuration in `bin/env/install_config.conf`. Assume bellow are the machine worker service to be deployed: diff --git a/docs/docs/zh/contribute/join/review.md b/docs/docs/zh/contribute/join/review.md index 6f86ff0937..d48ae791e4 100644 --- a/docs/docs/zh/contribute/join/review.md +++ b/docs/docs/zh/contribute/join/review.md @@ -1,6 +1,6 @@ # 参与社区 review -贡献 DolphinScheduler 的方式，除了向 [团队](/us-en/community/community.html) 中提到的 GitHub 仓库提交 Issues 和 pull requests 外，另一非常重要的方式是 +贡献 DolphinScheduler 的方式，除了向 [团队](https://dolphinscheduler.apache.org/#/zh-cn/community) 中提到的 GitHub 仓库提交 Issues 和 pull requests 外，另一非常重要的方式是 review 社区的 Issues 或者 Pull Requests。通过别人 Issues 和 Pull Requests，你不仅能知道社区的最新进展和发展方向，还能了解别人代码的设 计思想，同时可以增加自己在社区的曝光、积累自己在社区的荣誉值。 @@ -8,8 +8,8 @@ review 社区的 Issues 或者 Pull Requests。通过别人 Issues 和 Pull Requ 以及 Pull Requests，详见 [邮件][mail-review-wanted]，并将其结果放到了 [GitHub Discussion][discussion-result-review-wanted] 中。 > 注意: 这里并不是说只有 [GitHub Discussion][discussion-result-review-wanted] 中提及的用户才可以协助 review Issue 或者 Pull Requests， -> 请记住社区的主张是 **任何人都被鼓励去 review 社区的 Issues 和 Pull Requests**。只是那部分用户在邮件列表意见征集的时候，表达了愿意付 -> 出更多的时间，参与社区的 review。另一个好处是，当社区有不确定的问题的时，除了可以找 [团队](/us-en/community/community.html) 中对应的 Members 外，还可以找 +> 请记住社区的主张是 **任何人都被鼓励去 review 社区的 Issues 和 Pull Requests**。只是那部分用户在邮件列表意见征集的时候，表达了愿意付 +> 出更多的时间，参与社区的 review。另一个好处是，当社区有不确定的问题的时，除了可以找 [团队](https://dolphinscheduler.apache.org/#/zh-cn/community) 中对应的 Members 外，还可以找 > [GitHub Discussion][discussion-result-review-wanted] 中提及的人解答对应的问题。如果你要想要加入到 [GitHub Discussion][discussion-result-review-wanted] > 中，请在该 discussion 中评论并留下你感兴趣的模块，维护者会将你加入到对应的名单中。 diff --git a/docs/docs/zh/faq.md b/docs/docs/zh/faq.md index 1a8dfdb093..67b45302cd 100644 --- a/docs/docs/zh/faq.md +++ b/docs/docs/zh/faq.md @@ -284,7 +284,8 @@ A： 将 hive pom --- ## Q：如何增加一台工作服务器 -A： 1，参考官网[部署文档](https://dolphinscheduler.apache.org/zh-cn/docs/laster/user_doc/installation/cluster.html) 1.3 小节，创建部署用户和 hosts 映射 + +A： 1，参考官网[部署文档](https://dolphinscheduler.apache.org/#/zh-cn/docs/3.0.3/installation/cluster) 1.3 小节，创建部署用户和 hosts 映射 ​ 2，参考官网[部署文档](https://dolphinscheduler.apache.org/zh-cn/docs/laster/user_doc/installation/cluster.html) 1.4 小节，配置 hosts 映射和 ssh 打通及修改目录权限. ​ 1.4 小节的最后一步是在当前新增机器上执行的，即需要给部署目录部署用户的权限 @@ -427,12 +428,16 @@ A：1，cd dolphinscheduler-ui 然后删除 node_modules 目录 ``` sudo rm -rf node_modules ``` - ​ 2，通过 npm.taobao.org 下载 node-sass - ``` - sudo npm uninstall node-sass - sudo npm i node-sass --sass_binary_site=https://npm.taobao.org/mirrors/node-sass/ - ``` - 3，如果步骤 2 报错，请重新构建 node-saas [参考链接](https://dolphinscheduler.apache.org/en-us/development/frontend-development.html) + +​ 2，通过 npm.taobao.org 下载 node-sass + +``` +sudo npm uninstall node-sass +sudo npm i node-sass --sass_binary_site=https://npm.taobao.org/mirrors/node-sass/ +``` + +3，如果步骤 2 报错，请重新构建 node-saas [参考链接](https://github.com/apache/dolphinscheduler/blob/dev/docs/docs/zh/contribute/frontend-development.md) + ``` sudo npm rebuild node-sass ``` @@ -582,6 +587,7 @@ sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers --- ## Q：Yarn多集群支持 + A：将Worker节点分别部署至多个Yarn集群，步骤如下（例如AWS EMR）： 1. 将 Worker 节点部署至 EMR 集群的 Master 节点 diff --git a/docs/docs/zh/guide/installation/pseudo-cluster.md b/docs/docs/zh/guide/installation/pseudo-cluster.md index 5cd4123542..426ca72663 100644 --- a/docs/docs/zh/guide/installation/pseudo-cluster.md +++ b/docs/docs/zh/guide/installation/pseudo-cluster.md @@ -9,7 +9,7 @@ 伪分布式部署 DolphinScheduler 需要有外部软件的支持 * JDK：下载[JDK][jdk] (1.8+)，安装并配置 `JAVA_HOME` 环境变量，并将其下的 `bin` 目录追加到 `PATH` 环境变量中。如果你的环境中已存在，可以跳过这步。 -* 二进制包：在[下载页面](https://dolphinscheduler.apache.org/zh-cn/download/download.html)下载 DolphinScheduler 二进制包 +* 二进制包：在[下载页面](https://dolphinscheduler.apache.org/#/zh-cn/download)下载 DolphinScheduler 二进制包 * 数据库：[PostgreSQL](https://www.postgresql.org/download/) (8.2.15+) 或者 [MySQL](https://dev.mysql.com/downloads/mysql/) (5.7+)，两者任选其一即可，如 MySQL 则需要 JDBC Driver 8.0.16 * 注册中心：[ZooKeeper](https://zookeeper.apache.org/releases.html) (3.8.0+)，[下载地址][zookeeper] * 进程树分析 diff --git a/docs/docs/zh/guide/installation/standalone.md b/docs/docs/zh/guide/installation/standalone.md index 82af53e2ab..e334293682 100644 --- a/docs/docs/zh/guide/installation/standalone.md +++ b/docs/docs/zh/guide/installation/standalone.md @@ -1,22 +1,22 @@ -# Standalone极速体验版 +# Standalone 极速体验版 Standalone 仅适用于 DolphinScheduler 的快速体验. -如果你是新手，想要体验 DolphinScheduler 的功能，推荐使用Standalone方式体检。如果你想体验更完整的功能，或者更大的任务量，推荐使用[伪集群部署](pseudo-cluster.md)。如果你是在生产中使用，推荐使用[集群部署](cluster.md)或者[kubernetes](kubernetes.md) +如果你是新手，想要体验 DolphinScheduler 的功能，推荐使用 Standalone 方式体检。如果你想体验更完整的功能，或者更大的任务量，推荐使用[伪集群部署](pseudo-cluster.md)。如果你是在生产中使用，推荐使用[集群部署](cluster.md)或者[kubernetes](kubernetes.md) -> **_注意:_** Standalone仅建议20个以下工作流使用，因为其采用内存式的H2 Database, Zookeeper Testing Server，任务过多可能导致不稳定，并且如果重启或者停止standalone-server会导致内存中数据库里的数据清空。 -> 如果您要连接外部数据库，比如mysql或者postgresql，请看[配置数据库](#配置数据库) +> **_注意:_** Standalone 仅建议 20 个以下工作流使用，因为其采用内存式的 H2 Database, Zookeeper Testing Server，任务过多可能导致不稳定，并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。 +> 如果您要连接外部数据库，比如 mysql 或者 postgresql，请看[配置数据库](#配置数据库) ## 前置准备工作 -* JDK：下载[JDK][jdk] (1.8+)，安装并配置 `JAVA_HOME` 环境变量，并将其下的 `bin` 目录追加到 `PATH` 环境变量中。如果你的环境中已存在，可以跳过这步。 -* 二进制包：在[下载页面](https://dolphinscheduler.apache.org/zh-cn/download/download.html)下载 DolphinScheduler 二进制包 +- JDK：下载[JDK][jdk] (1.8+)，安装并配置 `JAVA_HOME` 环境变量，并将其下的 `bin` 目录追加到 `PATH` 环境变量中。如果你的环境中已存在，可以跳过这步。 +- 二进制包：在[下载页面](https://dolphinscheduler.apache.org/#/zh-cn/download)下载 DolphinScheduler 二进制包 ## 启动 DolphinScheduler Standalone Server ### 解压并启动 DolphinScheduler -二进制压缩包中有 standalone 启动的脚本，解压后即可快速启动。切换到有sudo权限的用户，运行脚本 +二进制压缩包中有 standalone 启动的脚本，解压后即可快速启动。切换到有 sudo 权限的用户，运行脚本 ```shell # 解压并运行 Standalone Server @@ -28,7 +28,7 @@ bash ./bin/dolphinscheduler-daemon.sh start standalone-server ### 登录 DolphinScheduler -浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。默认的用户名和密码是 **admin/dolphinscheduler123** +浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统 UI。默认的用户名和密码是 **admin/dolphinscheduler123** ## 启停服务 diff --git a/docs/docs/zh/guide/start/docker.md b/docs/docs/zh/guide/start/docker.md index 7d9097f7ce..df3020d2f7 100644 --- a/docs/docs/zh/guide/start/docker.md +++ b/docs/docs/zh/guide/start/docker.md @@ -39,7 +39,7 @@ $ docker run --name dolphinscheduler-standalone-server -p 12345:12345 -p 25333:2 - Hyper-V 模式：点击 `Docker Desktop -> Settings -> Resources -> Memory` 调整内存大小 - WSL 2 模式 模式：参考 [WSL 2 utility VM](https://docs.microsoft.com/zh-cn/windows/wsl/wsl-config#configure-global-options-with-wslconfig) 调整内存大小 -配置完成后我们需要获取 `docker-compose.yaml` 文件，通过[下载页面](/zh-cn/download/download.html)下载对应版本源码包可能是最快的方法， +配置完成后我们需要获取 `docker-compose.yaml` 文件，通过[下载页面](https://dolphinscheduler.apache.org/#/zh-cn/download)下载对应版本源码包可能是最快的方法， 源码包对应的值为 "Total Source Code"。当下载完源码后就可以运行命令进行部署了。 ```shell diff --git a/docs/docs/zh/guide/upgrade.md b/docs/docs/zh/guide/upgrade.md index a8483cce69..917fa8f3f9 100644 --- a/docs/docs/zh/guide/upgrade.md +++ b/docs/docs/zh/guide/upgrade.md @@ -8,7 +8,7 @@ ### 下载新版本的安装包 -在[下载](/zh-cn/download/download.html)页面下载最新版本的二进制安装包，并将二进制包放到与当前 dolphinscheduler 服务不一样的路径中，以下升级操作都需要在新版本的目录进行。 +在[下载](https://dolphinscheduler.apache.org/#/zh-cn/download)页面下载最新版本的二进制安装包，并将二进制包放到与当前 dolphinscheduler 服务不一样的路径中，以下升级操作都需要在新版本的目录进行。 ## 升级步骤 @@ -46,41 +46,41 @@ jar 包 并添加到 `./tools/libs` 目录下，修改 `./bin/env/dolphinschedul ### worker 分组的区别（以 1.3.1 版本为界） -创建worker分组在1.3.1版本之前，与 1.3.1之后到 2.0.0 之间的版本有不同的设计： +创建 worker 分组在 1.3.1 版本之前，与 1.3.1 之后到 2.0.0 之间的版本有不同的设计： -- worker分组在1.3.1版本之前是通过UI界面创建 -- worker分组在1.3.1 到 2.0.0之前的版本是修改 worker 配置指定 +- worker 分组在 1.3.1 版本之前是通过 UI 界面创建 +- worker 分组在 1.3.1 到 2.0.0 之前的版本是修改 worker 配置指定 #### 面对这种区别我应该怎么升级 -1.3.1之前的版本升级1.3.2时如何设置worker分组与之前一致 +1.3.1 之前的版本升级 1.3.2 时如何设置 worker 分组与之前一致 -* 查询已备份的数据库，查看 `t_ds_worker_group` 表记录，重点看下id、name和ip_list三个字段 +- 查询已备份的数据库，查看 `t_ds_worker_group` 表记录，重点看下 id、name 和 ip_list 三个字段 | id | name | ip_list | | :--- | :---: | ---: | | 1 | service1 | 192.168.xx.10 | | 2 | service2 | 192.168.xx.11,192.168.xx.12 | -* 修改 `bin/env/install_config.conf` 中的 workers 参数 +- 修改 `bin/env/install_config.conf` 中的 workers 参数 -假设以下为要部署的worker主机名和ip的对应关系 +假设以下为要部署的 worker 主机名和 ip 的对应关系 | 主机名 | ip | -| :--- | :---: | -| ds1 | 192.168.xx.10 | -| ds2 | 192.168.xx.11 | -| ds3 | 192.168.xx.12 | +| :--- | :---: | +| ds1 | 192.168.xx.10 | +| ds2 | 192.168.xx.11 | +| ds3 | 192.168.xx.12 | -那么为了保持与之前版本worker分组一致，则需要把workers参数改为如下 +那么为了保持与之前版本 worker 分组一致，则需要把 workers 参数改为如下 ```sh # worker服务部署在哪台机器上,并指定此worker属于哪一个worker组 workers="ds1:service1,ds2:service2,ds3:service2" ``` -#### 1.3.2及以后的版本对 worker 分组功能进行增强 +#### 1.3.2 及以后的版本对 worker 分组功能进行增强 -1.3.1 以及之前的版本worker不能同时属于多个worker分组，1.3.2及之后，2.0.0之前的版本是可以支持的，所以可以使用如下配置对一台worker配置多个分组 +1.3.1 以及之前的版本 worker 不能同时属于多个 worker 分组，1.3.2 及之后，2.0.0 之前的版本是可以支持的，所以可以使用如下配置对一台 worker 配置多个分组 ```sh workers="ds1:service1,ds1:service2"