Skip to content

Commit 34ad6ef

Browse files
committed
update azkaban manual
1 parent 33b2acd commit 34ad6ef

File tree

1 file changed

+55
-0
lines changed

1 file changed

+55
-0
lines changed
Lines changed: 55 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,55 @@
1+
## 如何接入调度系统Azkaban:
2+
Azkaban目前是作为一个SchedulerAppJoint在DSS-SERVER中使用,通过AzkabanSchedulerAppJoint实现了Azkaban的工程服务和安全认证服务,
3+
主要提供了工程的创建、更新、发布、删除,以及安全认证服务相关的代理登录,Cookie保存等。
4+
5+
**前提条件:用户已经安装部署好社区版本的Azkaban-3.69.X环境**
6+
7+
(1) 安装DSS前配置Azkaban的环境信息
8+
9+
在安装DSS之前,在工程的conf目录下配置Azkaban的IP地址和端口信息
10+
```
11+
#azkaban.address
12+
AZKABAN_ADRESS_IP=127.0.0.1
13+
AZKABAN_ADRESS_PORT=99887
14+
```
15+
16+
用户使用DSS一键安装,会自动配置以下两个参数内容:
17+
18+
```
19+
wds.dss.appjoint.scheduler.azkaban.address= //Azkaban 的http地址
20+
wds.dss.appjoint.scheduler.project.store.dir= //Azkaban发布包临时存储目录
21+
```
22+
(2) 安装DSS后配置Azkaban用户信息
23+
24+
在DSS-SERVER服务的conf目录下放置token.properties属性文件,配置用户名和密码信息,用于登录Azkaban.示例:
25+
user01=1234
26+
说明:由于每个公司都有各自的登录认证系统,这里只提供简单实现,用户可以实现SchedulerSecurityService定义自己的登录认证方法。
27+
关联后DSS和Azkaban的用户必须是同一个。
28+
29+
(3) 在DSS数据库中配置Azkaban的appjoint信息(一键安装时默认已执行不需要重复执行,单独安装需要)
30+
31+
```
32+
INSERT INTO `dss_application` (`id`, `name`, `url`, `is_user_need_init`, `level`, `user_init_url`, `exists_project_service`, `project_url`, `enhance_json`) VALUES (NULL, 'azkaban', NULL, '0', '1', NULL, '0', NULL, NULL);
33+
```
34+
检查dss-appjoints目录下是否已经安装了schedulis的appjoint。
35+
36+
(4) 在Azkaban上安装Linkis任务执行插件
37+
38+
由于现在DSS的任务基本都是提交给Linkis来执行的,所以需要在Azkaban上安装一个插件,用于DSS发布到Azkaban后的调度执行。
39+
1、获取插件包
40+
41+
```
42+
/wedatasphere-dss-x.x.x-dist/share/plugins/azkaban/linkis-jobtype/linkis-jobtype-x.x.x-linkis-jobtype.zip
43+
```
44+
2、安装插件
45+
把安装包解压到指定的目录下:
46+
```
47+
/AzkabanInstall/wtss-exec/plugins/jobtypes/linkis
48+
```
49+
50+
3、配置插件
51+
private.properties(azkaban的jobtype配置)和 plugin.properties(额外的配置)
52+
请根据实际环境设置两个配置文件的内容
53+
54+
4、刷新生效
55+
curl http://IP:PORT/executor?action=reloadJobTypePlugins

0 commit comments

Comments
 (0)