7
7
8
8
## 引言
9
9
10
- DataSphere Studio(简称DSS )是微众银行自研的数据应用开发管理集成框架。
10
+ DataSphere Studio(简称 DSS )是微众银行自研的数据应用开发管理集成框架。
11
11
12
12
基于插拔式的集成框架设计,及计算中间件 [ ** Linkis** ] ( https://github.com/WeBankFinTech/Linkis ) ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。
13
13
14
- 在统一的UI下 ,DataSphere Studio以工作流式的图形化拖拽开发体验 ,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。
14
+ 在统一的 UI 下 ,DataSphere Studio 以工作流式的图形化拖拽开发体验 ,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。
15
15
16
- ** DSS通过插拔式的集成框架设计 ,让用户可以根据需要,简单快速替换DSS已集成的各种功能组件 ,或新增功能组件。**
16
+ ** DSS 通过插拔式的集成框架设计 ,让用户可以根据需要,简单快速替换 DSS 已集成的各种功能组件 ,或新增功能组件。**
17
17
18
- 借助于 [ ** Linkis** ] ( https://github.com/WeBankFinTech/Linkis ) 计算中间件的连接、复用与简化能力,DSS天生便具备了金融级高并发 、高可用、多租户隔离和资源管控等执行与调度能力。
18
+ 借助于 [ ** Linkis** ] ( https://github.com/WeBankFinTech/Linkis ) 计算中间件的连接、复用与简化能力,DSS 天生便具备了金融级高并发 、高可用、多租户隔离和资源管控等执行与调度能力。
19
19
20
20
## 界面预览
21
21
22
- 请您耐心等待,加载gif需要一些时间 。
22
+ 请您耐心等待,加载 gif 需要一些时间 。
23
23
24
24
![ DSS-V1.0 GIF] ( images/en_US/readme/DSS_gif.gif )
25
25
26
26
## 核心特点
27
27
28
- DSS主要特点 :
28
+ DSS 主要特点 :
29
29
30
30
### 一、一站式、全流程的应用开发管理界面
31
31
32
-   ;   ;   ;   ; DSS集成度极高 ,目前已集成的系统有:
32
+   ;   ;   ;   ; DSS 集成度极高 ,目前已集成的系统有:
33
33
34
34
  ;   ;   ;   ; 1、数据开发IDE工具——[ Scriptis] ( https://github.com/WeBankFinTech/Scriptis )
35
35
36
-   ;   ;   ;   ; 2、数据可视化工具——[ Visualis] ( https://github.com/WeBankFinTech/Visualis ) (基于宜信[ Davinci] ( https://github.com/edp963/davinci ) 二次开发)
36
+   ;   ;   ;   ; 2、数据可视化工具——[ Visualis] ( https://github.com/WeBankFinTech/Visualis ) (基于宜信[ Davinci] ( https://github.com/edp963/davinci ) 二次开发)
37
37
38
38
  ;   ;   ;   ; 3、数据质量管理工具——[ Qualitis] ( https://github.com/WeBankFinTech/Qualitis )
39
39
40
40
  ;   ;   ;   ; 4、工作流调度工具——[ Schedulis] ( https://github.com/WeBankFinTech/Schedulis )
41
41
42
-   ;   ;   ;   ; 5、数据交换工具——[ Exchangis] ( https://github.com/WeBankFinTech/Exchangis ) (** 已支持免密跳转,等待Exchangis发版 ** )
42
+   ;   ;   ;   ; 5、数据交换工具——[ Exchangis] ( https://github.com/WeBankFinTech/Exchangis ) (** 即将发布的 Exchangis1.0,将与 DSS 工作流打通 ** )
43
43
44
44
  ;   ;   ;   ; 6、数据Api服务——[ DataApiService] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3/DataApiService%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3.md )
45
45
46
-   ;   ;   ;   ; 7、流式应用开发管理工具——[ Streamis] ( https://github.com/WeBankFinTech/Streamis ) ( ** 即将开源 ** )
46
+   ;   ;   ;   ; 7、流式应用开发管理工具——[ Streamis] ( https://github.com/WeBankFinTech/Streamis )
47
47
48
-   ;   ;   ;   ; ** DSS插拔式的框架设计模式,允许用户快速替换DSS已集成的各个Web系统** 。如:将 Scriptis 替换成Zeppelin,将 Schedulis 替换成DolphinScheduler。
48
+   ;   ;   ;   ; 8、一站式机器学习平台——[ Prophecis] ( https://github.com/WeBankFinTech/Prophecis ) (** 即将发布** )
49
+
50
+   ;   ;   ;   ; 9、工作流任务调度平台——DolphinScheduler(** 代码合并中** )
51
+
52
+   ;   ;   ;   ; 10、数据模型中心——DataModelCenter(** 社区联合共建中,预计春节后** )
53
+
54
+   ;   ;   ;   ; ** DSS 插拔式的框架设计模式,允许用户快速替换DSS已集成的各个 Web 系统** 。如:将 Scriptis 替换成 Zeppelin,将 Schedulis 替换成 DolphinScheduler。
49
55
50
56
![ DSS一站式] ( images/zh_CN/readme/onestop.gif )
51
57
52
58
### 二、基于Linkis计算中间件,打造独有的AppConn设计理念
53
59
54
-   ;   ;   ;   ; AppConn,是DSS可以简单快速集成各种上层Web系统的核心概念 。
60
+   ;   ;   ;   ; AppConn,是 DSS 可以简单快速集成各种上层 Web 系统的核心概念 。
55
61
56
-   ;   ;   ;   ; AppConn——应用连接器,定义了一套统一的前后台接入协议,总共分为三级规范,可让外部数据应用系统快速简单地接入,成为DSS数据应用开发中的一环 。
62
+   ;   ;   ;   ; AppConn ——应用连接器,定义了一套统一的前后台接入协议,总共分为三级规范,可让外部数据应用系统快速简单地接入,成为 DSS 数据应用开发中的一环 。
57
63
58
-   ;   ;   ;   ; AppConn的三级规范即 :一级SSO规范,二级组织结构规范,三级开发流程规范;
64
+   ;   ;   ;   ; AppConn 的三级规范即 :一级SSO规范,二级组织结构规范,三级开发流程规范;
59
65
60
-   ;   ;   ;   ; DSS通过串联多个 AppConn,编排成一条支持实时执行和定时调度的工作流,用户只需简单拖拽即可完成数据应用的全流程开发。
66
+   ;   ;   ;   ; DSS 通过串联多个 AppConn,编排成一条支持实时执行和定时调度的工作流,用户只需简单拖拽即可完成数据应用的全流程开发。
61
67
62
-   ;   ;   ;   ; 由于 AppConn 对接了Linkis ,外部数据应用系统因此具备了资源管控、并发限流、用户资源管理等能力,且允许上下文信息跨系统级共享,彻底告别应用孤岛。
68
+   ;   ;   ;   ; 由于 AppConn 对接了 Linkis ,外部数据应用系统因此具备了资源管控、并发限流、用户资源管理等能力,且允许上下文信息跨系统级共享,彻底告别应用孤岛。
63
69
64
70
### 三、Workspace级管理单元
65
71
66
72
  ;   ;   ;   ; 以 Workspace 为管理单元,组织和管理各数据应用系统的业务应用,定义了一套跨数据应用系统的工作空间协同开发通用标准,并提供了用户角色管理能力。
67
73
68
74
### 四、已集成的数据应用组件
69
75
70
-   ;   ;   ;   ; DSS通过实现多个AppConn,已集成了丰富多样的各种上层数据应用系统,基本可满足用户的数据开发需求。
71
-
72
-   ;   ;   ;   ; ** 如果有需要,也可以轻松集成新的数据应用系统,以替换或丰富DSS的数据应用开发流程。** [ 点我了解如何快速集成新的应用系统] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%BC%80%E5%8F%91%E6%96%87%E6%A1%A3/%E7%AC%AC%E4%B8%89%E6%96%B9%E7%B3%BB%E7%BB%9F%E6%8E%A5%E5%85%A5DSS%E5%BC%80%E5%8F%91%E6%8C%87%E5%8D%97.md )
73
-
74
- | 应用工具 | 描述 | DSS0.X 版本要求 | DSS1.0 版本要求 | 版本规划 |
75
- | --------------- | -------------------------------------------------------------------- | --------------------------------------------------------------------- | ---------- | ------ |
76
- | ** DataApiService** | 数据API服务。可快速将SQL脚本发布为一个Restful接口,对外提供Rest访问能力 | 不支持 | >=1.0.0 | 已发布 |
77
- | ** Airflow** | 支持将DSS工作流发布到Airflow进行定时调度 | >=0.9.1,尚未合并 | on going | ** 待规划** |
78
- | ** Streamis** | 流式应用开发管理工具。支持发布Flink Jar 和 Flink SQL ,提供流式应用的开发调试和生产管理能力,如:启停、状态监控、checkpoint等。 | 不支持 | >=1.0.0 | ** 即将发布** |
79
- | ** UserManager** | 自动初始化一个DSS新用户所必须的所有用户环境,包含:创建Linux用户、各种用户路径、目录授权等 | >=0.9.1 | on going | ** 待规划** |
76
+   ;   ;   ;   ; DSS 通过实现多个 AppConn,已集成了丰富多样的各种上层数据应用系统,基本可满足用户的数据开发需求。
77
+
78
+   ;   ;   ;   ; ** 如果有需要,也可以轻松集成新的数据应用系统,以替换或丰富 DSS 的数据应用开发流程。** [ 点我了解如何快速集成新的应用系统] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%BC%80%E5%8F%91%E6%96%87%E6%A1%A3/%E7%AC%AC%E4%B8%89%E6%96%B9%E7%B3%BB%E7%BB%9F%E6%8E%A5%E5%85%A5DSS%E5%BC%80%E5%8F%91%E6%8C%87%E5%8D%97.md )
79
+
80
+ | 应用工具 | 描述 | DSS0.X 版本要求 | DSS1.0 版本要求 | 版本规划 |
81
+ | --------------- | -------------------------------------------------------------------- | --------- | ---------- | ------ |
82
+ | ** DolphinScheduler** | Apache DolphinScheduler,分布式易扩展的可视化工作流任务调度平台,支持一键将DSS工作流发布到 DolphinScheduler。 | 不支持 | 规划在1.1.0 | ** 代码合并中** |
83
+ | ** DataModelCenter** | 主要提供数仓规划、数据模型开发和数据资产管理的能力。数仓规划包含主题域、数仓分层、修饰词等;数据模型开发包含指标、维度、度量、向导式建表等;数据资产打通 Apache Atlas,提供数据血缘能力。 | 不支持 | 规划在1.2.0 | ** 社区联合共建中,预计春节后** |
84
+ | ** UserManager** | 自动初始化一个 DSS 新用户所必须的所有用户环境,包含:创建 Linux 用户、各种用户路径、目录授权等。 | >=0.9.1 | >=1.0.2 | ** 代码合并中** |
85
+ | [ ** Prophecis** ] ( https://github.com/WeBankFinTech/Prophecis ) | 一站式机器学习平台,集成多种开源机器学习框架。Prophecis 的 MLFlow 通过 AppConn 可以接入到 DSS 工作流中。 | 不支持 | >=1.0.2 | ** 即将发布** |
86
+ | [ ** Streamis** ] ( https://github.com/WeBankFinTech/Streamis ) | 流式应用开发管理工具。支持发布 Flink Jar 和 Flink SQL ,提供流式应用的开发调试和生产管理能力,如:启停、状态监控、checkpoint 等。 | 不支持 | >=1.0.1 | ** 即将发布** |
87
+ | [ ** Exchangis** ] ( https://github.com/WeBankFinTech/Exchangis ) | 支持对结构化及无结构化的异构数据源之间的数据传输的数据交换平台,即将发布的 Exchangis1.0,将与 DSS 工作流打通 | 不支持 | >=1.0.1 | ** 筹备中** |
88
+ | [ ** Visualis** ] ( https://github.com/WeBankFinTech/Visualis ) | 基于宜信开源项目 Davinci 二次开发的数据可视化BI工具,为用户在数据安全方面提供金融级数据可视化能力。 | >=0.5.0 | >=1.0.2 | ** 待发布** |
89
+ | [ ** Qualitis** ] ( https://github.com/WeBankFinTech/Qualitis ) | 数据质量校验工具,提供数据完整性、正确性等数据校验能力 | >=0.5.0 | >=1.0.1 | ** 待发布** |
90
+ | [ ** DataApiService** ] ( https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3/DataApiService%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3.md ) | 数据API服务。可快速将SQL脚本发布为一个 Restful 接口,对外提供 Rest 访问能力。 | 不支持 | >=1.0.0 | 已发布 |
91
+ | [ ** Scriptis** ] ( https://github.com/WeBankFinTech/Scriptis ) | 支持在线写 SQL、Pyspark、HiveQL 等脚本,提交给[ Linkis] ( https://github.com/WeBankFinTech/Linkis ) 执行的数据分析 Web 工具。 | >=0.5.0 | >=1.0.0 | 已发布 |
92
+ | [ ** Schedulis** ] ( https://github.com/WeBankFinTech/Schedulis ) | 基于 Azkaban 二次开发的工作流任务调度系统,具备高性能,高可用和多租户资源隔离等金融级特性。 | >=0.5.0 | >=1.0.0 | 已发布 |
80
93
| ** EventCheck** | 提供跨业务、跨工程和跨工作流的信号通信能力。 | >=0.5.0 | >=1.0.0 | 已发布 |
81
94
| ** SendEmail** | 提供数据发送能力,所有其他工作流节点的结果集,都可以通过邮件进行发送 | >=0.5.0 | >=1.0.0 | 已发布 |
82
- | [ ** Scriptis** ] ( https://github.com/WeBankFinTech/Scriptis ) | 支持在线写SQL、Pyspark、HiveQL等脚本,提交给[ Linkis] ( https://github.com/WeBankFinTech/Linkis ) 执行的数据分析Web工具。 | >=0.5.0 | >=1.0.0 | 已发布 |
83
- | [ ** Visualis** ] ( https://github.com/WeBankFinTech/Visualis ) | 基于宜信开源项目Davinci二次开发的数据可视化BI工具,为用户在数据安全方面提供金融级数据可视化能力。 | >=0.5.0 | >=1.0.0 | 已发布 |
84
- | [ ** Qualitis** ] ( https://github.com/WeBankFinTech/Qualitis ) | 数据质量校验工具,提供数据完整性、正确性等数据校验能力 | >=0.5.0 | >=1.0.0 | ** 待发布** |
85
- | [ ** Schedulis** ] ( https://github.com/WeBankFinTech/Schedulis ) | 基于Azkaban二次开发的工作流任务调度系统,具备高性能,高可用和多租户资源隔离等金融级特性。 | >=0.5.0 | >=1.0.0 | 已发布 |
86
- | [ ** Exchangis** ] ( https://github.com/WeBankFinTech/Exchangis ) | 支持对结构化及无结构化的异构数据源之间的数据传输的数据交换平台 | 不支持 | >=1.0.0 | ** 待发布** |
95
+ | ** Airflow** | 支持将 DSS 工作流发布到 Airflow 进行定时调度。 | >=0.9.1,尚未合并 | 不支持 | ** 待规划** |
87
96
88
97
89
98
## Demo试用环境
90
99
91
-   ;   ;   ;   ; 由于 DataSphereStudio 支持执行脚本风险较高,WeDataSphere Demo环境的隔离没有做完,考虑到大家都在咨询Demo环境 ,决定向社区先定向发放邀请码,接受企业和组织的试用申请。
100
+   ;   ;   ;   ; 由于 DataSphereStudio 支持执行脚本风险较高,WeDataSphere Demo 环境的隔离没有做完,考虑到大家都在咨询 Demo 环境 ,决定向社区先定向发放邀请码,接受企业和组织的试用申请。
92
101
93
-   ;   ;   ;   ; 如果您想试用Demo环境 ,请加入DataSphere Studio社区用户群(** 加群方式请翻到本文档末尾处** ),联系团队成员获取邀请码 。
102
+   ;   ;   ;   ; 如果您想试用 Demo 环境 ,请加入DataSphere Studio社区用户群(** 加群方式请翻到本文档末尾处** ),联系 ** WeDataSphere入群机器人 ** 获取邀请码 。
94
103
95
104
  ;   ;   ;   ; DataSphereStudio Demo环境用户注册页面:[ 点我进入] ( https://www.ozone.space/wds/dss/#/register )
96
105
97
106
  ;   ;   ;   ; DataSphereStudio Demo环境登录页面:[ 点我进入] ( https://www.ozone.space/wds/dss/#/login )
98
107
99
-   ;   ;   ;   ; ** DataSphereStudio1.0 Demo环境将在近期开放,敬请期待** 。
100
108
101
109
## 下载
102
110
@@ -134,7 +142,7 @@ DSS1.0的完整文档列表,请参见 [DSS-Doc](https://github.com/WeBankFinTe
134
142
135
143
## 使用场景
136
144
137
-   ;   ;   ;   ; DataSphere Studio适用于以下场景 :
145
+   ;   ;   ;   ; DataSphere Studio 适用于以下场景 :
138
146
139
147
  ;   ;   ;   ; 1. 正在筹建或初步具备大数据平台能力,但无任何数据应用工具的场景。
140
148
@@ -151,9 +159,9 @@ DSS1.0的完整文档列表,请参见 [DSS-Doc](https://github.com/WeBankFinTe
151
159
152
160
## 联系我们
153
161
154
- 对 DSS 的任何问题和建议,敬请提交issue ,以便跟踪处理和经验沉淀共享。
162
+ 对 DSS 的任何问题和建议,敬请提交 issue ,以便跟踪处理和经验沉淀共享。
155
163
156
- 您也可以扫描下面的二维码,加入我们的微信 /QQ群,以获得更快速的响应。
164
+ 您也可以扫描下面的二维码,加入我们的 微信 /QQ群,以获得更快速的响应。
157
165
158
166
![ 交流] ( images/zh_CN/readme/communication.png )
159
167
0 commit comments