File tree Expand file tree Collapse file tree 1 file changed +3
-3
lines changed Expand file tree Collapse file tree 1 file changed +3
-3
lines changed Original file line number Diff line number Diff line change 1
- # 10分钟完成 ERNIE-4.5-0.3B-Base- Paddle 模型部署
1
+ # 10分钟完成 ERNIE-4.5-0.3B-Paddle 模型部署
2
2
3
3
本文档讲解如何部署ERNIE-4.5-0.3B-Base-Paddle模型,在开始部署前,请确保你的硬件环境满足如下条件:
4
4
17
17
安装FastDeploy后,在终端执行如下命令,启动服务,其中启动命令配置方式参考[ 参数说明] ( ../parameters.md )
18
18
``` shell
19
19
python -m fastdeploy.entrypoints.openai.api_server \
20
- --model baidu/ERNIE-4.5-0.3B-Base- Paddle \
20
+ --model baidu/ERNIE-4.5-0.3B-Paddle \
21
21
--port 8180 \
22
22
--metrics-port 8181 \
23
23
--engine-worker-queue-port 8182 \
24
24
--max-model-len 32768 \
25
25
--max-num-seqs 32
26
26
```
27
- > 💡 注意:在 ``` --model ``` 指定的路径中,若当前目录下不存在该路径对应的子目录,则会尝试根据指定的模型名称(如 ``` baidu/ERNIE-4.5-0.3B-Base- Paddle ``` )查询AIStudio是否存在预置模型,若存在,则自动启动下载。默认的下载路径为:``` ~/xx ``` 。关于模型自动下载的说明和配置参阅[ 模型下载] ( ../supported_models.md ) 。
27
+ > 💡 注意:在 ``` --model ``` 指定的路径中,若当前目录下不存在该路径对应的子目录,则会尝试根据指定的模型名称(如 ``` baidu/ERNIE-4.5-0.3B-Paddle ``` )查询AIStudio是否存在预置模型,若存在,则自动启动下载。默认的下载路径为:``` ~/xx ``` 。关于模型自动下载的说明和配置参阅[ 模型下载] ( ../supported_models.md ) 。
28
28
``` --max-model-len ``` 表示当前部署的服务所支持的最长Token数量。
29
29
``` --max-num-seqs ``` 表示当前部署的服务所支持的最大并发处理数量。
30
30
You can’t perform that action at this time.
0 commit comments