Skip to content

Commit 684d36a

Browse files
committed
fix format (#3672)
1 parent 2418edc commit 684d36a

File tree

1 file changed

+40
-40
lines changed

1 file changed

+40
-40
lines changed

docs/pipeline_deploy/high_performance_inference.md

Lines changed: 40 additions & 40 deletions
Original file line numberDiff line numberDiff line change
@@ -171,44 +171,44 @@ PaddleX 结合模型信息与运行环境信息为每个模型提供默认的高
171171

172172
对于模型产线,在产线 yaml 中的 `hpi_params` 字段中新增`trt_dynamic_shapes` 或 `dynamic_shapes` 字段,以通用图像分类产线的 `image_classification.yaml` 为例:
173173

174-
```yaml
175-
...
176-
SubModules:
177-
ImageClassification:
178-
...
179-
hpi_params:
180-
config:
181-
selected_backends:
182-
cpu: openvino
183-
gpu: paddle_infer
184-
backend_config:
185-
# Paddle Inference 后端配置
186-
paddle_infer:
187-
enable_trt: True
188-
trt_precision: FP16
189-
trt_dynamic_shapes:
190-
x:
191-
- [1, 3, 300, 300]
192-
- [4, 3, 300, 300]
193-
- [32, 3, 1200, 1200]
194-
# TensorRT 后端配置
195-
tensorrt:
196-
precision: FP32
197-
dynamic_shapes:
198-
x:
199-
- [1, 3, 300, 300]
200-
- [4, 3, 300, 300]
201-
- [32, 3, 1200, 1200]
202-
...
203-
...
204-
```
205-
206-
对于单功能模块,在 `hpi_params` 参数中新增 `trt_dynamic_shapes` 或 `dynamic_shapes` 字段,以图像分类模块为例:
207-
208-
```python
209-
from paddlex import create_model
210-
211-
model = create_model(
174+
```yaml
175+
...
176+
SubModules:
177+
ImageClassification:
178+
...
179+
hpi_params:
180+
config:
181+
selected_backends:
182+
cpu: openvino
183+
gpu: paddle_infer
184+
backend_config:
185+
# Paddle Inference 后端配置
186+
paddle_infer:
187+
enable_trt: True
188+
trt_precision: FP16
189+
trt_dynamic_shapes:
190+
x:
191+
- [1, 3, 300, 300]
192+
- [4, 3, 300, 300]
193+
- [32, 3, 1200, 1200]
194+
# TensorRT 后端配置
195+
tensorrt:
196+
precision: FP32
197+
dynamic_shapes:
198+
x:
199+
- [1, 3, 300, 300]
200+
- [4, 3, 300, 300]
201+
- [32, 3, 1200, 1200]
202+
...
203+
...
204+
```
205+
206+
对于单功能模块,在 `hpi_params` 参数中新增 `trt_dynamic_shapes` 或 `dynamic_shapes` 字段,以图像分类模块为例:
207+
208+
```python
209+
from paddlex import create_model
210+
211+
model = create_model(
212212
"ResNet18",
213213
device="gpu",
214214
use_hpip=True,
@@ -247,9 +247,9 @@ PaddleX 结合模型信息与运行环境信息为每个模型提供默认的高
247247
output = pipeline.predict("https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_image_classification_001.jpg"
248248
```
249249

250-
在 `trt_dynamic_shapes` 或 `dynamic_shapes` 中,需要为每一个输入张量指定动态形状,格式为:`{输入张量名称}: [{最小形状}, [{最优形状}], [{最大形状}]]`。有关最小形状、最优形状以及最大形状的相关介绍及更多细节,请参考 [TensorRT 官方文档](https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#work_dynamic_shapes)。
250+
在 `trt_dynamic_shapes` 或 `dynamic_shapes` 中,需要为每一个输入张量指定动态形状,格式为:`{输入张量名称}: [{最小形状}, [{最优形状}], [{最大形状}]]`。有关最小形状、最优形状以及最大形状的相关介绍及更多细节,请参考 [TensorRT 官方文档](https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#work_dynamic_shapes)。
251251

252-
在完成修改后,请删除模型目录中的缓存文件(`shape_range_info.pbtxt` 与 `trt_serialized` 开头的文件)。
252+
在完成修改后,请删除模型目录中的缓存文件(`shape_range_info.pbtxt` 与 `trt_serialized` 开头的文件)。
253253

254254
### 2.2 二次开发高性能推理插件
255255

0 commit comments

Comments
 (0)