请问下使用fastdeploy部署paddleOCRv3的性能问题

[ouerum]

按照官方文档部署ppOCRv3 fastdeploy服务，使用jmeter压测性能一直卡在10QPS左右，修改instance_group里面的count数值也没有提高并发。

1. 推理后端使用tensorrt，精度是trt_fp8。
2. 从原有的矩阵输入改成了图片base64输入。

参考文档连接：https://github.com/PaddlePaddle/FastDeploy/blob/develop/examples/vision/ocr/PP-OCR/serving/fastdeploy_serving/README.md

部署环境
【GPU】NVIDIA T4
【docker镜像】fastdeploy:1.0.1-gpu-cuda11.4-trt8.4-21.10

[ouerum]

这是使用的配置文件 pp_ocr.tar.gz

另外请问下官方有测试过fastdeploy服务化部署ppocr的性能，以及有什么优化手段？

[Jiang-Jia-Jun]

这个需要自行debug看下是不是卡在了预处理这些cpu处理环节

[ouerum]

看了下8002的metric，80%耗时都是集中在det_postprocess这个流程上。这里有优化的点么？

…

On Dec 4, 2024 at 21:40 +0800, Jiang-Jia-Jun ***@***.***>, wrote: 这个需要自行debug看下是不是卡在了预处理这些cpu处理环节 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[Jiang-Jia-Jun]

这有可能是检测出来的框过多，每个框都需要crop出来，后处理耗时就会比较久。 看是否可以根据检测的置信度做一些过滤，减少后处理需要处理的框个数