onnx 形式的预训练模型固定了帧长是有什么特别的考虑吗？

[songfuture]

首先非常感谢如此优秀的项目！
请教一下，

1. 导出的onnx形式的预训练模型的帧数维为什么是固定的200而不是动态的任意帧数？是结合了训练模型的chunk包含的帧数考虑的吗？还是考虑了CMN阶段的帧数要求？
2. 如果固定帧数为200，当一条语音包含的帧数不是200的整数倍时，应该如何处理剩余的帧？如语音包含278帧，[0:200]帧可以用onnx模型进行推理，剩余的78帧应该如何使用模型进行推理呢？用[78:278]把剩余的78帧也利用起来，还是[200:278]重复至200帧送入onnx进行推理呢？

[cdliang11]

非常感谢对这个项目的关注！

导出onnx支持动态维度，如下：

wespeaker/wespeaker/bin/export_onnx.py

Lines 84 to 88 in e9bbf73

	if args.num_frames > 0:
	num_frms = args.num_frames
	dynamic_axes = None
	else:
	dynamic_axes = {'feats': {0: 'B', 1: 'T'}, 'embs': {0: 'B'}}

[songfuture]

非常感谢对这个项目的关注！

导出onnx支持动态维度，如下：

wespeaker/wespeaker/bin/export_onnx.py

Lines 84 to 88 in e9bbf73

	if args.num_frames > 0:
	num_frms = args.num_frames
	dynamic_axes = None
	else:
	dynamic_axes = {'feats': {0: 'B', 1: 'T'}, 'embs': {0: 'B'}}

[songfuture]

请问一下如何获得发布的预训练模型的config呢，这样才能重新导出动态帧数维的预训练onnx模型？

[cdliang11]

请问一下如何获得发布的预训练模型的config呢，这样才能重新导出动态帧数维的预训练onnx模型？

你好，预训练模型下载页面：https://github.com/wenet-e2e/wespeaker/blob/master/docs/pretrained.md ，里边提供了pytorch模型（包含config文件）和onnx模型，其中onnx模型是动态维度。

[songfuture]

使用预训练模型时https://wenet.org.cn/downloads?models=wespeaker&version=voxblink2_samresnet34.onnx，会提示帧数不匹配，请问是还需要改什么参数吗？

[cdliang11]

抱歉，这个onnx导出的有问题，变成了固定长度。 我们会重新导出并上传。

另外，你也可以利用pt模型，重新导出onnx。 https://wenet.org.cn/downloads?models=wespeaker&version=voxblink2_samresnet34.zip

导出命令如下：

python wespeaker/bin/export_onnx.py --config voxblink2_samresnet34/config.yaml --checkpoint voxblink2_samresnet34/avg_model.pt --output_model voxblink2_samresnet34/final.onnx

[songfuture]

抱歉，这个onnx导出的有问题，变成了固定长度。 我们会重新导出并上传。

另外，你也可以利用pt模型，重新导出onnx。 https://wenet.org.cn/downloads?models=wespeaker&version=voxblink2_samresnet34.zip

导出命令如下：

python wespeaker/bin/export_onnx.py --config voxblink2_samresnet34/config.yaml --checkpoint voxblink2_samresnet34/avg_model.pt --output_model voxblink2_samresnet34/final.onnx

谢谢您的建议，按要求重新导出动态帧数维的模型后，想对这个模型做一些finetune，但是没有在预训练模型的配置文件中https://wenet.org.cn/downloads?models=wespeaker&version=voxblink2_samresnet34.zip 发现optimizer和学习率变化策略的配置，请问有更详细的配置文件有说明这两点吗？

[cdliang11]

抱歉，这个onnx导出的有问题，变成了固定长度。 我们会重新导出并上传。
另外，你也可以利用pt模型，重新导出onnx。 https://wenet.org.cn/downloads?models=wespeaker&version=voxblink2_samresnet34.zip
导出命令如下：

python wespeaker/bin/export_onnx.py --config voxblink2_samresnet34/config.yaml --checkpoint voxblink2_samresnet34/avg_model.pt --output_model voxblink2_samresnet34/final.onnx

谢谢您的建议，按要求重新导出动态帧数维的模型后，想对这个模型做一些finetune，但是没有在预训练模型的配置文件中https://wenet.org.cn/downloads?models=wespeaker&version=voxblink2_samresnet34.zip 发现optimizer和学习率变化策略的配置，请问有更详细的配置文件有说明这两点吗？

目前没有voxblink2的recipe，请关注这个issue #365