微调后模型没有保存2_Dense

[insomnia-y1999]

🐛 bug 说明

您好，很多huggingface上的embedding模型都有一个2_Dense层（以这个stella-mrl-large-zh-v3.5-1792d为例），不过微调后的模型没有保存2_Dense，导致输出的维度是1024而不是原本的1792。或者怀疑是微调前加载模型时就没有把2_Dense加载进来。请问如何解决？

Python Version

None

[insomnia-y1999]

我发现设置model_type为sentense_transformers，也即FineTuner.from_pretrained(model, model_type='sentence_transformers')，可以让输出的model路径下包含2_Dense。

但中间的checkpoints/checkpoint_0路径下仍然没有。这个有办法解决吗~~