YOLOE11-seg微调后的模型报错

[JiajinZhong]

为什么在20个类别上的数据集上进行微调过后进行指定类别推理的时候就报错了，中间特征图的大小被固定成训练的类别了这是什么原因牙官方预训练过后的就不会有这个问题。x_cat = torch.cat([xi.view(shape[0], self.nc + self.reg_max * 4, -1) for xi in x], 2)
File "/home/xgrids/ZJJ/code/yoloe/ultralytics/nn/modules/head.py", line 486, in
x_cat = torch.cat([xi.view(shape[0], self.nc + self.reg_max * 4, -1) for xi in x], 2)
RuntimeError: shape '[1, 65, -1]' is invalid for input of size 921600

[xjwwjx]

你是不是用的YOLOESegTrainer这个训练器，这个训练器会把yoloe变成传统的检测/分割模型，你要用rain_seg.py或train.py中的训练器才能保持yoloe的开放检测能力。

[JiajinZhong]

你是不是用的YOLOESegTrainer这个训练器，这个训练器会把yoloe变成传统的检测/分割模型，你要用rain_seg.py或train.py中的训练器才能保持yoloe的开放检测能力。

oh原来是这样我去验证一下，我确实是用的这个训练器。我还想请教您一些问题，就是我之前尝试的训练方式都没法保留就是根据词汇提示去检测一定要我输入所有的类别才行，这个有什么办法解决嘛！非常感谢

[xjwwjx]

因为YOLOESegTrainer会把yoloe变成一个传统的传统的检测/分割模型，他模型里面的参数就定死了，所以你只能输入数据集中的所有类别才能与模型设定好的参数匹配。解决方法就是用YOLOESegTrainerFromScratch这个训练器并在你的训练集上训练，可以看看我的pr，那里有怎么获得文本嵌入的方法。

[JiajinZhong]

解决方法就是用YOLOESegTrainerFromScratch这个训练器并在你的训练集上训练，可以看看我的pr，那里有怎么获得文本嵌入的方法。

好的！非常感谢我试试

[JiajinZhong]

因为YOLOESegTrainer会把yoloe变成一个传统的传统的检测/分割模型，他模型里面的参数就定死了，所以你只能输入数据集中的所有类别才能与模型设定好的参数匹配。解决方法就是用YOLOESegTrainerFromScratch这个训练器并在你的训练集上训练，可以看看我的pr，那里有怎么获得文本嵌入的方法。

我还有个问题就是那我的训练集和验证集是我自己的数据集然后groundingdata用的是官方的那两个数据集是麻

[xjwwjx]

是，有些数据集配置你要自己调整

[JiajinZhong]

是，有些数据集配置你要自己调整

弄好了！太感谢了我之前还一直对这个官方的groundingdata很懵

[mu-nigth]

@xjwwjx 请问下，如果训练集和验证集用自己的数据，groundingdata用obj365，这样的话，开集检测能力能保存吗，比如我的训练集和验证集都是帽子，只是颜色会不同，这样训练后，能识别出黑色或者白色的帽子吗

[xjwwjx]

@mu-nigth 看你自己的那个数据集质量和训练次数吧。一般来说，你在自己的数据集上训练越多次，模型的开集检测能力就会越差。因为你的数据集一般是没有论文里用的公开数据集全面的。

[SZDHCUSZZ]

是，有些数据集配置你要自己调整

弄好了！太感谢了我之前还一直对这个官方的groundingdata很懵

请问你的问题解决了吗？你提到的使用“YOLOSegTrainer”而不是“YOLOEPETrainer”训练器，能具体说一下运行的是哪个.py文件吗？另外你们的数据集是只将yolo_data修改为自己的数据集，grounding_data还是使用官方的mixed_grounding和flickr嘛？感谢

[JiajinZhong]

是，有些数据集配置你要自己调整

弄好了！太感谢了我之前还一直对这个官方的groundingdata很懵

请问你的问题解决了吗？你提到的使用“YOLOSegTrainer”而不是“YOLOEPETrainer”训练器，能具体说一下运行的是哪个.py文件吗？另外你们的数据集是只将yolo_data修改为自己的数据集，grounding_data还是使用官方的mixed_grounding和flickr嘛？感谢

我后面训练用的是train_seg.py这个文件，因没有考虑到用这个检测框查询这个功能，就只保留了文本查询这个功能。但是这样训练的结果也是最后模型也是退化到只有私有数据集的检测能力了。grounding_data我这边就没有用了，就类似这个结构：# 数据配置
data = dict(
train=dict(
yolo_data=[r"E:/code/pro/yoloe/ultralytics/cfg/datasets/XXX.yaml"],
),
val=dict(yolo_data=[r"E:/code/pro/yoloe/ultralytics/cfg/datasets/XXX.yaml"]),
)

[SZDHCUSZZ]

是的，有些数据集配置你要自己调整

弄好了！太感谢我之前一直对这个官方的接地数据很茫然

请问你的问题解决了吗？你提到的使用“YOLOSegTrainer”而不是“YOLOEPETrainer”训练器，能具体说一下运行的是哪个.py文件吗？其他的数据集只是将yolo_data修改为自己的数据集，grounding_data还是使用官方的mixed_grounding和flickr呢？谢谢

我后面训练用的是train_seg.py这个文件，因没有考虑到用这个检测查询这个功能，就只框保留了文本查询这个功能。但是这样训练的结果也是最后模型也是裸露到只剩下数据集的检测能力了。grounding_data我心脏病就没有用了，就类似这个结构：# 数据配置 data = dict( train=dict( yolo_data=[r"E:/code/pro/yoloe/ultralytics/cfg/datasets/XXX.yaml"], ), val=dict(yolo_data=[r"E:/code/pro/yoloe/ultralytics/cfg/datasets/XXX.yaml"]), )

好的非常感谢，那您的意思就是最后训练完的模型就和用普通的YOLO训练出来的模型一样了，只能实现Bbox的目标检测和语义分割功能了？也不具备开放词汇检测功能，也不支持视觉提示检测功能了？

[JiajinZhong]

是的，有些数据集配置你要自己调整

弄好了！太感谢我之前一直对这个官方的接地数据很茫然

请问你的问题解决了吗？你提到的使用“YOLOSegTrainer”而不是“YOLOEPETrainer”训练器，能具体说一下运行的是哪个.py文件吗？其他的数据集只是将yolo_data修改为自己的数据集，grounding_data还是使用官方的mixed_grounding和flickr呢？谢谢

我后面训练用的是train_seg.py这个文件，因没有考虑到用这个检测查询这个功能，就只框保留了文本查询这个功能。但是这样训练的结果也是最后模型也是裸露到只剩下数据集的检测能力了。grounding_data我心脏病就没有用了，就类似这个结构：# 数据配置 data = dict( train=dict( yolo_data=[r"E:/code/pro/yoloe/ultralytics/cfg/datasets/XXX.yaml"], ), val=dict(yolo_data=[r"E:/code/pro/yoloe/ultralytics/cfg/datasets/XXX.yaml"]), )

好的非常感谢，那您的意思就是最后训练完的模型就和用普通的YOLO训练出来的模型一样了，只能实现Bbox的目标检测和语义分割功能了？也不具备开放词汇检测功能，也不支持视觉提示检测功能了？

训练出来的模型也具备词汇检测的功能，但是仅限于你私有数据集里面的那些类别。

[SZDHCUSZZ]

是的，有些数据集配置你要自己调整

弄好了！太感谢我之前一直对这个官方的接地数据很茫然

请问你的问题解决了吗？你提到的使用“YOLOSegTrainer”而不是“YOLOEPETrainer”训练器，能具体说一下运行的是哪个.py文件吗？其他的数据集只是将yolo_data修改为自己的数据集，grounding_data还是使用官方的mixed_grounding和flickr呢？谢谢

我后面训练用的是train_seg.py这个文件，因没有考虑到用这个检测查询这个功能，就只框保留了文本查询这个功能。但是这样训练的结果也是最后模型也是裸露到只剩下数据集的检测能力了。grounding_data我心脏病就没有用了，就类似这个结构：# 数据配置 data = dict( train=dict( yolo_data=[r"E:/code/pro/yoloe/ultralytics/cfg/datasets/XXX.yaml"], ), val=dict(yolo_data=[r"E:/code/pro/yoloe/ultralytics/cfg/datasets/XXX.yaml"]), )

好的非常感谢，那您的意思就是最后训练完的模型就和用普通的YOLO训练出来的模型一样了，只能实现Bbox的目标检测和语义分割功能了？也不具备开放词汇检测功能，也不支持视觉提示检测功能了？

训练出来的模型也具备词汇检测的功能，但是仅限于你私有数据集里面的那些类别。

好的非常感谢您的解答，那还算是开放词汇检测嘛？也是一次性输入全部类别，还是可以单独输入几个类别，单独检测某个类别？还有一个问题：是否能够实现论文里面说的不给任何提示（Prompt-Free），输入后判断要检测的它是前景还是背景，进而进行前景和词汇库匹配的检测能力呢？

[JiajinZhong]

是的，有些数据集配置你要自己调整

弄好了！太感谢我之前一直对这个官方的接地数据很茫然

请问你的问题解决了吗？你提到的使用“YOLOSegTrainer”而不是“YOLOEPETrainer”训练器，能具体说一下运行的是哪个.py文件吗？其他的数据集只是将yolo_data修改为自己的数据集，grounding_data还是使用官方的mixed_grounding和flickr呢？谢谢

我后面训练用的是train_seg.py这个文件，因没有考虑到用这个检测查询这个功能，就只框保留了文本查询这个功能。但是这样训练的结果也是最后模型也是裸露到只剩下数据集的检测能力了。grounding_data我心脏病就没有用了，就类似这个结构：# 数据配置 data = dict( train=dict( yolo_data=[r"E:/code/pro/yoloe/ultralytics/cfg/datasets/XXX.yaml"], ), val=dict(yolo_data=[r"E:/code/pro/yoloe/ultralytics/cfg/datasets/XXX.yaml"]), )

好的非常感谢，那您的意思就是最后训练完的模型就和用普通的YOLO训练出来的模型一样了，只能实现Bbox的目标检测和语义分割功能了？也不具备开放词汇检测功能，也不支持视觉提示检测功能了？

训练出来的模型也具备词汇检测的功能，但是仅限于你私有数据集里面的那些类别。

好的非常感谢您的解答，那还算是开放词汇检测嘛？也是一次性输入全部类别，还是可以单独输入几个类别，单独检测某个类别？还有一个问题：是否能够实现论文里面说的不给任何提示（Prompt-Free），输入后判断要检测的它是前景还是背景，进而进行前景和词汇库匹配的检测能力呢？

看你怎么用，就是如果你还想推理官方的那个数据集的话是做不到词汇检测了。如果你只是推理你的私有数据集的化你就可以指定类别去做词汇检测。比如你的数据集里有人、树和车，那你输入人这个词汇的话他就只会检测出人，其他都不做检测。如果你什么提示词都不输入的话那就是全检测也就是论文说的。这个prompt-free它实际上就是把文本特征嵌入和分类头的最后一层卷积做了个融合，所以在推理的时候还是具备这个prompt-free的能力的。