mIoU问题

[winky4111]

作者你好，我在训练时使用了dict(type='LoadOccGTFromFileCVPR2023', scale_1_2=True, scale_1_4=True, scale_1_8=True, ignore_invisible=True, load_mask=True),但是得到的mIoU为41.9，还是无法复现接近论文中44.6的结果。请问还有什么细节是我没有注意到的吗？期待你的回复，谢谢

[lzzzzzm]

1.可视化检查一下训练时使用的带有camera mask的多尺度Occ场景是否正常；有可能你生成带camera mask的多尺度标签在低尺度时绝大部分区域都是空的，这是异常的情况。
2.带camera mask训练时最优的epoch不一定在最后的时候，也有可能在中间，另外可以试试下面两种epoch的设置策略，我们在训练时会发现不同随机种子的情况下，这两张的最优情况并不一定相同

num_iters_per_epoch = int(28130 // (num_gpus * samples_per_gpu) * 4.554)
num_iters_per_epoch = int(28130 // (num_gpus * samples_per_gpu))

3.如果你的卡数和我们不一样，记得调整学习率，我们此前在尝试四张卡训练时，发现结果会异常。

[winky4111]

好的，感谢作者的解答！同时，我可能遇到生成带camera mask的多尺度标签区域为空的情况，因为我在训练一段时间后出现loss计算出错的现象，请问你是如何解决这种异常情况的呢？对于两种epoch策略我会继续尝试，如你所言，我确实使用了四张卡进行训练，但是我的batch_size增加了一倍，总训练迭代次数应该是不变的，这种情况下也需要继续调整学习率吗？希望作者有时间帮忙解答一下，再次感谢！！！

[lzzzzzm]

1.多尺度标签为空的情况，可以尝试修改empty threshold，使得像在最低尺度（25x25x2）里，地面大部分地方是有信息的，具体这个empty threshold是多少，因为我们代码重构过一次，这个数值确实丢了，但这个数值的可控范围很大，结果都不会差距很大，后面我们有空会把这个带有多尺度的标签提供一下。
2.虽然从其他工作的经验，增大batch size会对齐，但实际上效果会差挺多的，这个我们也是试过的，最好就是都调整一下。或者你可以尝试去复现openocc上的结果，来调整学习率和一些训练参数，以保证结果不会差距这么大

[winky4111]

感谢作者的回答！修改empty threshold，是需要重新生成多尺度标签吗？后面可以尝试一下，如果能提供带有多尺度的标签，确实能帮助我们更好的复现。我同时我也复现了openocc上的结果（四张卡进行训练，batch_size增加了一倍），复现效果较好，和论文差距在0.2以内。期待作者上传多尺度的标签，我也会继续调试。