TemporalSelfAttention在使用pre_bev去拼接query时是否存在问题？

[hxdoit]

在文件：https://github.com/fundamentalvision/BEVFormer/blob/master/projects/mmdet3d_plugin/bevformer/modules/encoder.py的第206行
prev_bev = torch.stack( [prev_bev, bev_query], 1).reshape(bs*2, len_bev, -1)
此句代码stack时，用了dim=1，这样stack第一个维度是batch size，所以对于同一条数据，它的pre和cur在一起。即: [pre_bev, bev_query]

下游文件：https://github.com/fundamentalvision/BEVFormer/blob/master/projects/mmdet3d_plugin/bevformer/modules/temporal_self_attention.py的197行：
在拼接query时，使用了上述信息，
query = torch.cat([value[:bs], query], -1)
此时用value[:bs]取数据时貌似不是特别对吧？ 例如，若bs=2时，value[:bs]取到的就是同一条数据的[pre_bev, bev_query]，但应该取的是不同数据的pre_bev。

请确认是否有此问题？

[hxdoit]

curxxx
Out[41]:
tensor([[[8, 9, 1, 0],
[1, 7, 6, 3],
[2, 6, 6, 9]],
[[1, 1, 0, 2],
[2, 9, 0, 4],
[2, 4, 3, 5]]])
prexxx
Out[42]:
tensor([[[5, 6, 7, 2],
[5, 0, 9, 8],
[7, 3, 0, 4]],
[[8, 8, 7, 2],
[5, 5, 2, 8],
[2, 1, 4, 3]]])
torch.stack([prexxx,curxxx],1).reshape(4,3,4)
Out[43]:
tensor([[[5, 6, 7, 2],
[5, 0, 9, 8],
[7, 3, 0, 4]],
[[8, 9, 1, 0],
[1, 7, 6, 3],
[2, 6, 6, 9]],
[[8, 8, 7, 2],
[5, 5, 2, 8],
[2, 1, 4, 3]],
[[1, 1, 0, 2],
[2, 9, 0, 4],
[2, 4, 3, 5]]])

这样在取[:2]时，取的其它是prexxx[0]和curxxx[0]，但我理解需要取的是：prexxx[0]和prexxx[1]

[JarvisLee0423]

你说的这个问题我拿你的例子尝试了一下。确实有你说的这个问题，就是stack[:bs]取数据的时候，如果bs大于1，比如举例用的bs=2的时候会取一个prev[0]和一个cur[0]。但是当bs=1的时候没有这个问题。所以bevformer的结果是没有问题的。因为bevformer给的结果都是单卡单batch训练的。batch 8意味着8张卡(config里面samples_per_gpu=1)。而且bevformer源代码也最好不要单卡多batch跑。因为除了你说的这个bug，bevformer在spatial_cross_attention里的实现也是不支持单卡多batch的(https://github.com/fundamentalvision/BEVFormer/blob/master/projects/mmdet3d_plugin/bevformer/modules/spatial_cross_attention.py, line: 139)。所以这确实是个bug，但是不影响bevformer的训练，因为训练的时候每张卡的bs都是1。

[hxdoit]

感谢 @JarvisLee0423 回复～