作者你好，请问LRW-1000这个数据集直接可以训练吗？需要做哪些处理呢？我现在处理数据发现LRW1000里的音频文件只是有文字的片段，对于wav2lip的训练不是很对应

[yuanmaitian]

[yuanmaitian]

然后我想要么根据视频帧补齐音频的静音帧，要么根据音频帧裁掉无关的视频图片

[bjfrbjx]

我找到的lrw1000只有下半脸，而且帧数和音频不对应有0.2秒的偏差，写了个脚本对齐这0.2秒并转成了LSR的结构。
然后因为只有下半脸，所以syncnet_train288.py的Sync_Dataset(f"{args.data_root}/train.txt",(img_size,img_size))要换成Sync_Dataset(f"{args.data_root}/train.txt",(img_size,img_size//2))

[yuanmaitian]

我找到的lrw1000只有下半脸，而且帧数和音频不对应有0.2秒的偏差，写了个脚本对齐这0.2秒并转成了LSR的结构。 然后因为只有下半脸，所以syncnet_train288.py的Sync_Dataset(f"{args.data_root}/train.txt",(img_size,img_size))要换成Sync_Dataset(f"{args.data_root}/train.txt",(img_size,img_size//2))

需要将下半脸的图片统一resize成288*288的吗？另外，帧数和音频不对应有0.2秒的偏差--这个对齐是通过删去多余的图片还是删掉音频中心词前后的200毫秒呢？感谢！

[bjfrbjx]

我找到的lrw1000只有下半脸，而且帧数和音频不对应有0.2秒的偏差，写了个脚本对齐这0.2秒并转成了LSR的结构。 然后因为只有下半脸，所以syncnet_train288.py的Sync_Dataset(f"{args.data_root}/train.txt",(img_size,img_size))要换成Sync_Dataset(f"{args.data_root}/train.txt",(img_size,img_size//2))

需要将下半脸的图片统一resize成288*288的吗？另外，帧数和音频不对应有0.2秒的偏差--这个对齐是通过删去多余的图片还是删掉音频中心词前后的200毫秒呢？感谢！

训练代码里改成(img_size,img_size//2)，就是说reszie成（288,144）.
0.2秒是指他给的txt里，音频对应视频的时间是不准的。需要在他原来的起止范围上前后各加0.2秒，不上前几帧后几帧

[yuanmaitian]

大佬还有一个问题，就是在训练Sycnet时，你说的是：
在上一步的训练数据集文件夹里，添加train.txt 和 val.txt，分别写入训练数据和验证数据的全路径。
这个训练数据的全路径是指像wav2lip288*288项目里的唇形图片和对应音频文件在一个文件夹吗？还是怎样的呢？

[bjfrbjx]

唇形图片和对应音频文件在一个文件夹

是唇形图片和对应音频文件所在的同一个文件夹。
比如我的train.txt内容有：
D:\新建文件夹\speakers\88812e2d-8bf9-4390-883f-85ce2c7dd96a

[yuanmaitian]

大佬，你说：
需要在他原来的起止范围上前后各加0.2秒，不上前几帧后几帧
这里的前应该是减去0.2秒，后应该是加上0.2秒吧？以补上前5帧和后5帧

[bjfrbjx]

大佬，你说： 需要在他原来的起止范围上前后各加0.2秒，不上前几帧后几帧 这里的前应该是减去0.2秒，后应该是加上0.2秒吧？以补上前5帧和后5帧

对

[qingshuiyuyu]

大佬，数据集能分享一下不？