drop_last=True
当你使用了batch normalization的时候,如果batch_size设置得不合适,又没有使用 drop_last = true,那么可能会遇到以下错误

Expected more than 1 value per channel when training, got input size torch.Size([1, 1024])

解决方案:

https://discuss.pytorch.org/t/about-the-relation-between-batch-size-and-length-of-data-loader/10510/4

train_iter = torch.utils.data.DataLoader(train_dataset, batch_size = batch_size, shuffle = True, num_workers = num_workers, drop_last=True)

test_iter = torch.utils.data.DataLoader(test_dataset, batch_size = batch_size, shuffle = True, num_workers = num_workers, drop_last=True)

使用了drop_last = True, 可能会有以下后果:

比如 test set中有229个数据, 如果batch size = 40, 那么就会有29个数据不会被使用。在每一个epoch中,就只有200个数据。229 - 40*5 = 29

再比如,batch size = 20, 那么就会有9个数据不会被使用。在每一个epoch中,就只有220个数据。 229 - 20*11 = 9
作者:宿安雅
https://www.bilibili.com/read/cv4956521/
出处: bilibili

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐