网络训练结果无法复现

设置随机种子

应该为torch, numpy,以及Python设置随机种子，并提高torch卷积精度。

def set_seed(seed):
    random.seed(seed)
    np.random.seed(seed)
    os.environ['PYTHONHASHSEED'] = str(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False

设置随机种子之后，仍然发现训练结果不同？考虑是数据采样的问题

背景： 数据集需要对数据进行随机采样。从全体数据中随机sample得到部分作为训练测试数据。

踩坑： 在DataLoader中，num_worker会影响在已经设置好的随机种子下，对数据的采样结果，导致每次拿到的数据均不同。

解决方法： 删除num_worker.

原始： 相同seed下，每次提取的数据都不一致。

trainLoader = DataLoader(dataset, batch_size=10, shuffle=True, num_worker=1)

修改：相同seed下，每次随机得到的数据一致。

trainLoader = DataLoader(dataset, batch_size=10, shuffle=True)

实验对比发现，即使num_worker=1，仍然会导致无法复现。原因分析，num_worker是用于数据提取的多线程数，多线程情况下线程同步问题会导致随机种子在多次实验中波动。删除num_worker即可。