仅作为记录，大佬请跳过。

在用torch.distributed.init_process_group(backend='nccl', init_method='env://', world_size=world_size, rank=rank)时，出现

1、ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable MASTER_ADDR expected, but not set

解决

加入

os.environ['MASTER_ADDR'] = 'localhost'

2、ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable MASTER_PORT expected, but not set

解决

加入

os.environ['MASTER_PORT'] = '12345'

即可。

参考

感谢大佬博主文章：传送门

***

[swin-trans]分类的训练命令，还是得按照microsoft的说明进行（其使用的是分布式训练）

博主在xshell命令行运行python -m torch.distributed.launch --nproc_per_node 1 --master_port 12345 main.py

可以直接跑通（但在pycharm调试时，需要做如上设置）

展示

微软swin-trans分类训练网址

传送门