wget同时下载多个文件

问题产生

如果我要用wget下载三个文件，我要在命令行里敲三次命令。对这三个文件来说是ok的，但如果我哪次想同时下载十几个文件怎么办？总不能还一个一个命令敲吧？

解决方案

可以把要下载的文件链接写在一个txt文件里，然后wget -i xxx.txt
例如：将url链接放在一个叫example.txt的文件里

# 新建txt文件的命令
vim example.txt

# example.txt文件内容
https://cloud.tsinghua.edu.cn/f/fa25d75a1fcd41cc88d5/?dl=1
https://cloud.tsinghua.edu.cn/f/6e6d6fbc588b4719a9c0/?dl=1
https://cloud.tsinghua.edu.cn/f/bc51e8062b6940db8abf/?dl=1

wget -i example.txt

wget文件名称不正确问题

问题产生

在下载数据集的时候发现，wget下来的文件名字不正确。例如：
wget下载之后三个文件的名字并不是trainA、trainB、testA。然后解压缩就报错了…

原因：wget默认会以最后一个符合/的后面的字符来命令，对于动态链接的下载通常文件名会不正确

解决方案

对于上述问题，解决方案是使用-O参数指定文件名
例如：

wget -O trainA https://cloud.tsinghua.edu.cn/f/fa25d75a1fcd41cc88d5/?dl=1

wget同时下载多个文件并重命名

问题产生

在解决完第二个问题后，很自然想到如果要下载多个文件同时又要重命名怎么办？

解决方案

新建一个urls.txt文件，内容为：

trainA.rar https://cloud.tsinghua.edu.cn/f/fa25d75a1fcd41cc88d5/?dl=1
trainB.rar https://cloud.tsinghua.edu.cn/f/6e6d6fbc588b4719a9c0/?dl=1
testA.rar https://cloud.tsinghua.edu.cn/f/bc51e8062b6940db8abf/?dl=1

写个shell脚本

#!/bin/bash
while read file_name file_url
do
        wget -O ${file_name} -c ${file_url}
done < urls.txt

脚本的意思是：从urls.txt中读取一行内容，一行分为两个变量file_name和file_url，两个变量分别作为wget命令的参数执行。循环上述过程，直到urls.txt所有内容读取完毕。< urls.txt是输入重定向，默认从命令行读取，该操作将读取目标重定向为urls.txt文件。

Shell教程：https://www.runoob.com/linux/linux-shell.html

wget下载常用命令

一篇非常详细的博客：https://www.cnblogs.com/pretty-ru/p/10936023.html