curl与wget高级用法-小柳实验室

常用参数如下：

使用示例：
例1：抓取页面到指定文件，如果有乱码可以使用iconv转码

12	# curl -o baidu.html www.baidu.com# curl –s –o baidu.html www.baidu.com \|iconv -f utf-8 #减少输出信息

例2：模拟浏览器头（user-agent）

1	# curl -A “Mozilla/4.0 (compatible;MSIE 6.0; Windows NT 5.0)” www.baidu.com

例3：处理重定向页面

1	# curl –L http://192.168.1.100/301.php #默认curl是不处理重定向

例4：模拟用户登陆，保存cookie信息到cookies.txt文件，再使用cookie登陆

12	# curl -c ./cookies.txt -F NAME=user -F PWD=***URL #NAME和PWD是表单属性不同，每个网站基本都不同# curl -b ./cookies.txt –o URL

例5：获取HTTP响应头headers

12	# curl -I http://www.baidu.com# curl -D ./header.txt http://www.baidu.com #将headers保存到文件中

例6：访问HTTP认证页面

1	# curl –u user:pass URL

例7：通过ftp上传和下载文件

12	# curl -T filename ftp://user:pass@ip/docs #上传# curl -O ftp://user:pass@ip/filename #下载

常用参数如下：

使用示例：
例1：下载单个文件到当前目录下，也可以-P指定下载目录

1	# wgethttp://nginx.org/download/nginx-1.8.0.tar.gz

例2：对于网络不稳定的用户可以使用-c和–tries参数，保证下载完成

1	# wget –tries=20 -c http://nginx.org/download/nginx-1.8.0.tar.gz

例3：下载大的文件时，我们可以放到后台去下载，这时会生成wget-log文件来保存下载进度

1	# wget -b http://nginx.org/download/nginx-1.8.0.tar.gz

例4：可以利用—spider参数判断网址是否有效

1	# wget –spider http://nginx.org/download/nginx-1.8.0.tar.gz

例5：自动从多个链接下载文件

1234	# cat url_list.txt #先创建一个URL文件http://nginx.org/download/nginx-1.8.0.tar.gzhttp://nginx.org/download/nginx-1.6.3.tar.gz# wget -i url_list.txt

例6：限制下载速度

1	# wget –limit-rate=1m http://nginx.org/download/nginx-1.8.0.tar.gz

例7：登陆ftp下载文件

1	# wget –ftp-user=user –ftp-password=pass ftp://ip/filenam

微信扫描下方的二维码阅读本文

curl与wget高级用法