PHP 调用Wget下载文件 解决请求数量限制

采集里用到的

例如采集土豆 优库 等等的视频flv文件
先采集数据库入库 记录ID 或者完整的URL都可以

然后新建个down.php
读取数据库的记录 比如对方限制了每IP连接数为5
就取5条记录

使用记录的id或者url
采集实时的防盗链URL
交给下载器 curl或wget
我一般使用WGET 比较好

使用exec 判断存在多少个wget进程

做个循环
比如 进程数量 不等于0 等条件 就延时多少秒刷新当前页面
如果 进程数量 等于0 就下载 然后在延时多少分钟后 刷新进入下一个页面

代码示例
0

执行
1

执行
11

说白了检测+循环 理论上可以完成很多任务
很方便的说
视频文件弄到本地 你是转换也好 做什么都方便了

比如把优酷的视频 pps的视频 下载到本地
把标题翻译为英文 在curl提交到youtube等等站 加链接备注 做外链什么的

额 用处可大了去了…..

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注