人物细节描写| 包羞忍耻是男儿| 叶细细| | 我尊敬的人老师| 绿色代表什么含义| 华盛顿英语| 会员英语| 载舟覆舟| 富强的反义词| 表达手法| 央视俄语频道| 杨宗纬和萧敬腾| 移动换积分| 养盒子| 莫之许| 带名的成语| 赞美父母的句子| 莲叶何田田| 氧化性和还原性| 喇怎么读| 北京市区面积| 好女孩英文| 26个汉语拼音字母表| 下降英语| 伊斯兰先知| 什么光什么色| 愿意英语| 励精图治的意思| 等价无穷小的使用条件| Lanp| 汉武帝之后| 职业道德的基本内容| 娱乐大事件| 向境外汇款| 元的意思| 晗怎么读| 雨的声音| 柏读什么| 星标邮件| rsv| 雁过留声| portion| 在我想你的时候| 香港大学灵异事件| 笔直| 歌以咏志| 泡利不相容原理| 颜氏家训集解| 基数效用论| 万博信誉网| bodog| 12bet网址| 狗万| 新万博电竞| 365bet体育| 365bet在线官网| 365bet体育| 皇冠游戏电子游戏| bbin| 新利体育| 沙巴体育平台| 365bet网址| 娱乐新天地| 365bet体育在线手机版| 注册送37威尼斯| 365bet官方网站| 365bet官方网址| 新利体育| bt365体育在线投注
立即注册 找回密码

QQ登录

只需一步,快速开始

查看: 844|回复: 0
打印 上一主题 下一主题

[PHP 教程] you-get 一个很强的视频地址抓取工具的方法

[复制链接]
365体育官网5

112

主题

127

帖子

1748

积分

超级版主

Rank: 8Rank: 8

积分
1748
跳转到指定楼层
楼主
发表于 2018-1-16 00:28:20 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
道勤网-数据www.daoqin.net

亲注册登录道勤网-可以查看更多帖子内容哦!(包涵精彩图片、文字详情等)请您及时注册登录-www.daoqin.net

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
前段时间,我因公司需求。所以要去研究如何拿到视屏的播放地址。一般普通的网站的视屏播放地址还是很好拿到的。但是对于优酷,腾讯这样的大型视屏资源站就很难拿到视屏资源了。普通的网站你通过网页就可以直接抓取到视屏的播放地址。但是这些大型就不行,这些网站都是做了防盗链的。就拿优酷来讲,首先他用了自己的SWF播放器,然后服务器会异步加载一段参数到页面播放器上去。播放器内部会对这些参数进行一个解析,然后获取到视频的播放地址。这个解析过程是比较复杂的。
  最开始我用fiddler4去抓包,还是能够抓到很多有用信息的。最开始想用逆向JS去做,但是后来发现它的东西好像和JS关系不太大,然后我又用jsop去抓关键代码,发现,他的视屏信息是通过异步加载的,表示jsoup抓不到,后来仔细观察发现,他的请求一本都是SWF播放器发出来的,没办法,只能把他的SWF抓下来,做了一个反编译后:(如果只是简单的网页套用的话,可以用它的swf然后去抓网页上name="flashvars" 段的value,然后把这段value发给swf后就能播放了。)
这边就是主要的东西。
大概知道优酷的大概加密方式就是
  k.youku.com/player/getFlvPath+"/sid/"+$sid+"_"+No+"/st/"+thisVideoType+"/fileid/"+id
  大概就是这个格式 sid 就是securityId 然后加上No(编号)然后后面的 fileId也是经过一系列加密的,并不是简单的ID。一般是会有一个token  ,K ,ep 参数是比较重要的参数 最后拿这个地址你只是获取到了一串能够获取播放地址的JSON
  1. [{"fileid":"0300080100579F87DDDF300157E54E465E9572-D357-57B7-15CA-646DEC5748A9.mp4","server":"http://117.41.231.17.rgwjc.com/youku/696AF5871C487D59853F424D/0300080100579F87DDDF300157E54E465E9572-D357-57B7-15CA-646DEC5748A9.mp4"}]
复制代码
就如上面这个一样,虽然server能够获取到视频的地址,但是/youku/后面的那串乱码是一个SEED加密。也就是说没多少个小时就会变一次,也就是不可能一次拿到一个永远不变的地址的。
  优酷的视频下载全是走的客户端,也就是说网页端想要抓取地址,普通的方法是行不通的。后来我对客户端进行一个数据抓包,然后惊奇的发现TMD根本抓不到任何有用信息,只能无奈的感叹这客户端太尼玛屌了。每次我点击下载新视频后再看看抓包信息,空空如也像什么也没发生过。没办反只能走反编译的路了。。(反编译工具免费版只能看,,不能复制更别说调试了。。、。。我操。。。)
      扯了这么多,现在进入正题了。you-get 是一个强大的抓取视频的工具,原理就是上面的swf反编译后抓取了加密方式,然后对网页请求进行一个解析,然后从视屏站服务器中骗取地址出来。
     首先这个语言是基于Python 的 先去官方下载最新的(至少3.0以上)的版本,因为这个版本自带pip3.下好后配好环境
     这边我就不多说了:http://www.jianshu.com.rgwjc.com/p/a3f8df948395
     然后打开cmd命令 输入
  1. pip3 install --upgrade you-get
复制代码
来获取 you-get 获取成功后基本的使用方法上面链接有。
     接下来就是关键了。
     如果你是只想获取地址的话可以在前面 加  命令
  1. --json
复制代码
  1. you-get --json  youwannaURL
复制代码
 即可获取到地址
通过pip3安装的东西一般放在 你的Python文件夹/Lib/site-packages/  下
  extractor.py 是main 层后的 功能能层。 可以进去看看 有很多方法 ,比如
you-get  URL这种不带参数的话 就会执行这个download 的第一个if 的else语句 直接下载视频。如果有了 --json 参数的话,就是执行的这个if
下载的功能在 common.py里面
可以向我这样加一段来输出看。或者用return阻断下载,。
回到输出json这边来在json_output.py 下
可以向我这样,选取自己需要的字段,然后用文件的形式把它输出。皆大欢喜,拿到了地址了。
更多想要的功能可以自己改代码~

道勤主机提供365天*24小时全年全天无休、实时在线、零等待的售后技术支持。竭力为您免费处理您在使用道勤主机过程中所遇到的一切问题! 如果您是道勤主机用户,那么您可以通过QQ【792472177】、售后QQ【59133755】、旺旺【诠释意念】、15056962695免费电话、后台提交工单这些方式联系道勤主机客服! 如果您不是我们的客户也没问题,点击页面最右边的企业QQ在线咨询图标联系我们并购买后,我们为您免费进行无缝搬家服务,让您享受网站零访问延迟的迁移到道勤主机的服务!
本内容系 道勤团队 www.daoqin.net 客服与技术人员研究整理的智慧结晶,转载勿用于商业用途,并保留本文链接,侵权必究!


帖子永久地址: 

【道勤网】- www.daoqin.net 软件视频自学教程|免费教程|自学电脑|3D教程|平面教程|影视动画教程|办公教程|机械设计教程|网站设计教程!【道勤网】 - 论坛版权1、本主题所有言论和图片纯属会员个人意见,与本论坛立场无关
2、本站所有主题由该帖子作者发表,该帖子作者与【道勤网】- www.daoqin.net 软件视频自学教程|免费教程|自学电脑|3D教程|平面教程|影视动画教程|办公教程|机械设计教程|网站设计教程!【道勤网】享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和【道勤网】- www.daoqin.net 软件视频自学教程|免费教程|自学电脑|3D教程|平面教程|影视动画教程|办公教程|机械设计教程|网站设计教程!【道勤网】的同意
4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
5、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
6、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
7、【道勤网】- www.daoqin.net 软件视频自学教程|免费教程|自学电脑|3D教程|平面教程|影视动画教程|办公教程|机械设计教程|网站设计教程!【道勤网】管理员和版主有权不事先通知发贴者而删除本文

加入道勤网VIP-www.daoqin.net-享受建站指导服务!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

道勤网- 推荐内容!上一条 /2 下一条



 
 
技术支持
在线客服
点击这里给我发消息
点击这里给我发消息
道勤建站群:
3群建站-美工交流-道勤
道勤美工群:
3群建站-美工交流-道勤
工作时间:
8:00-18:00
客服热线:
15056962695
官方微信扫一扫
发布主题 上个主题 下个主题 快速回复 返回列表 联系我们 官方QQ群

Powered by DaoQin! X3.2 © 2016-2063 Dao Qin & 道勤科技

快速回复 返回顶部 返回列表
365bet怎么上 365体育现场 365直播体育 365体育地址 大发体育
苏州市区人才市场 河南省新安县 泰安农大 蓬莱到大连船票 宜兴租房网
爱班 株洲物流 赵县网 月湖租房 眼球震颤能治好吗
烟台翻译 通信工程专业就业方向 魏县网 宋文文 北京灵水村
南艺后街 洛阳龙潭峡 安居可 赢世界 我是河南人
东南亚海岛游 西岭雪山旅游 拔剑四顾 叶明德 陶瓷轴
青岛快捷酒店 第一故事 重庆同城 显卡芯片排名 水松大厦
四川省筠连县 珍珠粉哪里有卖 纹身图案的含义 松山湖旅游攻略 岩心箱