小浣熊CMS
当前位置: 其他 > 卧槽!某Hub站的视频爬虫开源了~

本篇为纯技术性文章,告诉大家如何抓取视频。

# PornHubBot

源代码地址:https://github.com/levphon/pornhubbot

  • PornHubBot项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接
  • 项目爬的是PornHub.com,结构简单,速度飞快
  • 爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络,所以相对慢一点。
  • 10个线程同时请求,可达到如上速度。若个人网络环境更好,可启动更多线程来请求,具体配置方法见 [启动前配置]

# 环境、架构

  • 开发语言: Python2.7
  • 开发环境: MacOS系统、4G内存
  • 数据库: MongoDB
  • 主要使用 scrapy 爬虫框架
  • 从Cookie池和UA池中随机抽取一个加入到Spider
  • start_requests 根据 PorbHub 的分类,启动了5个Request,同时对五个分类进行爬取。
  • 并支持分页爬取数据,并加入到待爬队列。

# 使用说明

启动前配置

  • 安装MongoDB,并启动,不需要配置
  • 安装Scrapy
  • 安装Python的依赖模块:pymongo、json、requests
  • 根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置

启动

python PornHub/quickstart.py

# 运行截图

# 数据库说明

数据库中保存数据的表是 PhRes。以下是字段说明:

  • video_title:视频的标题,并作为唯一标识
  • link_url:视频调转到PornHub的链接 
  • image_url:视频的封面链接 
  • video_duration:视频的时长,以 s 为单位 
  • quality_480p: 视频480p的 mp4 下载地址

来源:http://www.techug.com/post/pornhubbot.html

「梦想一旦被付诸行动,就会变得神圣,如果觉得我的文章对您有用,请帮助本站成长」

赞(0) 打赏

支付宝扫一扫打赏

微信扫一扫打赏

标签:

上一篇:

下一篇:

相关推荐

0 条评论关于"卧槽!某Hub站的视频爬虫开源了~"

最新评论

    暂无留言哦~~

博客简介

友情链接

他们同样是一群网虫,却不是每天泡在网上游走在淘宝和网游之间、刷着本来就快要透支的信用卡。他们或许没有踏出国门一步,但同学却不局限在一国一校,而是遍及全球!申请交换友链

服务热线:
 

 QQ在线交流

 旺旺在线