采集各种美女图片站并下载图片、自动搭建属于自己的图片站

2020年1月27日14:01:16 评论 749 2065字
HXY

演示图

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

说明

分享个大佬的爬虫项目,可以爬取mm131、mmjpg、妹子图等各大美女图片站,然后下载图片后,自动帮你发布并搭建一个属于你自己的图片站,该项目作者也在长期维护

环境要求

Python 3.6Mysql 5.5+Nginx/Apache(非必需),本文只说CentOS 6/7Debian 8/9、

前言:为了节省时间,本文只适用宝塔安装方法。操作方便、快捷

安装部署

第一步:安装宝塔(https://bt.cn

#CentOS系统
wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh
#Debian系统
wget -O install.sh http://download.bt.cn/install/install-ubuntu_6.0.sh && bash install.sh

采集各种美女图片站并下载图片、自动搭建属于自己的图片站


安装完成后,进入面板,点击左侧软件管理,然后安装Mysql 5.5+Nginx(如果你使用域名的话,就需要安装)

然后点击左侧数据库-添加数据库,设置好数据库信息

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

采集各种美女图片站并下载图片、自动搭建属于自己的图片站


第二步:安装Python3

为了避免下面依赖安装出错,这里就不使用软件包安装Python3了,直接就使用脚本安装,使用命令:

备注:以下脚本使用的是Rat's的一键脚本

#CentOS系统
wget https://www.moerats.com/usr/shell/Python3/CentOS_Python3.6.sh && sh CentOS_Python3.6.sh
#Debian系统
wget https://www.moerats.com/usr/shell/Python3/Debian_Python3.6.sh && sh Debian_Python3.6.sh

第三步:搭建站点

#下载源码
git clone https://git.coding.net/zxy_coding/94imm.git
#安装依赖
cd 94imm
pip3 install -r requirements.txt

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

第四步:导入数据库

可以自行下载出来后导入

采集各种美女图片站并下载图片、自动搭建属于自己的图片站采集各种美女图片站并下载图片、自动搭建属于自己的图片站

第五步:找到Pytnon文件修改数据库内容

如何位置修改数据库信息

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

编辑启动配置文件,使用命令:

nano uwsgi.ini

PS:忘记说了,有些Linux系统没有自带nano命令,可以使用此命令安装(一路按Y即可)

yum install nano

然后看着改,大致修改如下:

#配置文件默认是将源码放在root目录,如果在其他目录可以自行修改
#如果你要是用ip访问,将127.0.0.1:8000改成http=0.0.0.0:8000,端口也可以改

启动程序:

uwsgi

此时站点地址为ip:8000(域名反代需要在宝塔配置)

第六步:域名反代

宝塔面板设置:
然后点击左侧网站-添加站点,填上你的域名,其他默认,然后点击域名设置-反向代理,url设置 http://127.0.0.1:8000 即可。然后打开你的域名就可以看到站点了

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

第七步:采集发布

光搭建站点是不够的,还需要采集并自动发布图片,爬虫和发布脚本在crawler目录,详细脚本说明:

crawler开头的脚本为图片采集爬虫,然后也会自动给你发布到文章,目前有6个美女站的爬虫脚本,后期可能会更多
AutoPost.py为自动发布脚本,将你本地的图片自动发布到搭建的站点中
Compress.py为图片压缩脚本,可以自动压缩图片,减少硬盘占用

这里以mm131爬虫脚本为例,先编辑crawler_mm131.py爬虫脚本

大致修改一下内容:

#修改为你的数据库连接信息
dbhost = {
    "host": "127.0.0.1",
    "dbname": "94imm",
    "user": "root",
    "password": "moerats"
}
#修改爬取的页数和图片保存路径,page为页数,img_path为路径,自行修改
for i in [{"page": 1, "type": "xinggan", "type_id": 1}, {"page": 1, "type": "qingchun", "type_id": 3},
          {"page": 1, "type": "xiaohua", "type_id": 3}, {"page": 1, "type": "chemo", "type_id": 1},
          {"page": 1, "type": "qipao", "type_id": 2}, {"page": 1, "type": "mingxing", "type_id": 1}]:
spider=Spider(page_num=i.get("page"),img_path='/static/images/mm131/',thread_num=10,type_id=i.get("type_id"),type=i.get("type"))

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

然后开始采集并自动发布到程序,使用命令:

#进入目录
cd crawler
#其它爬虫使用方法也都一样
python3 crawler_mm131.py

然后就可以再图片站看到你的图片了,要是不显示的话,可以尝试删除cache目录里的缓存文件

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

采集各种美女图片站并下载图片、自动搭建属于自己的图片站

继续阅读
weinxin
我的微信
如有任何问题或疑问,请添加我的微信咨询哦~
夏天❤
  • 如果文内未有特别说明,所文均为本博客原创文章,转载请标注出处
  • 转载注明:https://www.sevesum.com/261.html - 采集各种美女图片站并下载图片、自动搭建属于自己的图片站
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: