演示图
说明
分享个大佬的爬虫项目,可以爬取mm131、mmjpg、妹子图等各大美女图片站,然后下载图片后,自动帮你发布并搭建一个属于你自己的图片站,该项目作者也在长期维护
环境要求
Python 3.6、Mysql 5.5+、Nginx/Apache(非必需),本文只说CentOS 6/7、Debian 8/9、
前言:为了节省时间,本文只适用宝塔安装方法。操作方便、快捷
安装部署
第一步:安装宝塔(https://bt.cn)
#CentOS系统 wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh #Debian系统 wget -O install.sh http://download.bt.cn/install/install-ubuntu_6.0.sh && bash install.sh
安装完成后,进入面板,点击左侧软件管理,然后安装Mysql 5.5+、Nginx(如果你使用域名的话,就需要安装)
然后点击左侧数据库-添加数据库,设置好数据库信息
第二步:安装Python3
为了避免下面依赖安装出错,这里就不使用软件包安装Python3了,直接就使用脚本安装,使用命令:
备注:以下脚本使用的是Rat's的一键脚本
#CentOS系统 wget https://www.moerats.com/usr/shell/Python3/CentOS_Python3.6.sh && sh CentOS_Python3.6.sh #Debian系统 wget https://www.moerats.com/usr/shell/Python3/Debian_Python3.6.sh && sh Debian_Python3.6.sh
第三步:搭建站点
#下载源码 git clone https://git.coding.net/zxy_coding/94imm.git #安装依赖 cd 94imm pip3 install -r requirements.txt
第四步:导入数据库
可以自行下载出来后导入
第五步:找到Pytnon文件修改数据库内容
如何位置修改数据库信息
编辑启动配置文件,使用命令:
nano uwsgi.ini
PS:忘记说了,有些Linux系统没有自带nano命令,可以使用此命令安装(一路按Y即可)
yum install nano
然后看着改,大致修改如下:
#配置文件默认是将源码放在root目录,如果在其他目录可以自行修改 #如果你要是用ip访问,将127.0.0.1:8000改成http=0.0.0.0:8000,端口也可以改
启动程序:
uwsgi
此时站点地址为ip:8000(域名反代需要在宝塔配置)
第六步:域名反代
宝塔面板设置:
然后点击左侧网站-添加站点,填上你的域名,其他默认,然后点击域名设置-反向代理,url设置 http://127.0.0.1:8000 即可。然后打开你的域名就可以看到站点了
第七步:采集发布
光搭建站点是不够的,还需要采集并自动发布图片,爬虫和发布脚本在crawler目录,详细脚本说明:
crawler开头的脚本为图片采集爬虫,然后也会自动给你发布到文章,目前有6个美女站的爬虫脚本,后期可能会更多 AutoPost.py为自动发布脚本,将你本地的图片自动发布到搭建的站点中 Compress.py为图片压缩脚本,可以自动压缩图片,减少硬盘占用
这里以mm131爬虫脚本为例,先编辑crawler_mm131.py爬虫脚本
大致修改一下内容:
#修改为你的数据库连接信息 dbhost = { "host": "127.0.0.1", "dbname": "94imm", "user": "root", "password": "moerats" } #修改爬取的页数和图片保存路径,page为页数,img_path为路径,自行修改 for i in [{"page": 1, "type": "xinggan", "type_id": 1}, {"page": 1, "type": "qingchun", "type_id": 3}, {"page": 1, "type": "xiaohua", "type_id": 3}, {"page": 1, "type": "chemo", "type_id": 1}, {"page": 1, "type": "qipao", "type_id": 2}, {"page": 1, "type": "mingxing", "type_id": 1}]: spider=Spider(page_num=i.get("page"),img_path='/static/images/mm131/',thread_num=10,type_id=i.get("type_id"),type=i.get("type"))
然后开始采集并自动发布到程序,使用命令:
#进入目录
cd crawler
#其它爬虫使用方法也都一样
python3 crawler_mm131.py
然后就可以再图片站看到你的图片了,要是不显示的话,可以尝试删除cache目录里的缓存文件

您可以选择一种方式赞助本站
支付宝扫一扫赞助
微信钱包扫描赞助
赏