采集各种美女图片站并下载图片、自动搭建属于自己的图片站

演示图

说明

分享个大佬的爬虫项目，可以爬取mm131、mmjpg、妹子图等各大美女图片站，然后下载图片后，自动帮你发布并搭建一个属于你自己的图片站，该项目作者也在长期维护

环境要求

Python 3.6、Mysql 5.5+、Nginx/Apache(非必需)，本文只说CentOS 6/7、Debian 8/9、

前言：为了节省时间，本文只适用宝塔安装方法。操作方便、快捷

安装部署

第一步：安装宝塔（https://bt.cn）

#CentOS系统
wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh
#Debian系统
wget -O install.sh http://download.bt.cn/install/install-ubuntu_6.0.sh && bash install.sh

安装完成后，进入面板，点击左侧软件管理，然后安装Mysql 5.5+、Nginx(如果你使用域名的话，就需要安装)

然后点击左侧数据库-添加数据库，设置好数据库信息

第二步：安装Python3

为了避免下面依赖安装出错，这里就不使用软件包安装Python3了，直接就使用脚本安装，使用命令：

备注：以下脚本使用的是Rat's的一键脚本

#CentOS系统
wget https://www.moerats.com/usr/shell/Python3/CentOS_Python3.6.sh && sh CentOS_Python3.6.sh
#Debian系统
wget https://www.moerats.com/usr/shell/Python3/Debian_Python3.6.sh && sh Debian_Python3.6.sh

第三步：搭建站点

#下载源码
git clone https://git.coding.net/zxy_coding/94imm.git
#安装依赖
cd 94imm
pip3 install -r requirements.txt

第四步：导入数据库

可以自行下载出来后导入

第五步：找到Pytnon文件修改数据库内容

如何位置修改数据库信息

编辑启动配置文件，使用命令：

nano uwsgi.ini

PS：忘记说了，有些Linux系统没有自带nano命令，可以使用此命令安装（一路按Y即可）

yum install nano

然后看着改，大致修改如下：

#配置文件默认是将源码放在root目录，如果在其他目录可以自行修改
#如果你要是用ip访问，将127.0.0.1:8000改成http=0.0.0.0:8000，端口也可以改

启动程序：

uwsgi

此时站点地址为ip:8000（域名反代需要在宝塔配置）

第六步：域名反代

宝塔面板设置：
然后点击左侧网站-添加站点，填上你的域名，其他默认，然后点击域名设置-反向代理，url设置 http://127.0.0.1:8000 即可。然后打开你的域名就可以看到站点了

第七步：采集发布

光搭建站点是不够的，还需要采集并自动发布图片，爬虫和发布脚本在crawler目录，详细脚本说明：

crawler开头的脚本为图片采集爬虫，然后也会自动给你发布到文章，目前有6个美女站的爬虫脚本，后期可能会更多
AutoPost.py为自动发布脚本，将你本地的图片自动发布到搭建的站点中
Compress.py为图片压缩脚本，可以自动压缩图片，减少硬盘占用

这里以mm131爬虫脚本为例，先编辑crawler_mm131.py爬虫脚本

大致修改一下内容：

#修改为你的数据库连接信息
dbhost = {
    "host": "127.0.0.1",
    "dbname": "94imm",
    "user": "root",
    "password": "moerats"
}
#修改爬取的页数和图片保存路径，page为页数，img_path为路径，自行修改
for i in [{"page": 1, "type": "xinggan", "type_id": 1}, {"page": 1, "type": "qingchun", "type_id": 3},
          {"page": 1, "type": "xiaohua", "type_id": 3}, {"page": 1, "type": "chemo", "type_id": 1},
          {"page": 1, "type": "qipao", "type_id": 2}, {"page": 1, "type": "mingxing", "type_id": 1}]:
spider=Spider(page_num=i.get("page"),img_path='/static/images/mm131/',thread_num=10,type_id=i.get("type_id"),type=i.get("type"))

然后开始采集并自动发布到程序，使用命令：

#进入目录
cd crawler
#其它爬虫使用方法也都一样
python3 crawler_mm131.py

然后就可以再图片站看到你的图片了，要是不显示的话，可以尝试删除cache目录里的缓存文件