CentOS7部署Redis
操作系统 CentOS Linux release 7.4.1708 (Core) 安装Redis Redis官网下载网址：这里1234# wget http://download.redis.io/releases/redis-4.0.2.tar.gz# tar -zxvf redis-4.0.2.tar.gz# cd redis-4.0.2# make 配置Redis开机自启 修改Redis配置文件，开启守护进程 12# c
Centos7 部署MySQL
操作系统 CentOS Linux release 7.4.1708 (Core) 下载并安装MySQL MySQL RPM 包下载地址 从官网下载MySQL RPM包 1# wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm 校验PRM是否正确 1# md5sum mysql57-community-release-el7-11
分布式部署PySpider
环境 CentOS Linux release 7.4.1708 (Core) * 2 Python 2.7.5 pip 9.0.1 目标 在2台服务器上分布式部署PySpider爬虫框架，各服务器中PySpider组件如下： 主机 scheduler fetcher processor webui Master √ √ √ √ Slave √ √ 安装并配置Redis 配置Master，上一篇文章 →_
scrapy 爬取链家网租房信息
本文主要记录学习使用scrapy来获取链家网中北京地区的租房信息，并将获取到的信息存储到MySQL数据库的过程。 本机主要运行环境 Arch Linux scrapy MySQL Python3.6 安装scrapy为了方便安装,以及解决依赖问题,我们选择用pip安装scrapy.1# pip install Scrapy 附上scrapy 中文使用手册便于使用 初步了解scrapyscrapy 目录结构: 文件简要说明: scr
Python爬虫模拟登录支付宝并获取订单信息
本文仅学习交流使用，记录学习用webdriver模拟登录支付宝保存cookie，再用requests.session()加载cookie并用Xpath获取订单信息，将订单存储到MySQL数据库中的过程。 本机主要运行环境及库 Arch Linux webdriver(Chrome或者FireFox) Python3.6 selenium 库 json 库 requests 库 lxml 库 MySQLdb 库 确保本机具有或类似的运