这是我的个人小站,当然,还有杜比。

 分类:技术专区

python

Scrapy源码分析系列(四)

Scrapy源码分析系列(四)
Scrapy源码分析系列(四) 转自:here 这篇文章就让我们来看一下,Scrapy的核心流程是如何运行的,它是如何调度各个组件,完成抓取工作的。 1.运行入口 还是回到最初的入口,在Scrapy源码分析(二)运行入口这篇文章中已经讲解到,在执行scrapy命令时,...

shimeng 9个月前 (02-28) 229浏览 0评论 0喜欢

python

Scrapy源码分析系列(三)

Scrapy源码分析系列(三)
Scrapy源码分析系列(三) 转自:here 这次来分析一下,scrapy中最核心的组件,它们之间是如何协同工作的。 不过由于代码量较多,现分为2部分讲解: 核心组件初始化 核心组件交互流程 这次先来讲解这些核心组件初始化都做了哪些工作。 爬虫类 接...

shimeng 9个月前 (02-28) 268浏览 0评论 0喜欢

python

Scrapy源码分析系列(二)

Scrapy源码分析系列(二)
Scrapy源码分析系列(二) 转自:here scrapy命令 当用scrapy写好一个爬虫后,使用scrapy crawl 命令就可以运行这个爬虫,那么这个过程中到底发生了什么? scrapy命令从何而来? 实际上,当你成功安装scrapy后,使用如下命令,就能找到这...

shimeng 9个月前 (02-28) 318浏览 0评论 0喜欢

python

python scrapy源码分析(一)

python scrapy源码分析(一)
Scrapy源码分析系列(一) 转自:here 架构概览 在爬虫领域,使用最多的主流语言主要是Java和Python这两种,而开源爬虫框架Scrapy正是由Python编写的。 Scrapy在开源爬虫框架中名声很大,几乎用Python写爬虫的人,都用过这个框架。市场上很多...

shimeng 9个月前 (02-23) 207浏览 0评论 0喜欢

python

python virtualenv 学习总结

virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。 首先,我们用pip安装virtualenv: pip install virtualenv 然后,假定我们要开发一个新的项目,需要一套独立的Python运行环境,可以这么做: – 第...

shimeng 9个月前 (02-22) 232浏览 0评论 0喜欢

linux

centos6 redis 安装方法

centos6 redis 安装方法
转自:http://www.cnblogs.com/hanyinglong/p/5036558.html 1.redis简单说明   redis是一个key-value存储系统,它支持存储的value类型相比较Memcached更多,包括string,list,set,sets,...

shimeng 10个月前 (02-08) 254浏览 0评论 2喜欢

linux

vim学习总结

vim学习总结
下文转自链接。由原作者陈皓译自《Learn ViM Progressively》,非常不错。 ——————————正文开始—————————— 你想以最快的速度学习人类史上最好的文本编辑器VIM吗?你先得懂得如何在VIM幸存下来,然后一点一点地学习各种戏法。 Better, St...

shimeng 10个月前 (02-07) 357浏览 0评论 3喜欢

wordpress 建站教程

VPS+LNMP+WordPress搭建个人网站/博客

写在前面 很久之前就想拥有一个属于自己网站,和腾讯新浪等提供的公共空间不同,这是属于自己的地盘,是自己在互联网上的一亩三分地,可以想怎么玩就怎么玩(尽管服务器域名程序都是别人的)。 想象中做出一个网站难度是很大的,实际操作后才知道现在网站建设的各个方面都已经非常成熟,即使什么都不...

shimeng 10个月前 (02-07) 203浏览 0评论 4喜欢