分类:
生活
| 标签:
云计算
| 发布:2012-12-17 12:17 a.m.
| 阅读量: 9521
这周从一开始就比较郁闷,郁闷的原因就是花了一晚上的时间,写了篇博客,然后用云笔记同步之后写的内容全部丢失了。 这段时间在学习urllib2的源码,博客上大家可以看到的已经有三篇了,第四篇在周末的时候写好了,然后周一到公司用云笔记同步了一下,发现没有同步过来,想到可能是因为在家的
先来说下场景,需要写一个爬虫,定时从某个接口地址获取数据,然后存入本地数据库。 因此就需要一个可定时执行的东西,之前在the5fire的知识体系中除了可以在数据库中定时执行某个存储过程或者sql语句,如何在系统中定时执行某个任务还没有概念。 于是,请教了同事。知道在ub
分类:
生活
| 标签:
百度收录
| 发布:2012-12-06 9:36 p.m.
| 阅读量: 8616
之前有提过,因为修改博客文章的链接导致百度收录变为2,当时费了好多时间在研究怎么才能解决这个问题,百度的站长规范看了又看,也没啥帮助,然后就放弃了。没想到过了这么久,来自百度搜索引擎的访问逐渐升高了,我表示很欣慰。上两张图留个纪念。
OpenerDirector是怎么把这些handler分类的 上篇文章说到,在build_opener中只是调用了OpenerDirector的add_handler方法,并不是直接操作的属性来完成handler的添加的。那么来看看OpenerDirector.add_hand
对上面的几个对象有个基本概念之后,再来深究下代码,从一个最普通的urllib2.urlopen()开始,先来熟悉下第一个重点对象:build_opener这个函数。 大家最为熟悉的一段代码: res = urllib2.urlopen('
开始有读urllib2源码的这个想法是在某个午饭后的时光,刷了会微博发现:与其无聊的刷微博,不如找点源码读,想了想,就找到urllib2。 原因是urllib2这个模块是从一开始写python到很久以后都会用到的东西,我想大多数人都会有这样的感觉,因为它很好用,而且pyth
分类:
Tornado
| 标签:
ab测试
| 发布:2012-11-15 10:02 p.m.
| 阅读量: 11999
这周前三天处于高速的忙碌之中,一直没来的及对我部的那十台服务器进行压力测试。今天稍得空闲,想起这事,觉得不能再拖了。不然这服务器老是报障发短信也不个事,得从根本上解决才行。 十台服务器上部了二十个tornado进程,每台上两个。前面用nginx做负载,目
在使用python的urllib2模拟post时的一个问题,目前还搞不清楚是urlencode的bug还是php对于post支持的问题。各位看官不妨帮我分析下。 情景是这样的,我需要往一个php开发的api接口上post数据,数据格式如下:
分类:
读书
| 标签:
科技想要什么
读后感
| 发布:2012-11-07 11:02 p.m.
| 阅读量: 7214
这本书读的时间很长,前一半内容在7月份就读完了,后来因为工作的事没有接着读,前几天又想起来,有拿起来接着读,今天算是读完了。时间上跨度比较大,因此整体感觉上不够流畅。前半部分的内容在记忆中也不是那么清晰了。 除了在阅读上时间的跨度,这本书内容上的跨度也很
分类:
网络爬虫
| 标签:
python日志
| 发布:2012-11-04 9:24 p.m.
| 阅读量: 13039
有网友留言想知道我在写知道创宇面试题的爬虫中怎么使用日志的,这里给贴出来,大家讨论下,不是很优雅的方式,只是能解决问题的方式。 具体功能就是,定义记录日志的级别,级别从低到高打出来的日志越来越详细。这个程序中只是写了1~5个级别。只是使用了python的logging模块。 来