the5fire

关注Python、Django、Vim、Linux、Web开发、团队管理和互联网--Life is short, we need Python.

云笔记还是不靠谱呀

分类:生活 | 标签:   | 发布:2012-12-17 12:17 a.m. | 阅读量: 9521

这周从一开始就比较郁闷,郁闷的原因就是花了一晚上的时间,写了篇博客,然后用云笔记同步之后写的内容全部丢失了。 这段时间在学习urllib2的源码,博客上大家可以看到的已经有三篇了,第四篇在周末的时候写好了,然后周一到公司用云笔记同步了一下,发现没有同步过来,想到可能是因为在家的

ubuntu定时执行任务crontab的使用

分类:Linux | 标签:     | 发布:2012-12-15 10:12 p.m. | 阅读量: 17829

先来说下场景,需要写一个爬虫,定时从某个接口地址获取数据,然后存入本地数据库。 因此就需要一个可定时执行的东西,之前在the5fire的知识体系中除了可以在数据库中定时执行某个存储过程或者sql语句,如何在系统中定时执行某个任务还没有概念。 于是,请教了同事。知道在ub

百度终于又收录俺的博客了-_-

分类:生活 | 标签:   | 发布:2012-12-06 9:36 p.m. | 阅读量: 8616

之前有提过,因为修改博客文章的链接导致百度收录变为2,当时费了好多时间在研究怎么才能解决这个问题,百度的站长规范看了又看,也没啥帮助,然后就放弃了。没想到过了这么久,来自百度搜索引擎的访问逐渐升高了,我表示很欣慰。上两张图留个纪念。

urllib2源码解读三(探索OpenerDirector的add_handler)

分类:源码解读 | 标签:     | 发布:2012-12-05 10:30 p.m. | 阅读量: 10795

OpenerDirector是怎么把这些handler分类的 上篇文章说到,在build_opener中只是调用了OpenerDirector的add_handler方法,并不是直接操作的属性来完成handler的添加的。那么来看看OpenerDirector.add_hand

urllib2源码解读二(简单的urlopen)

分类:源码解读 | 标签:   | 发布:2012-11-28 10:54 p.m. | 阅读量: 11778

对上面的几个对象有个基本概念之后,再来深究下代码,从一个最普通的urllib2.urlopen()开始,先来熟悉下第一个重点对象:build_opener这个函数。 大家最为熟悉的一段代码: res = urllib2.urlopen('

urllib2源码解读一(开篇)[更新2012-11-28]

分类:源码解读 | 标签:   | 发布:2012-11-19 9:54 p.m. | 阅读量: 8004

开始有读urllib2源码的这个想法是在某个午饭后的时光,刷了会微博发现:与其无聊的刷微博,不如找点源码读,想了想,就找到urllib2。 原因是urllib2这个模块是从一开始写python到很久以后都会用到的东西,我想大多数人都会有这样的感觉,因为它很好用,而且pyth

web压力测试ab测试的使用

分类:Tornado | 标签:   | 发布:2012-11-15 10:02 p.m. | 阅读量: 11999

这周前三天处于高速的忙碌之中,一直没来的及对我部的那十台服务器进行压力测试。今天稍得空闲,想起这事,觉得不能再拖了。不然这服务器老是报障发短信也不个事,得从根本上解决才行。 十台服务器上部了二十个tornado进程,每台上两个。前面用nginx做负载,目

对urllib中的urlencode的扩展

分类:python工具箱 | 标签:   | 发布:2012-11-13 9:44 p.m. | 阅读量: 23338

在使用python的urllib2模拟post时的一个问题,目前还搞不清楚是urlencode的bug还是php对于post支持的问题。各位看官不妨帮我分析下。 情景是这样的,我需要往一个php开发的api接口上post数据,数据格式如下:

读《科技想要什么》

分类:读书 | 标签:     | 发布:2012-11-07 11:02 p.m. | 阅读量: 7214

这本书读的时间很长,前一半内容在7月份就读完了,后来因为工作的事没有接着读,前几天又想起来,有拿起来接着读,今天算是读完了。时间上跨度比较大,因此整体感觉上不够流畅。前半部分的内容在记忆中也不是那么清晰了。 除了在阅读上时间的跨度,这本书内容上的跨度也很

python中logging的使用(自定义日志格式)[修正bug]

分类:网络爬虫 | 标签:   | 发布:2012-11-04 9:24 p.m. | 阅读量: 13039

有网友留言想知道我在写知道创宇面试题的爬虫中怎么使用日志的,这里给贴出来,大家讨论下,不是很优雅的方式,只是能解决问题的方式。 具体功能就是,定义记录日志的级别,级别从低到高打出来的日志越来越详细。这个程序中只是写了1~5个级别。只是使用了python的logging模块。 来

其他分类: