网络爬虫 | the5fire

分类：网络爬虫 | 标签： python日志 | 发布：2012-11-04 9:24 p.m. | 阅读量: 12955

有网友留言想知道我在写知道创宇面试题的爬虫中怎么使用日志的，这里给贴出来，大家讨论下，不是很优雅的方式，只是能解决问题的方式。具体功能就是，定义记录日志的级别，级别从低到高打出来的日志越来越详细。这个程序中只是写了1～5个级别。只是使用了python的logging模块。来

分类：网络爬虫 | 标签： python工具箱 python 代理爬虫 urllib2 | 发布：2012-09-10 11:09 p.m. | 阅读量: 14660

写了那么多篇找工作的文章，再写几篇就完了，也算是对自己一段时间的一个总结。近来发现自己博客上python技术点的文章有点少，为了防止自己总是遗忘，还是写出来的好。前几天刚看完《Linux/Unix设计思想》，真是一本不错的书，推荐想提高自己代码质量的童鞋看一下，里面经常提到要

分类：网络爬虫 | 标签： flickrapi 抓图片 python | 发布：2012-02-28 10:33 a.m. | 阅读量: 13483

前面有一个自己使用python写的，不完整的python爬flickr图片的文章：<a href="http://www.the5fire.net/python-spider-flicker.html">http://www.the5fire.net/python-spider-

分类：网络爬虫 | 标签：人形软件 python爬虫 | 发布：2012-02-26 12:40 a.m. | 阅读量: 11120

上次发的从sina上抓小说的代码，这次来一个sohu的，不过总结python爬虫的方法，其实无外乎urllib和正则表达式的使用。掌握了这俩，基本就是有了就抓。直接上代码了，以下代码仅供参考，切不可用于非法用途。

分类：网络爬虫 | 标签： python爬虫 | 发布：2011-12-20 11:50 p.m. | 阅读量: 20954

分享一个最早接触python时写的一个图片爬虫程序，从flicker上面根据关键字抓取图片，具体流程看代码很容易理解，不过这个程序目前只能抓取第一页的图片，第二页的图片抓取不到，因为flicker上的分页是通过ajax来做的，所以如果想从flicker上同一关键字抓取很多图片的

the5fire