爬虫之requests 库的基本用法
基本请求：
requests库提供了http所有的基本请求方式。例如
r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")
r = requests.options("http://httpbin.org/get")
基本GET请求
最基本的GET请求可以直接用get方法
r = requests.get("http://httpbin.org/get")
如果想要加参数，可以利用 params 参数
import requestspayload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print r.url
结果：
http://httpbin.org/get?key1=value1&key2=value2
基本POST请求
对于 POST 请求来说，我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。
import requestspayload = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=payload)
print r.text
结果：
{
"args": {},
"data": "",
"files": {},
"form": {
"key1": "value1",
"key2": "value2"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Content-Length": "",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4"
},
"json": null,
"origin": "221.232.171.232",
"url": "http://httpbin.org/post"
}
可以看到参数传成功了，然后服务器返回了我们传的数据。
有时候我们需要传送的信息不是表单形式的，需要我们传JSON格式的数据过去，所以我们可以用 json.dumps() 方法把表单数据序列化。
import json
import requestsurl = 'http://httpbin.org/post'
payload = {'some': 'data'}
r = requests.post(url, data=json.dumps(payload))
print(r.text)
结果：
{
"args": {},
"data": "{\"some\": \"data\"}",
"files": {},
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Content-Length": "",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4"
},
"json": {
"some": "data"
},
"origin": "221.232.171.232",
"url": "http://httpbin.org/post"
}
例子一：
import requestsr = requests.get('http://cuiqingcai.com')
print type(r)
print r.status_code
print r.encoding
#print r.text
print r.cookies
结果：
<class 'requests.models.Response'>
200
UTF-8
<RequestsCookieJar[]>
例子二：
import requests
import scrapy
from lxml import etree
url='https://book.douban.com/subject/1083428/comments/'
r=requests.get(url).text
s=etree.HTML(r)
file=s.xpath('//*[@id="comments"]/ul/li/div[2]/p/text()')
print(file)
结果：
['影响当今的偶像剧、言情小说太多太多了，绝对是言情小说的源头啊……不过可惜现在的偶像剧、小说只学到奥斯汀的套路，却缺乏那一种敏锐感以及对社会的鞭挞，因此沦为娱乐的工具。以此看来，奥斯汀值得经典', '女人和男人写出来的东西真是不一样。同样是爱情，女人事无巨细的小世界，充满细碎的心理和对话描写，而站在男人的世界，无非就是爱与不爱了', '女孩儿爱这本书就像男孩爱基督山伯爵一样', '开启kindle扫击名著模式。', '误会是必然的，谅解是偶然的，相爱是偶然中的偶然。', '现实中也许会有伊丽莎白，却不太会有达西，所以伊丽莎白会变成剩女', '不！好！看！翻译腔重！全是无趣对话！剧情毫无亮点！弃！', '心心念念达西先生，却被一条点评泼得满脸冷水，她写到，Jane Austen 说过世界上没有达西生生。', '受不了奥斯丁的所有小说，一堆女人男人磨磨蹭蹭叽叽歪歪，烦死了', '简是把所有实现不了的梦都寄托在这本书中了，\n快35岁的单身身份读着这个故事，也会为书中的大团圆结局高兴，但真的也只是看看而已了。\n最近看的童话故事太多，不利于身心健康。20131229', '一出场人物的各自性格都设定好了，矛盾冲突也做好了铺垫，作者就放心地设计一场又一场好戏，果然是适合改编成影视剧。印象特别深刻的是女主人公伊丽莎白特别喜欢“大叫”，见到亲人激动地大叫，看到来信“不禁大叫起来”……', '不过又是一个王子跟灰姑娘的故事罢了', '类似唐顿庄园。。书一般吧，没感觉多经典。两对爱情，从认识写到结婚，一年时间。一对从开始就有好感，一对从开始没好感，不过最后都幸福在一起了。有钱，有美貌。。感觉那些女人的生活真是枯燥啊，如果没有舞会，也就太死气沉沉了。。。', '那个用求婚来表示我爱你的年代让人颠倒沉沦', '亮点在何处..', '莉兹的独立和聪明，简的善良和宽容，搭配上她们漂亮的脸蛋儿，都是很迷人的。然而简奥斯丁太刻薄了，而这刻薄所针对的，除了那位贵族老寡妇，全是自己最亲近的人，愚蠢的妈妈，没有同情心的父亲，势利眼的表亲，放荡的姊妹…未免太无情了一点。从女人那里，你更明白爱情的发生，是建立在很多现实的条件基础之上的', '无语', '达西先生是我童年偶像心中白马王子', '我讨厌这本书。', '是翻译的有问题？好玻璃心吧反正就感觉']
