python爬虫入门篇：使用requests发送POST请求提交表单

code_space

已于 2023-12-13 15:45:23 修改

阅读量4.2w

点赞数 10

分类专栏：爬虫文章标签： python 开发语言后端爬虫 request

于 2022-02-10 12:06:23 首次发布

本文链接：https://blog.csdn.net/qq_23730073/article/details/122857953

版权

爬虫专栏收录该内容

16 篇文章 1 订阅

订阅专栏

一、定义

post()方法将携带某些数据的POST请求发送到指定的URL

二、应用场景

提交表单所涉及到的增删改操作。
调用API，例如百度云的文字识别接口、阿里云的常用支付接口，都需要用POST请求。
发送/上传图片、音视频等文件资源。

三、使用方法

1）导入模块

import requests

2）封装数据

将要发送的数据封装到data中，封装形式可以是字典、json、元组等。

# 发送字典
post_dict = {'key1': 'value1', 'key2': 'value2'}
# 发送元组
post_tuple = (('key1', 'value1'), ('key1', 'value2'))
# 发送json
post_json = json.dumps({'some': 'data'})
r1 = requests.post("http://httpbin.org/post", data=post_dict)
r2 = requests.post("http://httpbin.org/post", data=post_tuple)
r3 = requests.post("http://httpbin.org/post", data=post_json)

3）定制header头和cookie信息

cookie = "token=code_space;"
header = {
        "cookie": cookie,
        "Accept": "*/*",
        "Accept-Encoding": "gzip, deflate, br",
        "Accept-Language": "zh-CN,zh;q=0.9",
        "Connection": "keep-alive",
        "Content-Type": "application/json",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                      "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
}

四、测试demo

# -*- coding: utf-8 -*-
"""
@Time ： 2022/1/18 11:36
@Auth ： 技术空间
@File ：post_demo.py
@IDE ：PyCharm
@Motto：技术总是要日积月累的

"""

import requests
import json

if __name__ == '__main__':
    cookie = "token=code_space;"
    header = {
        "cookie": cookie,
        "Accept": "*/*",
        "Accept-Encoding": "gzip, deflate, br",
        "Accept-Language": "zh-CN,zh;q=0.9",
        "Connection": "keep-alive",
        "Content-Type": "application/json",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
    }
    # 发送字典
    post_dict = {'key1': 'value1', 'key2': 'value2'}
    # 发送元组
    post_tuple = (('key1', 'value1'), ('key1', 'value2'))
    # 发送json
    post_json = json.dumps({'some': 'data'})
    r1 = requests.post("http://httpbin.org/post", data=post_dict, headers=header, cookie=cookie)
    r2 = requests.post("http://httpbin.org/post", data=post_tuple, headers=header, cookie=cookie)
    r3 = requests.post("http://httpbin.org/post", data=post_json, headers=header, cookie=cookie)
    print("r1返回的内容为-->" + r1.text)
    print("r2返回的内容为-->" + r2.text)
    print("r3返回的内容为-->" + r3.text)

在这里插入图片描述

五、其它拓展

发送文件demo

# 定义file对象
files = {'file': open('demo.xls', 'rb')}
r = requests.post('http://httpbin.org/post', files=files)

到这里，我们在请求数据上常用的GET、POST方法已经学会了，在后续开发中可以以这些代码为****基础进行拓展。在爬虫的应用上，这些请求是核心基础。
关于爬虫的知识点和应用实践我将会在后续整理好笔记后更新上来。