使用pandas将数据存储为csv文件

使用pandas将数据存储为csv文件

这里演示使用pandas库将数据写入csv文件:

import requests
from lxml import etree
import pandas as pd


def svSpider():
    # 请求部分代码
    url = "https://www.mingyannet.com/biaoyu/index"
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1"}
    response = requests.get(url=url, headers=headers)
    if response.status_code == 200:
        text = response.content.decode('utf8')
        html = etree.HTML(text)
        div_list = html.xpath('//div[@class="container main"]/div/div')
        plane = {}
        for i in div_list:
            key = i.xpath('h3/a/text()')[0]
            con_list = i.xpath('ul/li')
            for j in con_list:
                cne = j.xpath('a/text()')[0]
                plane.setdefault(key, []).append(cne)
        df = pd.DataFrame(plane)
        df.to_csv('data1.csv')

    # 这里是第二种类型的数据写入
    # 这里我自己构建了一个字典,明白意思就可以了,上面的数据也可以这样存储
    data1 = {'姓名': 'lak', '性别': '男', '昵称': '那时的吻真香'}
    df1 = pd.DataFrame(data1, index=[0])
    # print(df1)
    df1.to_csv('data2.csv', index=None)


if __name__ == "__main__":
    svSpider()


运行成功以后生成两个文件,一个名为data1.csv和data2.csv;

data1.csv内容为

,温馨提示,安全标语,企业标语,班级标语
0,部队厕所文明提示语,远水难救近火,警惕能保安全。,公司中秋聚餐条幅标语,班级高考励志标语
1,安全教育提示语,安全七字警句,建筑企业标语大全,班级保持卫生标语
2,班级节电提示语有哪些,建筑工地安全标语大全,物业公司企业文化标语,英语班级教室卫生幽默标语
3,爱书提示语名言有哪些,安全温馨提示语范文4篇,2019年装修公司广告标语,高中班级卫生角标语
4,垃圾桶的温馨提示语,反“三违”宣传标语,实业公司品牌标语,大学班级标语
5,宿舍洗手间提示语,中海油运安全警句格言,销售公司企业文化标语,爱护班级卫生标语
6,车辆防盗温馨提示语,车间安全宣传标语,树立企业形象标语,高中班级班训标语
7,小区楼道民警提示语,起重机械身上喷的安全警示标语,2019年企业环保宣传主题标语,班级标语大全
8,公园里禁止攀折花木提示语,安全生产十字警句,公司卫生间里面的标语,班级节约用电标语
9,幼儿温馨提示语秋季,县“安全生产月”活动宣传标语,营销公司励志标语,班级高考标语
10,课堂安全提示语,安全生产警句100条,关于公司节约用电标语,班级有趣标语教室标语
11,学校厕所手抄报使用提示语,煤矿安全警句,2019公司品质标语有哪些,高考学生简短激励班级标语
12,严禁乱扔垃圾的宣传提示语,防火标语,公司卫生间标语怎么写,高考百日冲刺励志班级的标语
13,图书馆温馨提示语怎么写,安全文化之精神集中,公司年会主题标语,2019高考冲刺励志班级标语
14,关于楼道卫生的提示语,安全标语大全,企业中秋节条幅标语,班级楼道卫生标语
15,食品安全的标语,紧急避灾,企业食品安全宣传标语,高中霸气主题班级标语20则
16,学校走廊安全提示语,安全八字警句,企业工作会议室标语,简短高三激励班级经典标语
17,防水安全教育提示语,安全警句,2019公司国庆标语,班级卫生角的标语
18,国庆长假温馨提示语,安全温馨提示语大全,2019保险公司开门红标语,班级文化格言标语
19,关于食品安全的提示语,安全第一之交通安全,企业核心的理念标语,高考班级搞笑标语


data2.csv内容为:

姓名,性别,昵称
lak,男,那时的吻真香


我们完成了将爬虫爬取的数据存储为csv文件格式

编辑于 2022-04-05 22:27