1 分享pandas中超级好用的str矢量化字符串函数-德赢Vwin官网 网
0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分享pandas中超级好用的str矢量化字符串函数

数据分析与开发 来源:数据分析与统计学之美 作者:黄伟呢 2021-04-13 10:37 次阅读

本文介绍

你有没有这样一种感觉,为什么到自己手上的数据,总是乱七八糟? 作为一个数据分析师来说,数据清洗是必不可少的环节。有时候由于数据太乱,往往需要花费我们很多时间去处理它。因此掌握更多的数据清洗方法,会让你的能力调高100倍。 本文基于此,讲述pandas中超级好用的str矢量化字符串函数,学了之后,瞬间感觉自己的数据清洗能力提高了。

1个数据集,16个Pandas函数

数据集是黄同学精心为大家编造,只为了帮助大家学习到知识。数据集如下:

importpandasaspd df={'姓名':['黄同学','黄至尊','黄老邪','陈大美','孙尚香'], '英文名':['Huangtong_xue','huangzhi_zun','HuangLao_xie','ChenDa_mei','sunshang_xiang'], '性别':['男','women','men','女','男'], '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'], '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'], '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'], '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'], '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']} df=pd.DataFrame(df) df 结果如下:

bcebfca8-9be2-11eb-8b86-12bb97331649.png

观察上述数据,数据集是乱的。接下来,我们就用16个Pandas来对上述数据,进行数据清洗。

① cat函数:用于字符串的拼接

df["姓名"].str.cat(df["家庭住址"],sep='-'*3) 结果如下:

bd027afa-9be2-11eb-8b86-12bb97331649.png

② contains:判断某个字符串是否包含给定字符

df["家庭住址"].str.contains("广") 结果如下:

bd0e3d40-9be2-11eb-8b86-12bb97331649.png

③ startswith/endswith:判断某个字符串是否以…开头/结尾

#第一个行的“黄伟”是以空格开头的 df["姓名"].str.startswith("黄") df["英文名"].str.endswith("e") 结果如下:

bd1e5ba8-9be2-11eb-8b86-12bb97331649.png

④ count:计算给定字符在字符串中出现的次数

df["电话号码"].str.count("3") 结果如下:

bd2bac22-9be2-11eb-8b86-12bb97331649.png

⑤ get:获取指定位置的字符串

df["姓名"].str.get(-1) df["身高"].str.split(":") df["身高"].str.split(":").str.get(0) 结果如下:

bd3eebde-9be2-11eb-8b86-12bb97331649.png

⑥ len:计算字符串长度

df["性别"].str.len() 结果如下:

bd502714-9be2-11eb-8b86-12bb97331649.png

⑦ upper/lower:英文大小写转换

df["英文名"].str.upper() df["英文名"].str.lower() 结果如下:

bd5d8d82-9be2-11eb-8b86-12bb97331649.png

⑧ pad+side参数/center:在字符串的左边、右边或左右两边添加给定字符

df["家庭住址"].str.pad(10,fillchar="*")#相当于ljust() df["家庭住址"].str.pad(10,side="right",fillchar="*")#相当于rjust() df["家庭住址"].str.center(10,fillchar="*") 结果如下:

bd691940-9be2-11eb-8b86-12bb97331649.png

⑨ repeat:重复字符串几次

df["性别"].str.repeat(3) 结果如下:

bd73b710-9be2-11eb-8b86-12bb97331649.png

⑩ slice_replace:使用给定的字符串,替换指定的位置的字符

df["电话号码"].str.slice_replace(4,8,"*"*4) 结果如下:

bd814ac4-9be2-11eb-8b86-12bb97331649.png

⑪ replace:将指定位置的字符,替换为给定的字符串

df["身高"].str.replace(":","-") 结果如下:

⑫ replace:将指定位置的字符,替换为给定的字符串(接受正则表达式)

replace中传入正则表达式,才叫好用;

先不要管下面这个案例有没有用,你只需要知道,使用正则做数据清洗多好用;

df["收入"].str.replace("d+.d+","正则") 结果如下:

bd9fe4de-9be2-11eb-8b86-12bb97331649.png

⑬ split方法+expand参数:搭配join方法功能很强大

#普通用法 df["身高"].str.split(":") #split方法,搭配expand参数 df[["身高描述","final身高"]]=df["身高"].str.split(":",expand=True) df #split方法搭配join方法 df["身高"].str.split(":").str.join("?"*5) 结果如下:

bdacbbb4-9be2-11eb-8b86-12bb97331649.png

⑭ strip/rstrip/lstrip:去除空白符、换行符

df["姓名"].str.len() df["姓名"]=df["姓名"].str.strip() df["姓名"].str.len() 结果如下:

bde4a2ea-9be2-11eb-8b86-12bb97331649.png

⑮ findall:利用正则表达式,去字符串中匹配,返回查找结果的列表

findall使用正则表达式,做数据清洗,真的很香!

df["身高"] df["身高"].str.findall("[a-zA-Z]+") 结果如下:

bdf09636-9be2-11eb-8b86-12bb97331649.png

⑯ extract/extractall:接受正则表达式,抽取匹配的字符串(一定要加上括号)

df["身高"].str.extract("([a-zA-Z]+)") #extractall提取得到复合索引 df["身高"].str.extractall("([a-zA-Z]+)") #extract搭配expand参数 df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True) 结果如下:

be02c400-9be2-11eb-8b86-12bb97331649.png

今天的文章,就讲述到这里,希望能够对你有所帮助。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7002

    浏览量

    88938
  • 函数
    +关注

    关注

    3

    文章

    4327

    浏览量

    62568
  • 矢量化
    +关注

    关注

    0

    文章

    5

    浏览量

    6202

原文标题:详解16个 pandas 函数,让你的 “数据清洗” 能力提高100倍!

文章出处:【微信号:DBDevs,微信公众号:数据分析与开发】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    base64字符串转换为二进制文件

    Base64是一种编码方法,用于将二进制数据转换为ASCII字符串。这种编码通常用于在不支持二进制数据的系统传输数据,例如电子邮件或网页。将Base64字符串转换为二进制文件的过程相对简单,但需要
    的头像 发表于 11-10 10:55 926次阅读

    MATLAB(5)--字符串处理

    :两个字符串里的每个字符依次按ASCII值大小逐个进行比较,比较的结果是一个数值向量,向量的元素为1或者0。 字符串比较函数用于判断
    发表于 09-06 10:22

    labview字符串数组转化为数值数组

    在LabVIEW,将字符串数组转换为数值数组是一项常见的任务,尤其是在处理数据采集、信号处理或用户输入时。 1. 理解LabVIEW的数据类型 在开始之前,了解LabVIEW的数据类型是非
    的头像 发表于 09-04 17:47 2243次阅读

    labview字符串如何转换为16进制字符串

    在LabVIEW,将字符串转换为16进制字符串是一个常见的需求,尤其是在处理数据通信和硬件接口时。LabVIEW提供了多种方法来实现这一转换,包括使用内置函数、编写VI(Virtua
    的头像 发表于 09-04 15:54 2289次阅读

    labview如何实现字符串换行

    1. 字符串换行的基本概念 在LabVIEW字符串换行通常指的是在字符串插入换行符,使得字符串
    的头像 发表于 09-04 15:47 1611次阅读

    labview中常用的字符串函数有哪些?

    在LabVIEW,常用的字符串函数广泛覆盖了对字符串的各种操作,包括但不限于格式化、搜索、替换、连接、计算长度等。以下是一些常用的字符串
    的头像 发表于 09-04 15:43 660次阅读

    labview字符串的四种表示各有什么特点

    。在LabVIEW字符串是一种基本的数据类型,用于表示文本信息。字符串在LabVIEW中有多种表示方式,每种方式都有其特定的应用场景和特点。以下是对LabVIEW四种
    的头像 发表于 09-04 15:40 532次阅读

    如何提取串口接收字符串数组里的某个字符串

    条(有时候二十多条不定)响应字符串指令,我是用一个字符串数组来接收这些返回来的指令的。我现在只需要读取数组里的某一条指令,应该怎么把它提取出来啊??有哪位前辈懂的,希望能提供点帮助。我找了好久找到一个函数
    发表于 04-22 06:05

    C语言字符串编译函数介绍

    在C语言中,字符串实际上是使用null字符O'终止的一维字符数组。因此,一个以null结尾的字符串,包含了组成字符串
    的头像 发表于 03-07 16:18 501次阅读
    C语言<b class='flag-5'>字符串</b>编译<b class='flag-5'>函数</b>介绍

    labview二进制字符串转数值

    字符串是一种常见的数据类型,它表示了以二进制形式存储的数据。当我们需要将这些二进制字符串转换为数值时,LabVIEW提供了一些常用的函数和方法,可以帮助我们完成这个任务。 首先,我们需要明确二进制
    的头像 发表于 01-05 16:20 2650次阅读

    labview扫描字符串怎么用

    LabVIEW 是一种流程化编程语言和开发环境,主要用于控制、测量和监测系统。在 LabVIEW ,扫描字符串是一项常见的任务,它允许用户按照一定的模式从输入字符串中提取所需的信息。下面我将详细
    的头像 发表于 12-29 10:12 1978次阅读

    KUKA 机器人系统函数StrFind()-在字符串里查找

    搜索字符串变量 用功能 StrFind() 可以搜索字符串变量的字符串。 Result = StrFind( StartAt, StrVar[], StrFind[], CaseSens )
    的头像 发表于 12-27 10:36 673次阅读

    labview扫描字符串怎么用

    LabVIEW是一种图形化编程语言,用于开发控制、测量和监控系统。虽然它主要用于工程和科学领域,但也可以用于处理文本和字符串。 在LabVIEW,可以使用字符串处理函数来扫描
    的头像 发表于 12-26 16:58 1976次阅读

    labview怎么对字符串的进行实时处理

    LabVIEW是一种用于开发控制、测试和测量系统的可视化编程环境,它提供了许多处理字符串的功能。在LabVIEW,可以使用不同的函数和工具来实时处理字符串。下面我将详细介绍一些常见的
    的头像 发表于 12-26 14:12 1855次阅读

    split在python的用法

    split在python的用法 split()是Python中一个非常常用的字符串函数,它能够根据指定的分隔符将一个字符串分割成多个子字符串
    的头像 发表于 12-25 15:12 2017次阅读