本文介绍
你有没有这样一种感觉,为什么到自己手上的数据,总是乱七八糟? 作为一个数据分析师来说,数据清洗是必不可少的环节。有时候由于数据太乱,往往需要花费我们很多时间去处理它。因此掌握更多的数据清洗方法,会让你的能力调高100倍。 本文基于此,讲述pandas中超级好用的str矢量化字符串函数,学了之后,瞬间感觉自己的数据清洗能力提高了。
1个数据集,16个Pandas函数
数据集是黄同学精心为大家编造,只为了帮助大家学习到知识。数据集如下:
① cat函数:用于字符串的拼接
② contains:判断某个字符串是否包含给定字符
df["家庭住址"].str.contains("广") 结果如下:
③ startswith/endswith:判断某个字符串是否以…开头/结尾
#第一个行的“黄伟”是以空格开头的 df["姓名"].str.startswith("黄") df["英文名"].str.endswith("e") 结果如下:
④ count:计算给定字符在字符串中出现的次数
df["电话号码"].str.count("3") 结果如下:
⑤ get:获取指定位置的字符串
df["姓名"].str.get(-1) df["身高"].str.split(":") df["身高"].str.split(":").str.get(0) 结果如下:
⑥ len:计算字符串长度
df["性别"].str.len() 结果如下:
⑦ upper/lower:英文大小写转换
df["英文名"].str.upper() df["英文名"].str.lower() 结果如下:
⑧ pad+side参数/center:在字符串的左边、右边或左右两边添加给定字符
df["家庭住址"].str.pad(10,fillchar="*")#相当于ljust() df["家庭住址"].str.pad(10,side="right",fillchar="*")#相当于rjust() df["家庭住址"].str.center(10,fillchar="*") 结果如下:
⑨ repeat:重复字符串几次
df["性别"].str.repeat(3) 结果如下:
⑩ slice_replace:使用给定的字符串,替换指定的位置的字符
df["电话号码"].str.slice_replace(4,8,"*"*4) 结果如下:
⑪ replace:将指定位置的字符,替换为给定的字符串
df["身高"].str.replace(":","-") 结果如下:
⑫ replace:将指定位置的字符,替换为给定的字符串(接受正则表达式)
replace中传入正则表达式,才叫好用;
先不要管下面这个案例有没有用,你只需要知道,使用正则做数据清洗多好用;
df["收入"].str.replace("d+.d+","正则") 结果如下:
⑬ split方法+expand参数:搭配join方法功能很强大
#普通用法 df["身高"].str.split(":") #split方法,搭配expand参数 df[["身高描述","final身高"]]=df["身高"].str.split(":",expand=True) df #split方法搭配join方法 df["身高"].str.split(":").str.join("?"*5) 结果如下:
⑭ strip/rstrip/lstrip:去除空白符、换行符
df["姓名"].str.len() df["姓名"]=df["姓名"].str.strip() df["姓名"].str.len() 结果如下:
⑮ findall:利用正则表达式,去字符串中匹配,返回查找结果的列表
findall使用正则表达式,做数据清洗,真的很香!
df["身高"] df["身高"].str.findall("[a-zA-Z]+") 结果如下:
⑯ extract/extractall:接受正则表达式,抽取匹配的字符串(一定要加上括号)
df["身高"].str.extract("([a-zA-Z]+)") #extractall提取得到复合索引 df["身高"].str.extractall("([a-zA-Z]+)") #extract搭配expand参数 df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True) 结果如下:
今天的文章,就讲述到这里,希望能够对你有所帮助。
编辑:jq
-
数据
+关注
关注
8文章
7002浏览量
88938 -
函数
+关注
关注
3文章
4327浏览量
62568 -
矢量化
+关注
关注
0文章
5浏览量
6202
原文标题:详解16个 pandas 函数,让你的 “数据清洗” 能力提高100倍!
文章出处:【微信号:DBDevs,微信公众号:数据分析与开发】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论