python处理表格数据csv
1.CSV 就是(Comma-Separated Values)即逗号分隔值,可以用Excel打开查看。 由于是纯文本,任何编辑器也都可打开。与Excel文件不同,CSV文件中:1)值没有类型,所有值...
2024.11.25最近在用 Python 写一个小工具,这个工具主要就是用来管理各种资源的信息,比如阿里云的 ECS 等信息,因为我工作的电脑使用的是 LINUX,所以就想着用 python 写一个命令行的管理工具,基本的功能就是同步阿里云的资源的信息到数据库,然后可以使用命令行查询。
因为信息是展现在命令行中的,众所周知,命令行展现复杂的文本看起来着实累人,于是就想着能像表格那样展示,那看起来就舒服多了。
prettytable 库就是这么一个工具,prettytable 可以打印出美观的表格,并且对中文支持相当好(如果有试图自己实现打印表格,你就应该知道处理中文是多么的麻烦)
# 2. 安装prettytable 并非 python 的内置库,通过 pip install prettytable即可安装。
# 3. 示例我们先来看一个示例:
#!/usr/bin/python#**coding:utf-8**import sysfrom prettytable import PrettyTablereload(sys)sys.setdefaultencoding(‘utf8‘)table = PrettyTable([‘编号‘,‘云编号‘,‘名称‘,‘IP地址‘])table.add_row([‘1‘,‘server01‘,‘服务器01‘,‘172.16.0.1‘])table.add_row([‘2‘,‘server02‘,‘服务器02‘,‘172.16.0.2‘])table.add_row([‘3‘,‘server03‘,‘服务器03‘,‘172.16.0.3‘])table.add_row([‘4‘,‘server04‘,‘服务器04‘,‘172.16.0.4‘])table.add_row([‘5‘,‘server05‘,‘服务器05‘,‘172.16.0.5‘])table.add_row([‘6‘,‘server06‘,‘服务器06‘,‘172.16.0.6‘])table.add_row([‘7‘,‘server07‘,‘服务器07‘,‘172.16.0.7‘])table.add_row([‘8‘,‘server08‘,‘服务器08‘,‘172.16.0.8‘])table.add_row([‘9‘,‘server09‘,‘服务器09‘,‘172.16.0.9‘])print(table)以上示例运行结果如下:
linuxops@deepin:~$ python p.py+------+----------+----------+------------+| 编号 |云编号|名称|IP地址|+------+----------+----------+------------+|1| server01 | 服务器01 | 172.16.0.1 ||2| server02 | 服务器02 | 172.16.0.2 ||3| server03 | 服务器03 | 172.16.0.3 ||4| server04 | 服务器04 | 172.16.0.4 ||5| server05 | 服务器05 | 172.16.0.5 ||6| server06 | 服务器06 | 172.16.0.6 ||7| server07 | 服务器07 | 172.16.0.7 ||8| server08 | 服务器08 | 172.16.0.8 ||9| server09 | 服务器09 | 172.16.0.9 |+------+----------+----------+------------+在以上的示例中,我们通过form导入了表格库。table实例化了一个表格库,并且添加了[‘编号‘,‘云编号‘,‘名称‘,‘IP地址‘]为表头,如果没有添加表头,那么会以默认的Field+编号显示,例如:
+---------+----------+----------+------------+| Field 1 | Field 2| Field 3|Field 4|+---------+----------+----------+------------+所以为更直观看出每一列的意义,还是要添加表头的。
# 4. 添加数据prettytable提供了多种的添加数据的方式,最常用的应该就是按行按列添加数据了。
按行添加数据 table.add_row在上面简单的示例中,我们就是按行添加数据的。
添加的数据必须要是列表的形式,而且数据的列表长度要和表头的长度一样。在实际的使用中,我们应该要关注到添加的数据是否和表头对应,这一点很重要。
按列添加数据 table.add_column()看下面的示例:
#!/usr/bin/python#**coding:utf-8**import sysfrom prettytable import PrettyTablereload(sys)sys.setdefaultencoding(‘utf8‘)table = PrettyTable()table.add_column(‘项目‘, [‘编号‘,‘云编号‘,‘名称‘,‘IP地址‘])table.add_column(‘值‘, [‘1‘,‘server01‘,‘服务器01‘,‘172.16.0.1‘])print(table)运行结果如下:
+-------+--------+------------+| index | 项目 |值 |+-------+--------+------------+|1|编号| 1||2| 云编号 |server01||3|名称|服务器01||4| IP地址 | 172.16.0.1 |+-------+--------+------------+以上示例中,我们通过add_column来按列添加数据,按列添加数据不需要在实例化表格的时候制定表头,它的表头是在添加列的时候指定的。
table.add_column(‘项目‘, [‘编号‘,‘云编号‘,‘名称‘,‘IP地址‘]) 这一行代码为例,项目指定了这个列的表头名为"项目",[‘编号‘,‘云编号‘,‘名称‘,‘IP地址‘]为列的值,同样为列表。
从csv文件添加数据PrettyTable不仅提供了手动按行按列添加数据,也支持直接从csv文件中读取数据。
#!/usr/bin/python#**coding:utf-8**import sysfrom prettytable import PrettyTablefrom prettytable import from_csvreload(sys)sys.setdefaultencoding(‘utf8‘)table = PrettyTable()fp = open("res.csv", "r")table = from_csv(fp)print(table)fp.close()如果要读取cvs文件数据,必须要先导入from_csv,否则无法运行。上面的示例运行结果如下:
PS:csv 文件不能通过 xls 直接重命名得到,会报错。如果是 xls 文件,请用另存为 csv 获得 csv 文件
从sql查询值添加从数据库查询出来的数据可以直接导入到表格打印,下面的例子使用了sqlite3,如果使用的是mysql也是一样的,只要能查询到数据就能导入到表格中。
#!/usr/bin/python#**coding:utf-8**import sysfrom prettytable import PrettyTablefrom prettytable import from_db_cursorimport sqlite3reload(sys)sys.setdefaultencoding(‘utf8‘)conn = sqlite3.connect("/tmp/aliyun.db")cur = conn.cursor()cur.execute("select * FROM res")table = from_db_cursor(cur)print(table)运行结果如下:
+------+----------+----------+------------+| 编号 |云编号|名称|IP地址|+------+----------+----------+------------+|1| server01 | 服务器01 | 172.16.0.1 ||2| server02 | 服务器02 | 172.16.0.2 ||3| server03 | 服务器03 | 172.16.0.3 ||4| server04 | 服务器04 | 172.16.0.4 ||5| server05 | 服务器05 | 172.16.0.5 ||6| server06 | 服务器06 | 172.16.0.6 ||7| server07 | 服务器07 | 172.16.0.7 ||8| server08 | 服务器08 | 172.16.0.8 ||9| server09 | 服务器09 | 172.16.0.9 |+------+----------+----------+------------+从HTML导入数据支持从html的表格中导入,请看下面这个例子:
#!/usr/bin/python#**coding:utf-8**import sysfrom prettytable import PrettyTablefrom prettytable import from_htmlreload(sys)sys.setdefaultencoding(‘utf8‘)html_string=‘‘‘编号云编号名称IP地址1server01服务器01172.16.0.12server02服务器02172.16.0.2‘‘‘table = from_html(html_string)print(table[0])运行结果如下:
+------+----------+----------+------------+| 编号 |云编号|名称|IP地址|+------+----------+----------+------------+|1| server01 | 服务器01 | 172.16.0.1 ||2| server02 | 服务器02 | 172.16.0.2 |+------+----------+----------+------------+如上示例中,我们可以导入html的表格,但是不一样的地方是print语句,使用html表格导入数据的时候print的必须是列表中的第一个元素,否则有可能会报[]这样的错误。
这是因为table并不是PrettyTable对象,而是包含单个PrettyTable对象的列表,它通过解析html而来,所以无法直接打印table,而需要打印table[0]
# 5. 表格输出格式正如支持多种输入一样,表格的输出也支持多种格式,我们在上面中的例子中已经使用了print的方式输出,这是一种常用的输出方式。
print直接通过print打印出表格。这种方式打印出的表格会带边框。
输出HTML格式的表格print(table.get_html_string())可以打印出html标签的表格。
在上面的例子中,使用print(table.get_html_string())会打印出如下结果:
编号云编号名称IP地址1server01服务器01172.16.0.12server02服务器02172.16.0.2# 6. 选择性输出prettytable在创建表格之后,你依然可以有选择的输出某些特定的行.
输出指定的列print table.get_string(fields=["编号", "IP地址"])可以输出指定的列
输出前两行通过print(table.get_string(start = 0, end = 2))的可以打印出指定的列,当然start和end参数让我可以自由控制显示区间。当然区间中包含start不包含end,是不是很熟悉这样的用法?
根据输出指定行列的功能,我们可以同时指定行和列来输出,这里就不说明了。
将表格切片从上面的输出区间,我们做一个大胆的假设,既然区间包含start不包含end这种规则和切片的一样,我们可以不可通过切片来生成一个新的表格然后将其打印。
事实上是可以的。
new_table = table[0:2]print(new_table)如上代码段中,我们就可以打印出0到1行共2行的表格,python的切片功能异常强大,配合切片我们可以自由的输入任意的行。
输出排序有时候我们需要对输出的表格进行排序,使用print table.get_string(sortby="编号", reversesort=True)就可以对表格进行排序,其中reversesort指定了是否倒序排序,默认为False,即默认正序列排序。
sortby指定了排序的字段。
# 7. 表格的样式内置样式通过set_style()可以设置表格样式,prettytable内置了多种的样式个人觉得MSWORD_FRIENDLY,PLAIN_COLUMNS,DEFAULT 这三种样式看起来比较清爽,在终端下显示表格本来看起就很累,再加上一下花里胡哨的东西看起来就更累。
除了以上推荐的三种样式以外,还有一种样式不得不说,那就是RANDOM,这是一种随机的样式,每一次打印都会在内置的样式中随机选择一个,比较好玩。
具体内置了几种样式,请各位参考官网完整自己尝试输出看看。
#!/usr/bin/python#**coding:utf-8**import sysfrom prettytable import PrettyTablefrom prettytable import MSWORD_FRIENDLYfrom prettytable import PLAIN_COLUMNSfrom prettytable import RANDOMfrom prettytable import DEFAULTreload(sys)sys.setdefaultencoding(‘utf8‘)table = PrettyTable([‘编号‘,‘云编号‘,‘名称‘,‘IP地址‘])table.add_row([‘1‘,‘server01‘,‘服务器01‘,‘172.16.0.1‘])table.add_row([‘3‘,‘server03‘,‘服务器03‘,‘172.16.0.3‘])table.add_row([‘2‘,‘server02‘,‘服务器02‘,‘172.16.0.2‘])table.add_row([‘9‘,‘server09‘,‘服务器09‘,‘172.16.0.9‘])table.add_row([‘4‘,‘server04‘,‘服务器04‘,‘172.16.0.4‘])table.add_row([‘5‘,‘server05‘,‘服务器05‘,‘172.16.0.5‘])table.add_row([‘6‘,‘server06‘,‘服务器06‘,‘172.16.0.6‘])table.add_row([‘8‘,‘server08‘,‘服务器08‘,‘172.16.0.8‘])table.add_row([‘7‘,‘server07‘,‘服务器07‘,‘172.16.0.7‘])table.set_style(DEFAULT)print(table)自定义样式除了内置的样式以外,PrettyTable也提供了用户自定义,例如对齐方式,数字输出格式,边框连接符等等
设置对齐方式align提供了用户设置对齐的方式,值有l,r,c方便代表左对齐,右对齐和居中 如果不设置,默认居中对齐。
控制边框样式在PrettyTable中,边框由三个部分组成,横边框,竖边框,和边框连接符(横竖交叉的链接符号)
如下示例:
#!/usr/bin/python#**coding:utf-8**import sysfrom prettytable import PrettyTablereload(sys)sys.setdefaultencoding(‘utf8‘)table = PrettyTable([‘编号‘,‘云编号‘,‘名称‘,‘IP地址‘])table.add_row([‘1‘,‘server01‘,‘服务器01‘,‘172.16.0.1‘])table.add_row([‘3‘,‘server03‘,‘服务器03‘,‘172.16.0.3‘])table.add_row([‘2‘,‘server02‘,‘服务器02‘,‘172.16.0.2‘])table.add_row([‘9‘,‘server09‘,‘服务器09‘,‘172.16.0.9‘])table.add_row([‘4‘,‘server04‘,‘服务器04‘,‘172.16.0.4‘])table.add_row([‘5‘,‘server05‘,‘服务器05‘,‘172.16.0.5‘])table.add_row([‘6‘,‘server06‘,‘服务器06‘,‘172.16.0.6‘])table.add_row([‘8‘,‘server08‘,‘服务器08‘,‘172.16.0.8‘])table.add_row([‘7‘,‘server07‘,‘服务器07‘,‘172.16.0.7‘])table.align[1] = ‘l‘table.border = Truetable.junction_char=‘#39;table.horizontal_char = ‘+‘table.vertical_char = ‘%‘print(table)table.border`控制是否显示边框,默认是`Truetable.junction_char控制边框连接符
table.horizontal_char控制横边框符号
table.vertical_char控制竖边框符号
上例运行如下:
$++++++$++++++++++$++++++++++$++++++++++++$% 编号 %云编号%名称%IP地址%$++++++$++++++++++$++++++++++$++++++++++++$%1% server01 % 服务器01 % 172.16.0.1 %%3% server03 % 服务器03 % 172.16.0.3 %%2% server02 % 服务器02 % 172.16.0.2 %%9% server09 % 服务器09 % 172.16.0.9 %%4% server04 % 服务器04 % 172.16.0.4 %%5% server05 % 服务器05 % 172.16.0.5 %%6% server06 % 服务器06 % 172.16.0.6 %%8% server08 % 服务器08 % 172.16.0.8 %%7% server07 % 服务器07 % 172.16.0.7 %$++++++$++++++++++$++++++++++$++++++++++++$本次分享就到这了,如果对您有帮助的话,麻烦点个关注再走哦~
1.CSV 就是(Comma-Separated Values)即逗号分隔值,可以用Excel打开查看。 由于是纯文本,任何编辑器也都可打开。与Excel文件不同,CSV文件中:1)值没有类型,所有值...
2024.11.25最近在做一些数据处理和计算的工作,因为数据是以.CSV格式保存的,因此刚开始直接用Excel来处理。但是做着做着发现重复的劳动,其实并没有多大的意义,于是就想着写个小工具帮着处理。以前正好在一本书上看...
2024.11.24前记:这是分享和记录我个人自动化办公技能的一系列文章,意在让职场的小伙伴们看后能够有所帮助和成长。我们都不是专业的程序员,文中尽量使用通俗易懂的语言讲解,即使没有任何编程基础也能够明白。每天花5-10...
2024.11.22既然 pandas 的 merge 方法是按照关系数据库表连接设计的,那么自然有数据库中的"关系验证"功能:merge 设置参数 validate=‘1:1‘ ,表示1对1关系(匹配表1条记录只能匹配...
2024.11.22工作中经常会遇到一些每天都要进行的重复操作,没一点技术含量,做起来却费时费力,还时不时出点小错。为应对这种情况,有些人会用VBA进行处理。但编辑了VBA功能的文件通用性不好,遇到领导、同事的excel...
2024.11.25