MySQL分割数据
引言一般来说讲,提到数据拆分,可以归结为两个层面:一是垂直拆分,二是水平拆分。这里我们来讨论下垂直拆分。垂直拆分是以数据库、表、列等为单位进行拆分的方法。正文MySQL里垂直拆分可以细分为:垂直拆库(...
2024.11.15最近项目中存储emoji表情包的时候报错:
### Cause: java.sql.SQLException: Incorrect string value: ‘\xF0\x9F\x98\x81‘ for column ‘column1‘ at row 1; uncategorized SQLException; SQL state [HY000]; error code [1366]; Incorrect string value: ‘\xF0\x9F\x98\x81‘ for column ‘column1‘ at row 1; nested exception is java.sql.SQLException: Incorrect string value: ‘\xF0\x9F\x98\x81‘ for column ‘column1‘ at row 1]解决过程及方法这个问题是由于数据库的编码方式引起的,首先我们来了解一下utf8和utf8mb4的区别:
utf8一般是指UTF-8,是针对Unicode的一种可变长度字符编码,每个字符最多三个字节,有时候也称为utf8mb3。 utf8mb4是utf8的超集,mb4就是most bytes 4的意思,专门用来兼容四字节的Unicode,MySQL在5.5.3之后增加了utf8mb4的编码。 MySQL支持的utf8编码最大字符长度为3字节,如果遇到4字节的宽字符就会插入异常了。三个字节的utf8最大能编码的Unicode字符是0xffff,任何不在基本多文本平面的Unicode字符,都无法使用MySQL的utf8字符集存储,包括emoji表情和很多不常见的汉字,以及任何新增的Unicode字符等。如果要在MySQL中保存4字节长度的utf8字符,需要使用utf8mb4字符集。由以上可以看出,我们想存储emoji表情包,那么数据库的编码方式需要是utf8mb4的,接下来我们来看看数据库和数据库链接的配置:
查看数据库编码,可以看到数据库编码已经是utf8mb4
show variables like ‘character_set_database‘;查看项目中数据库链接的配置,可以看到设置了characterEncoding=utf8
jdbc:mysql://${mysql.host}:${mysql.port}/${mysql.db}?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull注:不论是使用utf8编码还是使用utf8mb4,数据库链接url中characterEncoding都设置为utf8(或者UTF-8),没有characterEncoding=utf8mb4这种写法
既然数据库编码是utf8mb4,且数据库链接url中已经设置了characterEncoding=utf8,为什么emoji存储还是报错呢?
经研究发现,原来是pom.xml中的mysql-connector-java版本号在作祟
mysql-connector-java各版本对utf8mb4字符集的支持如下:
项目中使用的mysql-connector-java版本号为5.1.45,由上面的表格可知,需要设置mysql服务端配置文件:
vi /etc/my.cnf [mysqld] character-set-server=utf8mb4设置好之后,重启mysql服务,再次运行项目服务,emoji表情包已经可以写入数据库表中了
有时候,我们并没有修改mysql服务端配置文件和重启mysql服务的权限,这时候可以采用把mysql-connector-java版本号修改为5.1.47及以上或者8.0.13及以上的方式,修改版本号后不用再修改mysql服务配置文件即可存储emoji表情包。
不过mysql-connector-java的版本号也不是我们想修改成啥就修改成啥的,它和mysql版本及java版本都有关系:
mysql-connector-java与Mysql对应版本:
其中:官方更推荐MySQL 5.6以上使用connector/j 8.0
mysql-connector-java与Java对应版本:
其中:JRE 1.7需要connector/J 5.1.21以上
说到这里,大家应该知道如何解决emoji存储的问题了:首先根据mysql版本和Java版本选择对应的mysql-connector-java,再根据mysql-connector-java版本选择对应的解决方案。
有时候,我们的mysql-connector-java版本太低(可能历史项目中mysql或者java版本太低)或者不能更改mysql服务端配置文件,我们还可以采用第二种方案来存储emoji表情包:前端或者后端对用户数据进行编码解码处理,写入时,前端或者后端对用户数据中的emoji进行编码,展示时进行解码展示,由于不推荐这种解决方式,就不展开说了,大家可以自行网上搜索。
若对您有所帮助,请帮忙点个“赞”,谢谢~
引言一般来说讲,提到数据拆分,可以归结为两个层面:一是垂直拆分,二是水平拆分。这里我们来讨论下垂直拆分。垂直拆分是以数据库、表、列等为单位进行拆分的方法。正文MySQL里垂直拆分可以细分为:垂直拆库(...
2024.11.15作者 | 丁奇出处 | 极客时间《MySQL 实战 45 讲》专栏我们经常说,看一个事儿千万不要直接陷入细节里,你应该先鸟瞰其全貌,这样能够帮助你从高维度理解问题。同样,对于 MySQL 的学习也是这...
2024.11.12作者 | 李冬梅采访嘉宾 | Monty,MySQL 之父审校 | 王一鹏,刘燕InfoQ 深度专访 “MySQL 之父” — Michael “Monty” Widenius ,全文包括视频访谈实录...
2024.11.15#查找锁mysql> show OPEN TABLES where In_use > 0;#查询是否锁表mysql> show processlist #查询表被锁进程mysql> show engi...
2024.11.15概述很多时候我们在设计数据库表结构的时候一般都是凭经验,或者根据业务的具体情况然后设定表字段的大小、类型等,那么有没有什么好的办法来帮助我们优化mysql数据库表结构呢?一、Procedure Ana...
2024.11.15