Linux.中国 - 开源社区

 找回密码
 骑士注册

QQ登录

微博登录


Unicode 和 UTF-8 是什么关系?

2015-10-14 10:08    评论: 9 收藏: 4    

绝大多数程序员都听说过 Unicode 和 UTF-8,但是清楚它们之间关系的人就不多了,关于这个问题,与其苍白的陈述它们的概念,不如举例子说明来得自然。

我前些天碰到一个需求:随机生成几个汉字。原本我便对编码之类的问题发怵,所以完全搞不清楚状况,无奈之下我便上网搜索了一个 PHP 版本的实现:

<?php
$zh = '';
for($i = 0; $i < 3; $i++) {
    $zh .= '&#'. rand(19968, 40869) . ';';
}
echo mb_convert_encoding($zh, 'UTF-8', 'HTML-ENTITIES');
?>

不过代码里的「19968」和「40869」是什么玩意?这又牵扯到 Unicode code points,为了更好的说明问题,我们需要把如上十进制转换成十六进制:

shell> php -r 'echo dechex(19968);'
4e00

shell> php -r 'echo dechex(40908);'
9fcc

在 Unicode 官方网站,我们能查到 Unihan Grid Index,其中 CJK Unified Ideographs 部分包含了大部分的汉字,其 code points 恰恰是从 U+4E00 到 U+9FCC!

单单上面一个例子还不足以说明问题,下面我们挑选一个「」字深入说明一下:

Unicode

Unicode

因为我们编码是 UTF-8,所以就先看看「博」字的 UTF-8 编码是什么:

<?php
$string = "博";
for ($i = 0; $i < strlen($string); $i++) {
    echo dechex(ord($string[$i]));
}
?>

代码看上去有点冗长,实际上利用 pack/unpack 函数可以很简单的实现类似的逻辑:

shell> php -r 'var_dump(unpack("H6", "博"));'
array(1) {
  ["codes"]=>
  string(6) "e58d9a"
}

于是乎「博」字的 UTF-8 编码是「e58d9a」,再看怎么得到 unicode code point:

shell> php -r 'echo base_convert("e58d9a", 16, 2);'
11100101 10001101 10011010

如上拿到了「博」字的二进制表示,实际上其 unicode code point 就隐藏在这里。通常汉字用 UTF-8 表示时是三个字节,格式为「1110XXXX 10XXXXXX 10XXXXXX」,除掉标志位,把剩余对应位置上的数据抽取出来连接在一起,就得到了 Unicode code point,也就是「0101 001101 011010」,剩下的就简单了,把它从二进制转换成十六进制即可:

shell> php -r 'echo base_convert("0101001101011010", 2, 16);'
535a

需要说明的是,如果你仅仅看「博」字,会发现其 Unicode code point 和 UTF-16 是一样的,很容易据此认为它们是等同的概念,实际上这个结论仅仅在双字节(UCS-2)时才是成立的,一旦大于两个字节,就不成立了,有兴趣的可以参考相应的例子

到底 Unicode 和 UTF-8 是什么关系?一句话:Unicode 是字符集;UTF-8 是编码

发表评论


最新评论

我也要发表评论

来自上海的 Safari 9.0|Mac 10.11 用户 2015-10-19 21:19
......
回复
来自上海的 Safari 9.0|Mac 10.11 用户 2015-10-19 21:19
烂尾了
回复
来自广东广州的 Iceweasel 31.8|GNU/Linux 用户 2015-10-14 21:12
写的比js写的还差
回复
来自贵州安顺的 Chrome 42.0|Windows 10 用户 2015-10-14 16:51
站长在看开头的时候,还以为你比较经典的文章呢,结果出来了  是这样的。有点让我接受不了啊!
1 回复
linux [Chrome 45.0|Mac 10.11] 2015-10-14 12:59
1
来自上海复旦大学的 Firefox 41.0|Windows 7 用户 发表于 2015-10-14 11:23 的评论:
UTF8的格式错了,应该是1110XXXX 10XXXXXX 10XXXXXX 共16的码位
群众的眼睛是雪亮的啊!
回复
linux [Chrome 45.0|Mac 10.11] 2015-10-14 12:58
1
POCMON [Firefox 41.0|Ubuntu] 发表于 2015-10-14 11:56 的评论:
好像没有发完吧,最后乱尾了。站长要好好把关呀,是不是发文前要有一个审核机制~
谢谢~
回复
来自浙江杭州的 Safari 9.0|Mac 10.10 用户 2015-10-14 12:13
在00000800 - 0000FFFF区间
1110xxxx 10xxxxxx 10xxxxxx 是这么替换的......
3 回复
POCMON [Firefox 41.0|Ubuntu] 2015-10-14 11:56
好像没有发完吧,最后乱尾了。站长要好好把关呀,是不是发文前要有一个审核机制~
回复
来自上海复旦大学的 Firefox 41.0|Windows 7 用户 2015-10-14 11:23
UTF8的格式错了,应该是1110XXXX 10XXXXXX 10XXXXXX 共16的码位
3 回复

热点评论

来自上海复旦大学的 Firefox 41.0|Windows 7 用户 2015-10-14 11:23
UTF8的格式错了,应该是1110XXXX 10XXXXXX 10XXXXXX 共16的码位
3
来自浙江杭州的 Safari 9.0|Mac 10.10 用户 2015-10-14 12:13
在00000800 - 0000FFFF区间
1110xxxx 10xxxxxx 10xxxxxx 是这么替换的......
3
来自贵州安顺的 Chrome 42.0|Windows 10 用户 2015-10-14 16:51
站长在看开头的时候,还以为你比较经典的文章呢,结果出来了  是这样的。有点让我接受不了啊!
1
返回顶部

分享到微信朋友圈

打开微信,点击底部的“发现”,
使用“扫一扫”将网页分享至朋友圈。