详细介绍计算机字符集的文档
需积分: 0 120 浏览量
2009-03-23
09:13:00
上传
评论
收藏 200KB DOC 举报
Unicode
1. 编码知识
1.1 文本和字符
在计算机程序中或者数据文件里，文本（text）是作为数字序列存储的。序列中的数字
是具有不同大小、取值和解释的整数。如何解释这些整数是由字符集（character set）、编
码（encoding）决定的。
文本主要是由字符（character）组成。在格式文本（fancy text, or rich text）中包括显示
属性，如颜色、斜体字、上标等，但仍然是以字符组成的纯文本（ plain text）为基础的。
有时，格式文本与纯文本之间的区别很复杂，依赖于具体的应用。
什么是字符？典型地，是字母。也可以是数字、句点、连字号、标点符号和数学符号，
对于中文，也可以是汉字。还包括定义行尾和段落等的控制字符（一般不可见）。
有了字符，就可以为它们分配数字编码。为字符分配什么数字值，依赖于具体情况。
一个简单的字符，如字母“a”，在不同的程序或者数据文件中可能具有不同的整数值。
1.2 字符集：具有数字编码的字符
在信息处理中，所使用的整数总有上限，依赖于存储整数的位的数目。这也决定了可
以同时区分的字符的数量。
在设计字符集时，首先要决定所需字符的数目，并确定所需字符的清单。根据字符的
数目，可以设定整数值的上限，这个整数范围称为编码空间（code space），其中的一个特
定整数称为一个码点（code point）。
然后，为字符清单中的每个字符指定一个整数值，也就是一个码点。这样就得到一个
字符集，称作编码字符集（Coded Character Set）。
1.3 编码单元、字节和编码
在计算机系统的实现中，整数以特定大小的单元表示，通常为 8 位（1 字节），16 位，
或 32 位。在字符编码中，这样的单元称为编码单元（code unit）。根据编码空间的大小和
具体要求，来选择合适的编码单元。通常，所选择编码单元对应的整数范围要大于编码空
间的整数范围，这样每个码点就只需一个编码单元表示，并且在字符码点与编码单元间的
转换非常简便，因为字符码点对应的整数值与相应编码单元的整数值相同。如果编码单元
对应的整数范围小于编码空间的整数范围，就需要多个编码单元表示一个码点。
字节是计算机系统中最基本的表示单元，无论是存储在内存中，还是将文本写入文件
或通过网络发送，总是要读写若干字节。因此，在实际应用中，还需要将编码单元进一步
表示为字节序列。
将字符表示为字节序列的过程就称为编码（encoding），更重要的是，还包括如何对
字节序列进行解释以取得字符。
1.4 不同的字符集
在一些常用的编码中，每个字符只使用一个字节表示，称单字节字符集（ single-byte
character set, SBCS）。这些字符集都仅限于 256 个字符。
在 ASCII 之后，目前应用最广泛的单字节字符集是 ISO-8859-1。它是 ASCII 的一个 8
位超集，并且提供西欧语言所需的大多数字符。它的一个改进的版本， ISO-8859-15，还包
剩余29页未读，继续阅读
评论0