rfc2044-utf-8.pdf

Unicode和ISO 10646的转换格式UTF-8 Unicode标准和ISO/IEC 10646标准共同定义了一个包含世界多数书写体系的16位字符集。然而，16位字符与许多现有应用程序和协议不兼容，这就促使了所谓的UCS转换格式（UTF）的发展，每种格式都有其独特的特点。UTF-8作为本备忘录的主题，其特点是完全保留了US-ASCII（美国信息交换标准代码）的范围：US-ASCII字符在具有通常US-ASCII值的一个八位字节中编码，并且任何这样的值的字节只能是一个US-ASCII字符。 这样的设计保证了与依赖US-ASCII值但对其他值透明的文件系统、解析器和其他软件的兼容性。UCS-2和UCS-4编码尽管定义了一个包含大多数书写体系的字符集，但在许多现有的应用程序和协议中，它们使用8位或7位字符的假设，使得它们难以使用。即使是能够处理16位字符的新系统，也无法处理UCS-4数据。这种状况导致了所谓的UCS转换格式（UTF）的发展，每种格式都有其独特的特点。 UTF-1目前只有历史意义，因为它已经从ISO 10646中被移除。UTF-7具有仅使用高阶位清零（7位US-ASCII值）的字节进行编码的优势，因此被认为是邮件安全的编码（[RFC1642]）。然而，UTF-8使用一个字节的所有位，但它具有保留完整的US-ASCII范围的优势：US-ASCII字符在具有通常US-ASCII值的一个字节中编码，并且任何具有这样值的字节只能是一个US-ASCII字符。 Unicode标准版本1.1和ISO/IEC 10646-1:1993共同定义了一个名为UCS-2的16位字符集，该字符集覆盖了世界大部分的书写系统。然而，ISO 10646进一步定义了一个31位的字符集UCS-4，目前在对应于UCS-2的基本多文种平面之外没有分配。UCS-2和UCS-4编码在许多当前的应用程序和协议中难以使用，这些应用程序和协议假设使用8位或7位字符。即使有能力处理16位字符的新系统也无法处理UCS-4数据，这导致了所谓的UCS转换格式（UTF）的发展，每种格式都有其不同的特性。 UTF-1目前只有历史意义，已经被从ISO 10646中移除。UTF-7具有仅使用高阶位清零（7位US-ASCII值）的字节进行编码的优势，因此被认为是邮件安全的编码（[RFC1642]）。而UTF-8，本备忘录的主题，它使用一个字节的所有位，但它具有保留完整的US-ASCII范围的优势：US-ASCII字符在具有通常US-ASCII值的一个字节中编码，并且任何具有这样值的字节只能是一个US-ASCII字符。 这种设计保证了与依赖US-ASCII值但对其他值透明的文件系统、解析器和其他软件的兼容性。例如，在邮件中使用UTF-8时，由于大部分邮件系统都兼容ASCII，因此可以保证处理邮件的系统能够识别邮件内容的大部分字符。而对于非ASCII字符，它们则被编码为一个或多个字节，这在邮件系统中可能需要进行相应的字符集转换。 Unicode的目的是为了统一世界上所有的文字系统，而ISO 10646（通用字符集，UCS）也是一个为了实现同样目的而制定的国际标准。两者的字符集内容是基本相同的，只是在某些方面有一些细节上的差异。为了实现这一目标，Unicode和ISO 10646都采用了16位的字符编码方式，这意味着它们可以表示的字符数量大大超过了ASCII所限定的字符范围。 Unicode和ISO 10646标准所定义的16位字符集能够覆盖世界上大多数书写系统。然而，尽管16位字符集提供了更大的范围和灵活性，它在实际应用中遇到了困难，因为许多现有的应用程序和协议都是基于ASCII字符集，也就是7位或8位的字符编码方式。这种不兼容性导致了对所谓的UCS转换格式（UTF）的需求，这些转换格式可以将16位的字符编码为ASCII兼容的形式。在这其中，UTF-8以其保留了完整的ASCII字符集的特点而脱颖而出，保证了在处理文本数据时，原本的ASCII字符无需任何转换即可被处理，大大提高了与现有系统的兼容性。 Unicode和ISO 10646标准共同定义了一个16位字符集，这个字符集涵盖了世界上大多数的书写系统。不过，16位字符集在很多当前的应用和协议上并不兼容，因为它们都假设使用的是8位或7位的字符。即便是更新的系统，能够处理16位的字符，也无法处理UCS-4的数据。这种情况下，就需要所谓的UCS转换格式（UTF），它们具有不同的特点。本备忘录的主题是UTF-8，它的一个重要特性是保留了完整的US-ASCII范围，使得US-ASCII字符在只有一个字节的情况下可以使用其通常的US-ASCII值进行编码。这样的设计让UTF-8具有与依赖US-ASCII值的文件系统、解析器以及其他软件兼容的特性，而对于其他的值则是透明的。 在计算机和信息技术领域中，字符编码是一种将字符转换为可存储和传输格式的标准。UTF-8作为Unicode和ISO 10646的转换格式，其设计目标是解决与ASCII不兼容的问题，而ASCII是计算机行业中广泛使用的一种字符集，特别是在文件系统和网络通信中。UTF-8通过确保ASCII字符集在编码转换过程中保持不变，从而能够与现有的依赖于ASCII的应用程序和协议兼容。同时，UTF-8还能够编码包括ASCII之外的Unicode字符，支持包括多种语言和符号在内的更广泛的字符集，这使得它成为了互联网上最广泛使用的字符编码方式之一。