处理流之二：转换流

1. 问题引入

引入情况1：

使用FileReader 读取项目中的文本文件。由于IDEA设置中针对项目设置了UTF-8编码，当读取Windows系统中创建的文本文件时，如果Windows系统默认的是GBK编码，则读入内存中会出现乱码。

package com.atguigu.transfer;  
​  
import java.io.FileReader;  
import java.io.IOException;  
​  
public class Problem {  
    public static void main(String[] args) throws IOException {  
        FileReader fileReader = new FileReader("E:\\File_GBK.txt");  
        int data;  
        while ((data = fileReader.read()) != -1) {  
            System.out.print((char)data);  
        }  
        fileReader.close();  
    }  
}  

​
输出结果：
���

那么如何读取GBK编码的文件呢？

引入情况2：

针对文本文件，现在使用一个字节流进行数据的读入，希望将数据显示在控制台上。此时针对包含中文的文本数据，可能会出现乱码。

2. 转换流的理解

作用：转换流是字节与字符间的桥梁！

具体来说：

3. InputStreamReader 与 OutputStreamWriter

• InputStreamReader

  • 转换流java.io.InputStreamReader，是Reader的子类，是从字节流到字符流的桥梁。它读取字节，并使用指定的字符集将其解码为字符。它的字符集可以由名称指定，也可以接受平台的默认字符集。

  • 构造器

    • InputStreamReader(InputStream in): 创建一个使用默认字符集的字符流。

    • InputStreamReader(InputStream in, String charsetName): 创建一个指定字符集的字符流。

  • 举例

    //使用默认字符集  
    InputStreamReader isr1 = new InputStreamReader(new FileInputStream("in.txt"));  
    //使用指定字符集  
    InputStreamReader isr2 = new InputStreamReader(new FileInputStream("in.txt") , "GBK");

• 示例代码：

		package com.atguigu.transfer;  
        ​  
        import java.io.FileInputStream;  
        import java.io.IOException;  
        import java.io.InputStreamReader;  
        ​  
        public class InputStreamReaderDemo {  
            public static void main(String[] args) throws IOException {  
                // 定义文件路径,文件为gbk编码  
                String fileName = "E:\\file_gbk.txt";  
                //方式1：  
                // 创建流对象,默认UTF8编码  
                InputStreamReader isr1 = new InputStreamReader(new FileInputStream(fileName));  
                // 定义变量,保存字符  
                int charData;  
                // 使用默认编码字符流读取,乱码  
                while ((charData = isr1.read()) != -1) {  
                    System.out.print((char)charData); // ��Һ�  
                }  
                isr1.close();  
                  
                //方式2：  
                // 创建流对象,指定GBK编码  
                InputStreamReader isr2 = new InputStreamReader(new FileInputStream(fileName) , "GBK");  
                // 使用指定编码字符流读取,正常解析  
                while ((charData = isr2.read()) != -1) {  
                    System.out.print((char)charData);// 大家好  
                }  
                isr2.close();  
            }  
        }

• OutputStreamWriter

  • 转换流java.io.OutputStreamWriter ，是Writer的子类，是从字符流到字节流的桥梁。使用指定的字符集将字符编码为字节。它的字符集可以由名称指定，也可以接受平台的默认字符集。

  • 构造器

    • OutputStreamWriter(OutputStream in): 创建一个使用默认字符集的字符流。

    • OutputStreamWriter(OutputStream in,String charsetName): 创建一个指定字符集的字符流。

  • 举例：

//使用默认字符集  
OutputStreamWriter isr = new OutputStreamWriter(new FileOutputStream("out.txt"));  
//使用指定的字符集  
OutputStreamWriter isr2 = new OutputStreamWriter(new FileOutputStream("out.txt") , "GBK");

- 示例代码：

        package com.atguigu.transfer;  
        ​  
        import java.io.FileOutputStream;  
        import java.io.IOException;  
        import java.io.OutputStreamWriter;  
        ​  
        public class OutputStreamWriterDemo {  
            public static void main(String[] args) throws IOException {  
                // 定义文件路径  
                String FileName = "E:\\out_utf8.txt";  
                // 创建流对象,默认UTF8编码  
                OutputStreamWriter osw = new OutputStreamWriter(new FileOutputStream(FileName));  
                // 写出数据  
                osw.write("你好"); // 保存为6个字节  
                osw.close();  
        ​  
                // 定义文件路径  
                String FileName2 = "E:\\out_gbk.txt";  
                // 创建流对象,指定GBK编码  
                OutputStreamWriter osw2 = new OutputStreamWriter(new                       
                                                        FileOutputStream(FileName2),"GBK");  
                // 写出数据  
                osw2.write("你好");// 保存为4个字节  
                osw2.close();  
            }  
        }

4. 字符编码和字符集

4.1 编码与解码

计算机中储存的信息都是用二进制数表示的，而我们在屏幕上看到的数字、英文、标点符号、汉字等字符是二进制数转换之后的结果。按照某种规则，将字符存储到计算机中，称为编码 。反之，将存储在计算机中的二进制数按照某种规则解析显示出来，称为解码 。

字符编码（Character Encoding） : 就是一套自然语言的字符与二进制数之间的对应规则。

编码表：生活中文字和计算机中二进制的对应规则

乱码的情况：按照A规则存储，同样按照A规则解析，那么就能显示正确的文本符号。反之，按照A规则存储，再按照B规则解析，就会导致乱码现象。

编码:字符(人能看懂的)–字节(人看不懂的)
​
解码:字节(人看不懂的)–>字符(人能看懂的)

4.2 字符集

• 字符集Charset：也叫编码表。是一个系统支持的所有字符的集合，包括各国家文字、标点符号、图形符号、数字等。

• 计算机要准确的存储和识别各种字符集符号，需要进行字符编码，一套字符集必然至少有一套字符编码。常见字符集有ASCII字符集、GBK字符集、Unicode字符集等。

可见，当指定了编码，它所对应的字符集自然就指定了，所以编码才是我们最终要关心的。

• ASCII字符集 ：

  • ASCII码（American Standard Code for Information Interchange，美国信息交换标准代码）：上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的关系，做了统一规定。这被称为ASCII码。

  • ASCII码用于显示现代英语，主要包括控制字符（回车键、退格、换行键等）和可显示字符（英文大小写字符、阿拉伯数字和西文符号）。

  • 基本的ASCII字符集，使用7位（bits）表示一个字符（最前面的1位统一规定为0），共128个字符。比如：空格“SPACE”是32（二进制00100000），大写的字母A是65（二进制01000001）。

  • 缺点：不能表示所有字符。

• ISO-8859-1字符集：

  • 拉丁码表，别名Latin-1，用于显示欧洲使用的语言，包括荷兰语、德语、意大利语、葡萄牙语等

  • ISO-8859-1使用单字节编码，兼容ASCII编码。

• GBxxx字符集：

  • GB就是国标的意思，是为了显示中文而设计的一套字符集。

  • GB2312：简体中文码表。一个小于127的字符的意义与原来相同，即向下兼容ASCII码。但两个大于127的字符连在一起时，就表示一个汉字，这样大约可以组合了包含7000多个简体汉字，此外数学符号、罗马希腊的字母、日文的假名们都编进去了，这就是常说的"全角"字符，而原来在127号以下的那些符号就叫"半角"字符了。

  • GBK：最常用的中文码表。是在GB2312标准基础上的扩展规范，使用了双字节编码方案，共收录了21003个汉字，完全兼容GB2312标准，同时支持繁体汉字以及日韩汉字等。

  • GB18030：最新的中文码表。收录汉字70244个，采用多字节编码，每个字可以由1个、2个或4个字节组成。支持中国国内少数民族的文字，同时支持繁体汉字以及日韩汉字等。

• Unicode字符集 ：

  • Unicode编码为表达任意语言的任意字符而设计，也称为统一码、标准万国码。Unicode 将世界上所有的文字用2个字节统一进行编码，为每个字符设定唯一的二进制编码，以满足跨语言、跨平台进行文本处理的要求。

  • Unicode 的缺点：这里有三个问题：

    • 第一，英文字母只用一个字节表示就够了，如果用更多的字节存储是极大的浪费。

    • 第二，如何才能区别Unicode和ASCII？计算机怎么知道两个字节表示一个符号，而不是分别表示两个符号呢？

    • 第三，如果和GBK等双字节编码方式一样，用最高位是1或0表示两个字节和一个字节，就少了很多值无法用于表示字符，不够表示所有字符。

  • Unicode在很长一段时间内无法推广，直到互联网的出现，为解决Unicode如何在网络上传输的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现。具体来说，有三种编码方案，UTF-8、UTF-16和UTF-32。

• UTF-8字符集：

  • Unicode是字符集，UTF-8、UTF-16、UTF-32是三种将数字转换到程序数据的编码方案。顾名思义，UTF-8就是每次8个位传输数据，而UTF-16就是每次16个位。其中，UTF-8 是在互联网上使用最广的一种 Unicode 的实现方式。

  • 互联网工程工作小组（IETF）要求所有互联网协议都必须支持UTF-8编码。所以，我们开发Web应用，也要使用UTF-8编码。UTF-8 是一种变长的编码方式。它使用1-4个字节为每个字符编码，编码规则：

    1. 128个US-ASCII字符，只需一个字节编码。

    2. 拉丁文等字符，需要二个字节编码。

    3. 大部分常用字（含中文），使用三个字节编码。

    4. 其他极少使用的Unicode辅助字符，使用四字节编码。

• 举例

Unicode符号范围 | UTF-8编码方式

(十六进制)           | （二进制）
​
————————————————————|—–—–—–—–—–—–—–—–—–—–—–—–—–—–
​
0000 0000-0000 007F | 0xxxxxxx（兼容原来的ASCII）
​
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
​
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
​
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

• 小结

注意：在中文操作系统上，ANSI（美国国家标准学会、AMERICAN NATIONAL STANDARDS INSTITUTE: ANSI）编码即为GBK；在英文操作系统上，ANSI编码即为ISO-8859-1。

5. 练习

把当前module下的《康师傅的话.txt》字符编码为GBK，复制到电脑桌面目录下的《寄语.txt》， 字符编码为UTF-8。

在当前module下的文本内容：

六项精进：
（一）付出不亚于任何人的努力
（二）要谦虚，不要骄傲
（三）要每天反省
（四）活着，就要感谢
（五）积善行、思利他
（六）不要有感性的烦恼

代码：

public class InputStreamReaderDemo {  
​  
    @Test  
    public void test() {  
        InputStreamReader isr = null;  
        OutputStreamWriter osw = null;  
        try {  
            isr = new InputStreamReader(new FileInputStream("康师傅的话.txt"),"gbk");  
​  
            osw = new OutputStreamWriter(new FileOutputStream("C:\\Users\\shkstart\\Desktop\\寄语.txt"),"utf-8");  
​  
            char[] cbuf = new char[1024];  
            int len;  
            while ((len = isr.read(cbuf)) != -1) {  
                osw.write(cbuf, 0, len);  
                osw.flush();  
            }  
            System.out.println("文件复制完成");  
        } catch (IOException e) {  
            e.printStackTrace();  
        } finally {  
            try {  
                if (isr != null)  
                    isr.close();  
            } catch (IOException e) {  
                e.printStackTrace();  
            }  
            try {  
                if (osw != null)  
                    osw.close();  
            } catch (IOException e) {  
                e.printStackTrace();  
            }  
        }  
​  
    }  
​  
}