java使用多线程读取超大文件
版权申诉
4星 · 超过85%的资源 176 浏览量
2020-08-25
17:07:24
上传
评论 3
收藏 64KB PDF 举报 
java使用多线程读取超大文件使用多线程读取超大文件
主要为大家详细介绍了java使用多线程读取超大文件，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
接上次写的“JAVA读取超大文件”。在读取超过10G的文件时会发现一次读一行的速度实在是不能接受，想到使用多线程
+FileChannel来做一个使用多线程版本。
基本思路如下：基本思路如下：
1.计算出文件总大小
2.分段处理,计算出每个线程读取文件的开始与结束位置
(文件大小/线程数)*N,N是指第几个线程,这样能得到每个线程在读该文件的大概起始位置
使用"大概起始位置",作为读文件的开始偏移量(fileChannel.position("大概起始位置")),来读取该文件,直到读到第一个换行符,记
录下这个换行符的位置,作为该线程的准确起 始位置.同时它也是上一个线程的结束位置.最后一个线程的结束位置也直接设置
为-1
3.启动线程,每个线程从开始位置读取到结束位置为止
代码如下代码如下:
读文件工具类
import java.io.*;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
import java.util.Observable;
/**
* Created with IntelliJ IDEA.
* User: okey
* Date: 14-4-2
* Time: 下午3:12
* 读取文件
*/
public class ReadFile extends Observable {
private int bufSize = 1024;
// 换行符
private byte key = "".getBytes()[0];
// 当前行数
private long lineNum = 0;
// 文件编码,默认为gb2312
private String encode = "gb2312";
// 具体业务逻辑监听器
private ReaderFileListener readerListener;
public void setEncode(String encode) {
this.encode = encode;
}
public void setReaderListener(ReaderFileListener readerListener) {
this.readerListener = readerListener;
}
/**
* 获取准确开始位置
* @param file
* @param position
* @return
* @throws Exception
*/
public long getStartNum(File file, long position) throws Exception {
long startNum = position;
FileChannel fcin = new RandomAccessFile(file, "r").getChannel();
fcin.position(position);
try {
int cache = 1024;
ByteBuffer rBuffer = ByteBuffer.allocate(cache);
// 每次读取的内容
byte[] bs = new byte[cache];
// 缓存
byte[] tempBs = new byte[0];
String line = "";
while (fcin.read(rBuffer) != -1) {
评论4
最新资源