GVKun编程网logo

Java:InputStream太慢,无法读取大文件(java inputstream读取文件)

6

对于Java:InputStream太慢,无法读取大文件感兴趣的读者,本文将提供您所需要的所有信息,我们将详细讲解javainputstream读取文件,并且为您提供关于(转)java中outputS

对于Java:InputStream太慢,无法读取大文件感兴趣的读者,本文将提供您所需要的所有信息,我们将详细讲解java inputstream读取文件,并且为您提供关于(转)java中outputStream与inputStream的相互转换、(转)java的InputStream和OutputStream的理解、bufferedinputstream FileInputStream inputstream的比较、Java FileInputStream ObjectInputStream到达文件EOF的结尾的宝贵知识。

本文目录一览:

Java:InputStream太慢,无法读取大文件(java inputstream读取文件)

Java:InputStream太慢,无法读取大文件(java inputstream读取文件)

我必须逐字符读取一个53 MB的文件。当我使用ifstream在C ++中完成此操作时,它以毫秒为单位完成,但是使用Java
InputStream则需要几分钟。Java这么慢是正常的还是我错过了一些东西?

另外,我需要用Java完成程序(它使用servlet,而我必须从servlet调用处理这些字符的函数)。我当时在想也许是用C或C
++编写文件处理部分,然后使用Java Native Interface将这些功能与Java程序进行接口连接。

任何人都可以给我其他提示…我非常需要更快地读取文件。我尝试使用缓冲输入,但是仍然不能提供接近C ++的性能。

编辑:我的代码跨几个文件,非常脏,因此我要介绍一下

import java.io.*;public class tmp {    public static void main(String args[]) {        try{        InputStream file = new BufferedInputStream(new FileInputStream("1.2.fasta"));        char ch;                while(file.available()!=0) {            ch = (char)file.read();                    /* Do processing */            }        System.out.println("DONE");        file.close();        }catch(Exception e){}    }}

答案1

小编典典

我用183 MB文件运行了此代码。它打印了“经过250毫秒”。

final InputStream in = new BufferedInputStream(new FileInputStream("file.txt"));final long start = System.currentTimeMillis();int cnt = 0;final byte[] buf = new byte[1000];while (in.read(buf) != -1) cnt++;in.close();System.out.println("Elapsed " + (System.currentTimeMillis() - start) + " ms");

(转)java中outputStream与inputStream的相互转换

(转)java中outputStream与inputStream的相互转换

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.InputStream;
import java.io.OutputStream;

public class ConvertUtil {
    // inputStream转outputStream
    public ByteArrayOutputStream parse(final InputStream in) throws Exception {
        final ByteArrayOutputStream swapStream = new ByteArrayOutputStream();
        int ch;
        while ((ch = in.read()) != -1) {
            swapStream.write(ch);
        }
        return swapStream;
    }

    // outputStream转inputStream
    public ByteArrayInputStream parse(final OutputStream out) throws Exception {
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        baos = (ByteArrayOutputStream) out;
        final ByteArrayInputStream swapStream = new ByteArrayInputStream(baos.toByteArray());
        return swapStream;
    }

    // inputStream转String
    public String parse_String(final InputStream in) throws Exception {
        final ByteArrayOutputStream swapStream = new ByteArrayOutputStream();
        int ch;
        while ((ch = in.read()) != -1) {
            swapStream.write(ch);
        }
        return swapStream.toString();
    }

    // OutputStream 转String
    public String parse_String(final OutputStream out) throws Exception {
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        baos = (ByteArrayOutputStream) out;
        final ByteArrayInputStream swapStream = new ByteArrayInputStream(baos.toByteArray());
        return swapStream.toString();
    }

    // String转inputStream
    public ByteArrayInputStream parse_inputStream(final String in) throws Exception {
        final ByteArrayInputStream input = new ByteArrayInputStream(in.getBytes());
        return input;
    }

    // String 转outputStream
    public ByteArrayOutputStream parse_outputStream(final String in) throws Exception {
        return parse(parse_inputStream(in));
    }
}

 

(转)java的InputStream和OutputStream的理解

(转)java的InputStream和OutputStream的理解

1、在java中stream代表一种数据流(源),javaio的底层数据元,---(想像成水龙头)
2、任何有能力产生数据流(源)的javaio对象就可以看作是一个InputStream对象
既然它能产生出数据,我们就可以将数据取出,java对封装的通用方法就read()方法了--(出水龙头)
3、任何有能力接收数据源(流)的javaio对象我们就可以看作是一个OutputStream对象
同样,它能接收数据,我们就可以调用它的write方法,来让它接收数据--(进水龙头了,呵呵)
4、当然,我们可以在Inputstream和OutputStream数据源的基础上,从实际需要触发,
来重新封装出不同性能机制的输入、输出流了,java.io包中提供了很丰富的输入、输出流对象,如:
基于字节流的stream:
DataOutputStream----DataInputStream:
FileOutputStream-----FileInputStream:
.............等,可以用InputStream和OutputStream从JDK文档查阅
基于字符流的stream(典型的以write和reader来标识的):
FileWriter---FileReader:
StringWriter---StringReader:
.........等,你自己可以用Writer和Reader从JDK文档里头查看说明
stream应该是水龙头里的水资源,
InputStream:是一个出水龙头(把水封装在里头)的一个实物对象,该对象的read方法呢,就想成这个
出水龙头这一机制对象的开关钮,你read或openStream(其他对象包容InputStream对象的对象方法)一下呢,就等于打开了出水龙头的按钮,水就出来了,里头封装的水是什么性质的呢,你就用相应的容器来装,如string或byte[].....
OutputStream:你就在InputStream基础上反着想就ok了 
-------------------------------------------------------------------------------------------------------------------------
OutputStream
(1)输出数据
   void write(int b)往流中写一个字节b
   void write(byte b[])往流中写一个字节数组b
   void write(byte b[],int off,int len)把字节数组b中从下标off开始,长度为len的字节写入流中
 (2)
   flush()刷空输出流,并输出所有被缓存的字节
   由于某些流支持缓存功能,该方法将把缓存中所有内容强制输出到流中。
(3)关闭流
   close()流操作完毕后必须关闭。
------------------------------------------------------------------------------------------------------------------------
InputStream
(1)从流中读取数据
   int read() 读取一个字节,返回值为所读得字节
   int read(byte b[]) 读取多个字节,放置到字节数组b中,通常读取的字节数量为b的长度,返回值为实际独取的
 字节的数量。
   int read(byte b[] ,int off,int len)读取len个字节,放置到以下标off开始字节数组b中,返回值为实际
 读取的字节的数量。
   int available() 返回值为流中尚未读取的字节的数量。
   long skip(long n);读指针跳过n个字节不读,返回值为实际跳过的字节数量
(2)关闭流
   close() 流操作完毕后必须关闭
(3)使用输入流中的标记
   void mark(int readlimit)纪录当前指针的所在位置.readlimit表示读指针读出的readlimit个字节后 所标记的指针位置才实效。
   void reset() 把读指针重新指向用mark方法所记录的位置
   boolean markSupported() 当前的流是否支持读指针的记录功能。
-----------------------------------------------------------------------------------------------------------------------

Java IO通过Stream(流)来实现。关于流,可以理解为是一种“数据的管道”。管道中流动的东西可以是基于字节,也可以是基于字符的等。就好像管道里面可以流动水,也可以流动石油一样。

而对应于流还有一个概念:输入、输出设备。这些设备可以是磁盘文件、键盘(输入设备)、显示器(输出设备)、打印机(输出设备)、网络套接字等等。

下面,我们就来了解“流”。

Java中定义了两种类型的流:字节型,和字符型。

字节流:处理字节的输入和输出。包括读写二进制数据等方面的内容。

字符流:处理字符的输入和输出。他采用的是Unicode编码,可以实现国际化。使用字符流的另外一个好处就是:字符流比字节流更有效率。

字节流:

字节流包含两个顶层抽象类:InputStream和OutputStream。

1:字节流的两个顶层类是抽象类,分别是:InputStream和OutputStream。

2:每个抽象类都有子类来实现具体的功能,处理不同的设备的输入和输  出。

下面简单介绍字节流的几个常用子类:

字节流类功能简单介绍

DataInputStream包含了读取Java标准数据类型的输入流

DataOutputStream包含了写Java标准数据类型的输出流

ByteArrayInputStream从字节数组读取的输入流

ByteArrayOutputStream写入字节数组的输出流

FileInputStream从文件读入的输入流

FileOutputStream写入文件的输出流

PrintStream包含最常见的Print()和Println()的输出流

PushbackInputStream返回一个字节到输入流,主要用于编译器的实现

PipedInputStream输出管道

PipedOutputStream输入管道

SequenceInputStream将n个输入流联合起来,一个接一个按一定顺序读取

RandomAccessFile随机访问文件

BufferInputStream缓冲输入流

BufferOutputStream缓冲输出流

FilterInputStream实现了InputStream Interface

FilterOutputStream实现了OutputStream Interface

InputStream抽象类,描述流的输入

OutputStream抽象类,描述流的输入

抽象类InputStream和OutpurStream定义了实用的方法,其中最主要的是read()和write()。这两个方法在InputStream和OutputStream中声明为抽象方法,由子流类overwrite实现。

2:每个抽象类都有子类来实现具体的功能,处理不同的设备的输入和输  出。

下面简单介绍字节流的几个常用子类:

DataInputStream包含了读取Java标准数据类型的输入流

DataOutputStream包含了写Java标准数据类型的输出流

ByteArrayInputStream从字节数组读取的输入流

ByteArrayOutputStream写入字节数组的输出流

FileInputStream从文件读入的输入流

FileOutputStream写入文件的输出流

PrintStream包含最常见的Print()和Println()的输出流

PushbackInputStream返回一个字节到输入流,主要用于编译器的实现

PipedInputStream输出管道

PipedOutputStream输入管道

SequenceInputStream将n个输入流联合起来,一个接一个按一定顺序读取

RandomAccessFile随机访问文件

BufferInputStream缓冲输入流

BufferOutputStream缓冲输出流

FilterInputStream实现了InputStream Interface

FilterOutputStream实现了OutputStream Interface

InputStream抽象类,描述流的输入

OutputStream抽象类,描述流的输入

抽象类InputStream和OutpurStream定义了实用的方法,其中最主要的是read()和write()。这两个方法在InputStream和OutputStream中声明为抽象方法,由子流类overwrite实现。


bufferedinputstream FileInputStream inputstream的比较

bufferedinputstream FileInputStream inputstream的比较

BufferedInputStream类相比InputStream类,提高了输入效率,增加了输入缓冲区的功能

 

不带缓冲的操作,每读一个字节就要写入一个字节,由于涉及磁盘的IO操作相比内存的操作要慢很多,所以不带缓冲的流效率很低

带缓冲的流,可以一次读很多字节,但不向磁盘中写入,只是先放到内存里。等凑够了缓冲区大小的时候一次性写入磁盘,这种方式可以减少磁盘操作次数,速度就会提高很多

 

InputStream流是指将字节序列从外设或外存传递到应用程序的流
BufferedInputStream流是指读取数据时,数据首先保存进入缓冲区,其后的操作直接在缓冲区中完成。

 

继承关系是这样的:
Java.lang.Object
     Java.io.InputStrean
          Java.io.FilterInputStream
                Java.io.BufferedInputStream

 

FileInputStream是字节流,BufferedInputStream是字节缓冲流,使用BufferedInputStream读资源比FileInputStream读取资源的效率高(BufferedInputStream的read方法会读取尽可能多的字节),且FileInputStream对象的read方法会出现阻塞;

 

BufferedInputStream比FileInputStream多了一个缓冲区,执行read时先从缓冲区读取,当缓冲区数据读完时再把缓冲区填满。

当每次读取的数据量很小时,FileInputStream每次都是从硬盘读入,而BufferedInputStream大部分是从缓冲区读入。读取内存速度比读取硬盘速度快得多,因此BufferedInputStream效率高。

BufferedInputStream的默认缓冲区大小是8192字节。当每次读取数据量接近或远超这个值时,两者效率就没有明显差别了。

Java FileInputStream ObjectInputStream到达文件EOF的结尾

Java FileInputStream ObjectInputStream到达文件EOF的结尾

我试图使用readObject读取二进制文件中的行数,但得到IOException EOF。我这样做正确吗?

    FileInputStream istream = new FileInputStream(fileName);    ObjectInputStream ois = new ObjectInputStream(istream);    /** calculate number of items **/    int line_count = 0;    while( (String)ois.readObject() != null){                    line_count++;    }

答案1

小编典典

readObject()不返回nullEOF。您可以捕获EOFException并将其解释为EOF,但这将无法检测到将正常EOF与已被截断的文件区分开。

更好的方法是使用一些元数据。也就是说,您不必询问ObjectInput流中有多少个对象,而应该将计数存储在某个地方。例如,您可以创建一个元数据类来记录计数和其他元数据,并将实例作为每个文件中的第一个对象存储。或者,您可以创建一个特殊的EOF标记类,然后将实例存储为每个文件中的最后一个对象。

关于Java:InputStream太慢,无法读取大文件java inputstream读取文件的介绍现已完结,谢谢您的耐心阅读,如果想了解更多关于(转)java中outputStream与inputStream的相互转换、(转)java的InputStream和OutputStream的理解、bufferedinputstream FileInputStream inputstream的比较、Java FileInputStream ObjectInputStream到达文件EOF的结尾的相关知识,请在本站寻找。

本文标签: