对于Java:InputStream太慢,无法读取大文件感兴趣的读者,本文将提供您所需要的所有信息,我们将详细讲解javainputstream读取文件,并且为您提供关于(转)java中outputS
对于Java:InputStream太慢,无法读取大文件感兴趣的读者,本文将提供您所需要的所有信息,我们将详细讲解java inputstream读取文件,并且为您提供关于(转)java中outputStream与inputStream的相互转换、(转)java的InputStream和OutputStream的理解、bufferedinputstream FileInputStream inputstream的比较、Java FileInputStream ObjectInputStream到达文件EOF的结尾的宝贵知识。
本文目录一览:- Java:InputStream太慢,无法读取大文件(java inputstream读取文件)
- (转)java中outputStream与inputStream的相互转换
- (转)java的InputStream和OutputStream的理解
- bufferedinputstream FileInputStream inputstream的比较
- Java FileInputStream ObjectInputStream到达文件EOF的结尾
Java:InputStream太慢,无法读取大文件(java inputstream读取文件)
我必须逐字符读取一个53 MB的文件。当我使用ifstream在C ++中完成此操作时,它以毫秒为单位完成,但是使用Java
InputStream则需要几分钟。Java这么慢是正常的还是我错过了一些东西?
另外,我需要用Java完成程序(它使用servlet,而我必须从servlet调用处理这些字符的函数)。我当时在想也许是用C或C
++编写文件处理部分,然后使用Java Native Interface将这些功能与Java程序进行接口连接。
任何人都可以给我其他提示…我非常需要更快地读取文件。我尝试使用缓冲输入,但是仍然不能提供接近C ++的性能。
编辑:我的代码跨几个文件,非常脏,因此我要介绍一下
import java.io.*;public class tmp { public static void main(String args[]) { try{ InputStream file = new BufferedInputStream(new FileInputStream("1.2.fasta")); char ch; while(file.available()!=0) { ch = (char)file.read(); /* Do processing */ } System.out.println("DONE"); file.close(); }catch(Exception e){} }}
答案1
小编典典我用183 MB文件运行了此代码。它打印了“经过250毫秒”。
final InputStream in = new BufferedInputStream(new FileInputStream("file.txt"));final long start = System.currentTimeMillis();int cnt = 0;final byte[] buf = new byte[1000];while (in.read(buf) != -1) cnt++;in.close();System.out.println("Elapsed " + (System.currentTimeMillis() - start) + " ms");
(转)java中outputStream与inputStream的相互转换
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
public class ConvertUtil {
// inputStream转outputStream
public ByteArrayOutputStream parse(final InputStream in) throws Exception {
final ByteArrayOutputStream swapStream = new ByteArrayOutputStream();
int ch;
while ((ch = in.read()) != -1) {
swapStream.write(ch);
}
return swapStream;
}
// outputStream转inputStream
public ByteArrayInputStream parse(final OutputStream out) throws Exception {
ByteArrayOutputStream baos = new ByteArrayOutputStream();
baos = (ByteArrayOutputStream) out;
final ByteArrayInputStream swapStream = new ByteArrayInputStream(baos.toByteArray());
return swapStream;
}
// inputStream转String
public String parse_String(final InputStream in) throws Exception {
final ByteArrayOutputStream swapStream = new ByteArrayOutputStream();
int ch;
while ((ch = in.read()) != -1) {
swapStream.write(ch);
}
return swapStream.toString();
}
// OutputStream 转String
public String parse_String(final OutputStream out) throws Exception {
ByteArrayOutputStream baos = new ByteArrayOutputStream();
baos = (ByteArrayOutputStream) out;
final ByteArrayInputStream swapStream = new ByteArrayInputStream(baos.toByteArray());
return swapStream.toString();
}
// String转inputStream
public ByteArrayInputStream parse_inputStream(final String in) throws Exception {
final ByteArrayInputStream input = new ByteArrayInputStream(in.getBytes());
return input;
}
// String 转outputStream
public ByteArrayOutputStream parse_outputStream(final String in) throws Exception {
return parse(parse_inputStream(in));
}
}
(转)java的InputStream和OutputStream的理解
1、在java中stream代表一种数据流(源),javaio的底层数据元,---(想像成水龙头)
2、任何有能力产生数据流(源)的javaio对象就可以看作是一个InputStream对象
既然它能产生出数据,我们就可以将数据取出,java对封装的通用方法就read()方法了--(出水龙头)
3、任何有能力接收数据源(流)的javaio对象我们就可以看作是一个OutputStream对象
同样,它能接收数据,我们就可以调用它的write方法,来让它接收数据--(进水龙头了,呵呵)
4、当然,我们可以在Inputstream和OutputStream数据源的基础上,从实际需要触发,
来重新封装出不同性能机制的输入、输出流了,java.io包中提供了很丰富的输入、输出流对象,如:
基于字节流的stream:
DataOutputStream----DataInputStream:
FileOutputStream-----FileInputStream:
.............等,可以用InputStream和OutputStream从JDK文档查阅
基于字符流的stream(典型的以write和reader来标识的):
FileWriter---FileReader:
StringWriter---StringReader:
.........等,你自己可以用Writer和Reader从JDK文档里头查看说明
stream应该是水龙头里的水资源,
InputStream:是一个出水龙头(把水封装在里头)的一个实物对象,该对象的read方法呢,就想成这个
出水龙头这一机制对象的开关钮,你read或openStream(其他对象包容InputStream对象的对象方法)一下呢,就等于打开了出水龙头的按钮,水就出来了,里头封装的水是什么性质的呢,你就用相应的容器来装,如string或byte[].....
OutputStream:你就在InputStream基础上反着想就ok了
-------------------------------------------------------------------------------------------------------------------------
OutputStream
(1)输出数据
void write(int b)往流中写一个字节b
void write(byte b[])往流中写一个字节数组b
void write(byte b[],int off,int len)把字节数组b中从下标off开始,长度为len的字节写入流中
(2)
flush()刷空输出流,并输出所有被缓存的字节
由于某些流支持缓存功能,该方法将把缓存中所有内容强制输出到流中。
(3)关闭流
close()流操作完毕后必须关闭。
------------------------------------------------------------------------------------------------------------------------
InputStream
(1)从流中读取数据
int read() 读取一个字节,返回值为所读得字节
int read(byte b[]) 读取多个字节,放置到字节数组b中,通常读取的字节数量为b的长度,返回值为实际独取的
字节的数量。
int read(byte b[] ,int off,int len)读取len个字节,放置到以下标off开始字节数组b中,返回值为实际
读取的字节的数量。
int available() 返回值为流中尚未读取的字节的数量。
long skip(long n);读指针跳过n个字节不读,返回值为实际跳过的字节数量
(2)关闭流
close() 流操作完毕后必须关闭
(3)使用输入流中的标记
void mark(int readlimit)纪录当前指针的所在位置.readlimit表示读指针读出的readlimit个字节后 所标记的指针位置才实效。
void reset() 把读指针重新指向用mark方法所记录的位置
boolean markSupported() 当前的流是否支持读指针的记录功能。
-----------------------------------------------------------------------------------------------------------------------
Java IO通过Stream(流)来实现。关于流,可以理解为是一种“数据的管道”。管道中流动的东西可以是基于字节,也可以是基于字符的等。就好像管道里面可以流动水,也可以流动石油一样。
而对应于流还有一个概念:输入、输出设备。这些设备可以是磁盘文件、键盘(输入设备)、显示器(输出设备)、打印机(输出设备)、网络套接字等等。
下面,我们就来了解“流”。
Java中定义了两种类型的流:字节型,和字符型。
字节流:处理字节的输入和输出。包括读写二进制数据等方面的内容。
字符流:处理字符的输入和输出。他采用的是Unicode编码,可以实现国际化。使用字符流的另外一个好处就是:字符流比字节流更有效率。
字节流:
字节流包含两个顶层抽象类:InputStream和OutputStream。
1:字节流的两个顶层类是抽象类,分别是:InputStream和OutputStream。
2:每个抽象类都有子类来实现具体的功能,处理不同的设备的输入和输 出。
下面简单介绍字节流的几个常用子类:
字节流类功能简单介绍
DataInputStream包含了读取Java标准数据类型的输入流
DataOutputStream包含了写Java标准数据类型的输出流
ByteArrayInputStream从字节数组读取的输入流
ByteArrayOutputStream写入字节数组的输出流
FileInputStream从文件读入的输入流
FileOutputStream写入文件的输出流
PrintStream包含最常见的Print()和Println()的输出流
PushbackInputStream返回一个字节到输入流,主要用于编译器的实现
PipedInputStream输出管道
PipedOutputStream输入管道
SequenceInputStream将n个输入流联合起来,一个接一个按一定顺序读取
RandomAccessFile随机访问文件
BufferInputStream缓冲输入流
BufferOutputStream缓冲输出流
FilterInputStream实现了InputStream Interface
FilterOutputStream实现了OutputStream Interface
InputStream抽象类,描述流的输入
OutputStream抽象类,描述流的输入
抽象类InputStream和OutpurStream定义了实用的方法,其中最主要的是read()和write()。这两个方法在InputStream和OutputStream中声明为抽象方法,由子流类overwrite实现。
2:每个抽象类都有子类来实现具体的功能,处理不同的设备的输入和输 出。
下面简单介绍字节流的几个常用子类:
DataInputStream包含了读取Java标准数据类型的输入流
DataOutputStream包含了写Java标准数据类型的输出流
ByteArrayInputStream从字节数组读取的输入流
ByteArrayOutputStream写入字节数组的输出流
FileInputStream从文件读入的输入流
FileOutputStream写入文件的输出流
PrintStream包含最常见的Print()和Println()的输出流
PushbackInputStream返回一个字节到输入流,主要用于编译器的实现
PipedInputStream输出管道
PipedOutputStream输入管道
SequenceInputStream将n个输入流联合起来,一个接一个按一定顺序读取
RandomAccessFile随机访问文件
BufferInputStream缓冲输入流
BufferOutputStream缓冲输出流
FilterInputStream实现了InputStream Interface
FilterOutputStream实现了OutputStream Interface
InputStream抽象类,描述流的输入
OutputStream抽象类,描述流的输入
抽象类InputStream和OutpurStream定义了实用的方法,其中最主要的是read()和write()。这两个方法在InputStream和OutputStream中声明为抽象方法,由子流类overwrite实现。
bufferedinputstream FileInputStream inputstream的比较
BufferedInputStream类相比InputStream类,提高了输入效率,增加了输入缓冲区的功能
不带缓冲的操作,每读一个字节就要写入一个字节,由于涉及磁盘的IO操作相比内存的操作要慢很多,所以不带缓冲的流效率很低
带缓冲的流,可以一次读很多字节,但不向磁盘中写入,只是先放到内存里。等凑够了缓冲区大小的时候一次性写入磁盘,这种方式可以减少磁盘操作次数,速度就会提高很多
InputStream流是指将字节序列从外设或外存传递到应用程序的流
BufferedInputStream流是指读取数据时,数据首先保存进入缓冲区,其后的操作直接在缓冲区中完成。
继承关系是这样的:
Java.lang.Object
Java.io.InputStrean
Java.io.FilterInputStream
Java.io.BufferedInputStream
FileInputStream是字节流,BufferedInputStream是字节缓冲流,使用BufferedInputStream读资源比FileInputStream读取资源的效率高(BufferedInputStream的read方法会读取尽可能多的字节),且FileInputStream对象的read方法会出现阻塞;
BufferedInputStream比FileInputStream多了一个缓冲区,执行read时先从缓冲区读取,当缓冲区数据读完时再把缓冲区填满。
当每次读取的数据量很小时,FileInputStream每次都是从硬盘读入,而BufferedInputStream大部分是从缓冲区读入。读取内存速度比读取硬盘速度快得多,因此BufferedInputStream效率高。
BufferedInputStream的默认缓冲区大小是8192字节。当每次读取数据量接近或远超这个值时,两者效率就没有明显差别了。
Java FileInputStream ObjectInputStream到达文件EOF的结尾
我试图使用readObject读取二进制文件中的行数,但得到IOException EOF。我这样做正确吗?
FileInputStream istream = new FileInputStream(fileName); ObjectInputStream ois = new ObjectInputStream(istream); /** calculate number of items **/ int line_count = 0; while( (String)ois.readObject() != null){ line_count++; }
答案1
小编典典readObject()
不返回null
EOF。您可以捕获EOFException
并将其解释为EOF,但这将无法检测到将正常EOF与已被截断的文件区分开。
更好的方法是使用一些元数据。也就是说,您不必询问ObjectInput
流中有多少个对象,而应该将计数存储在某个地方。例如,您可以创建一个元数据类来记录计数和其他元数据,并将实例作为每个文件中的第一个对象存储。或者,您可以创建一个特殊的EOF标记类,然后将实例存储为每个文件中的最后一个对象。
关于Java:InputStream太慢,无法读取大文件和java inputstream读取文件的介绍现已完结,谢谢您的耐心阅读,如果想了解更多关于(转)java中outputStream与inputStream的相互转换、(转)java的InputStream和OutputStream的理解、bufferedinputstream FileInputStream inputstream的比较、Java FileInputStream ObjectInputStream到达文件EOF的结尾的相关知识,请在本站寻找。
本文标签: