GVKun编程网logo

如何在python中解压缩非常大的文件?(如何在python中解压缩非常大的文件夹)

12

在本文中,我们将带你了解如何在python中解压缩非常大的文件?在这篇文章中,我们将为您详细介绍如何在python中解压缩非常大的文件?的方方面面,并解答如何在python中解压缩非常大的文件夹常见的

在本文中,我们将带你了解如何在python中解压缩非常大的文件?在这篇文章中,我们将为您详细介绍如何在python中解压缩非常大的文件?的方方面面,并解答如何在python中解压缩非常大的文件夹常见的疑惑,同时我们还将给您一些技巧,以帮助您实现更有效的linux – 如何预压缩非常大的html文件、PHP解压缩非常大的文件、Python 用非常大的文本翻译 Pandas 数据框列、Python-如何在Python中附加文件?

本文目录一览:

如何在python中解压缩非常大的文件?(如何在python中解压缩非常大的文件夹)

如何在python中解压缩非常大的文件?(如何在python中解压缩非常大的文件夹)

使用python 2.4和内置ZipFile库,我无法读取非常大的zip文件(大于1或2
GB),因为它想将未压缩文件的全部内容存储在内存中。还有另一种方法(使用第三方库或其他黑客工具),还是必须“脱壳”并以这种方式解压缩(显然,它不是跨平台的)。

答案1

小编典典

这是对大文件进行解压缩的概述。

import zipfileimport zlibimport ossrc = open( doc, "rb" )zf = zipfile.ZipFile( src )for m in  zf.infolist():    # Examine the header    print m.filename, m.header_offset, m.compress_size, repr(m.extra), repr(m.comment)    src.seek( m.header_offset )    src.read( 30 ) # Good to use struct to unpack this.    nm= src.read( len(m.filename) )    if len(m.extra) > 0: ex= src.read( len(m.extra) )    if len(m.comment) > 0: cm= src.read( len(m.comment) )    # Build a decompression object    decomp= zlib.decompressobj(-15)    # This can be done with a loop reading blocks    out= open( m.filename, "wb" )    result= decomp.decompress( src.read( m.compress_size ) )    out.write( result )    result = decomp.flush()    out.write( result )    # end of the loop    out.close()zf.close()src.close()

linux – 如何预压缩非常大的html文件

linux – 如何预压缩非常大的html文件

我需要使用gzip或deflate预压缩一些非常大的html / xml / json文件(大数据转储).我从来不想为未压缩的文件提供服务.它们是如此之大和重复性,压缩可能会非常好地工作,而一些较旧的浏览器不能支持解压缩,我的典型客户将不会使用它们(虽然如果我可以生成某种“嘿,你需要升级浏览器的消息)

我自动生成文件,我可以轻松地生成.htaccess文件与每个文件类型一起.基本上我想要的是一些总是在mod_gunzip的版本.由于文件很大,因为我会反复提供它们,所以我需要一个方法,让我在命令行上压缩一次,真的很好.

我已经找到关于这个网站和其他人关于如何使用gzip的一些信息,但我想知道有没有人可以告诉我如何做这样做与放气.一个完整答案的奖励积分,包括我的.htaccess文件应该是什么样子,以及我应该使用的命令行代码(GNU / Linux)来获得最佳的压缩.超级积分的答案也解决了如何发送“不抱歉,没有文件给您”消息到不兼容的浏览器.

如果我们可以创建一个“预压缩”标签来覆盖这样的问题,那将是可爱的.

-FT

解决方法

编辑:找到 AddEncoding in mod_mime

这样做:

<IfModule mod_mime.c>
 <Files "*.html.gz">
  ForceType text/html
 </Files>
 <Files "*.xml.gz">
  ForceType application/xml
 </Files>
 <Files "*.js.gz">
  ForceType application/javascript
 </Files>
 <Files "*.gz">
  AddEncoding gzip .gz
 </Files>
</IfModule>

该文档使它听起来只需要AddEncoding,但我没有得到它的工作.

此外,Lighttpd的mod_compression可以压缩和缓存(压缩)文件.

PHP解压缩非常大的文件

PHP解压缩非常大的文件

我在服务器上有一个zip文件.它是由数千个小文件组成的1.1gb.我没有 shell或root访问服务器,只能使用ftp和创建 PHP文件..到目前为止,我已经尝试过exec和shell exec但没有工作.服务器正在运行免费的bsd.如何将文件解压缩到它所在的目录中?

解决方法

对于纯PHP解决方案,请尝试 PclZip – 这不需要您安装任何PHP扩展或需要shell访问 – 您只需要将访问权限写入您想要提取文件的位置.

Python 用非常大的文本翻译 Pandas 数据框列

Python 用非常大的文本翻译 Pandas 数据框列

如何解决Python 用非常大的文本翻译 Pandas 数据框列?

我有一个 Pandas 数据框,其中有一列名为“input_text”的列有许多文本,每个文本的长度大约为 10K 个字。其中一些不是英文的,我想将它们翻译成英文。问题是,例如,当我尝试使用 googletrans 的 Translator 时,我收到一个 broken pipe 错误。此外,当文本非常大时,它不会翻译文本。有谁知道如何解决这个问题?

import pandas as pd
df = pd.read_csv(''twitter_data.csv'') # df[''input_text''] is the required column

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

Python-如何在Python中附加文件?

Python-如何在Python中附加文件?

如何解决Python-如何在Python中附加文件??

with open("test.txt", "a") as myfile:
    myfile.write("appended text")

解决方法

如何附加到文件而不是覆盖文件?有附加到文件的特殊功能吗?

我们今天的关于如何在python中解压缩非常大的文件?如何在python中解压缩非常大的文件夹的分享已经告一段落,感谢您的关注,如果您想了解更多关于linux – 如何预压缩非常大的html文件、PHP解压缩非常大的文件、Python 用非常大的文本翻译 Pandas 数据框列、Python-如何在Python中附加文件?的相关信息,请在本站查询。

本文标签: