当用python读取几十万行文本时,会出现什么状况?

摘要:
keyword_list=[line.strip()forlineinopen]#f1=openf1=openf2=openi=0content=f1.readlines()whilei˂1150:forlineincont[300*i:300*(i+1)]:line=line.strip)。split(“”)ifline[0]inkeyword_ List:wordvec=“”。joinprintwordvecf2.write#printlinei+=1如何读取?应该有很多好的方法,比如多线程。如果你不理解或正在学习,你可以去Python交流裙子:过了很长时间,我们可以找到最新的Python教程项目并相互交流!

前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者:accumulate_zhang
当用python读取几十万行文本时,会出现什么状况?第1张

我在使用python读取几十万行的文件中的数据,并构造字典,列表等数据结构时,再访问字典,列表时,一般都会出现内存不够的问题,然后只能循环读取几百行或者一定数量的行数来循环操作。
  1. keyword_list=[line.strip() for line in open("keywords.txt",'r')]
  2. #f1=open("part_wiki_vec.txt",'r')
  3. f1=open("wiki_vectors.txt")
  4. f2=open("result.txt",'w')
  5. i=0
  6. content=f1.readlines()
  7. while i<1150:
  8. for line in content[300*i:300*(i+1)]:
  9. line=line.strip().split(' ')
  10. if line[0] in keyword_list:
  11. wordvec=' '.join(line)
  12. print wordvec
  13. f2.write(wordvec)
  14. #print line
  15. i+=1

我是这样读取的?

应该还有很多好的方法,比如多线程等等。如果你还不是很明白或者正在学习,可以去小编的Python交流.裙 :一久武其而而流一思(数字的谐音)转换下可以找到了,里面有最新Python教程项目,一起交流进步!

做此记录只为了学习,O(∩_∩)O谢谢,不喜勿喷!

免责声明:文章转载自《当用python读取几十万行文本时,会出现什么状况?》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Qt Quick开发教程1-环境配置ActiveX控件打包cab时INF文件的编写[转]下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

python(一):python语言基础

一、python语言基本的8个要素 Python语言的8个要素:数据类型、对象引用、组合数据类型、逻辑操作符、运算操作符、控制流语句、输入/输出、函数的创建与引用。除此之外还有一个非常重要且无处不在的要素:对象。实际上,在所有的语言当中,这种要素结构几乎一样。   1.要素1--数据和对象类型 python的数据类型是指内置数据类型。python基本的内置...

python类中显示重写__del__方法,引起循环引用的对象无法释放,造成垃圾泄露问题

通常情况下,python的gc 垃圾回收机制,有一套算法,可以用来回收循环引用的对象,避免内存泄露。 不过,有个例外的情况:显示重写了__del__方法。 例子: #-*- coding: UTF-8 -*-#--------------------------------------------------------------------------...

UTL_FILE 的用法

UTL_FILE 是用来进行文件IO处理的专用包,使用这外包的注意事项如下: 1. 生成的文件好象只能放置在DATABASE所在的服务器路径中. 2. 生成的文件如何DOWNLOAD到本地来,还有待研究. Coding步骤: 1. 注册文件输出路径 Create directory path[例如: C:\AA]as 'pathname'; 此命令应由数...

python图像处理之pyocr

使用pyocr类库进行ocr识别,其中tools为’Tesseract’ #!/usr/bin/env python #coding=utf-8 __author__ = 'zhangdebin' from PIL import Image import sys import pyocr tools = pyocr.get_available_to...

python(leetcode)-350两个数组的交集

给定两个数组,编写一个函数来计算它们的交集。 示例 1: 输入: nums1 = [1,2,2,1], nums2 = [2,2] 输出: [2,2] 示例 2: 输入: nums1 = [4,9,5], nums2 = [9,4,9,8,4] 输出: [4,9] 说明: 输出结果中每个元素出现的次数,应与元素在两个数组中出...

python系列之(4)豆瓣图书《平凡的世界》书评及情感分析

本篇主要是通过对豆瓣图书《平凡的世界》短评进行抓取并进行分析,并用snowNLP对其进行情感分析。 用到的模块有snowNLP,是一个python库,用来进行情感分析。 1.抓取数据 我们把抓取到的数据存储到sqlite,先建表,结构如下: CREATE TABLE comment( id integer PRIMARY KEY autoincre...