文件太大,内存不足时的读取问题

#

现在考虑有一个 jsonline 格式的文件 file.txt 大小约为 10K，之前处理文件的
代码如下所示：

1. defget_lines():
2. 　　l =[]
3. 　　with open(‘file.txt’，‘rb’) as f:
4. 　　　　for eachline inf:
5. 　　　　　　l.append(eachline)
6. 　　returnl
7. if __name__ == ‘__main__’:
8. 　　for e inget_lines():
9. 　　　　process(e) #处理每一行数据

#

现在要处理一个大小为 10G 的文件，但是内存只有 4G，如果在只修改 get_lines 函数而其他代
码保持不变的情况下，应该如何实现？需要考虑的问题都有哪些？

1. defget_lines():
2. 　　l =[]
3. 　　with open(‘file.txt’，’rb’) as f:
4. 　　　　data = f.readlines(60000)
5.　　 l.append(data)
6. 　　yield l