Python объединяет «большой» файл

Question

Python объединяет «большой» файл

1

В python я прочитал файл в списке с помощью file.readlines(), позже после некоторой логики, я хотел бы поместить его обратно в строку, используя fileString = ''.join(file), по какой-то причине, даже без print, он выводит файлString на консоль до определенной точки, а затем просто останавливается. Он не запускает остальную часть программы, которая мне не подходит.

Почему соединение делает это, как мне возможно pre- выделять, сколько памяти я хотел бы использовать в моем списке/строке, чтобы она не останавливалась. Или другое решение тоже.

Спасибо

CQM 25 май 2011, в 23:06

Источник

0

извините, readlines() используется. делает список. Я просто использую общие имена здесь, но я не использую системные имена в моем фактическом коде
CQM 25 май 2011, в 20:30
0

Вы не должны также использовать системные имена в примере кода - это может привести к тому, что люди ошибся в том, где находится ошибка.
Tim Pietzcker 25 май 2011, в 20:46
0

Я не понимаю ваш вопрос: «после некоторой логики ...», почему все еще имеем дело с исходным файлом дескриптора file ? Разве вы не читали в содержимом какую-то переменную ( str или list ) и почему бы вам не начать с этого? Если это list , то нет смысла join весь список, если вы хотите остановиться «в определенной точке». Вы должны использовать цикл для итерации вашего списка до того места, где вы хотите его остановить.
Pigpag 14 июнь 2017, в 16:12

Показать ещё 1 комментарий

Теги:

python

string

list

join

memory

2 ответа

0

Вы также должны рассмотреть, что вы собираетесь делать с результирующей строкой. Если вы просто хотите записать содержимое обратно в файл, сначала не нужно присоединяться к частям, вы можете напрямую использовать file.writelines(strings).

ThomasH 25 май 2011, в 19:02

Ещё вопросы

извините, readlines() используется. делает список. Я просто использую общие имена здесь, но я не использую системные имена в моем фактическом коде
Вы не должны также использовать системные имена в примере кода - это может привести к тому, что люди ошибся в том, где находится ошибка.
Я не понимаю ваш вопрос: «после некоторой логики ...», почему все еще имеем дело с исходным файлом дескриптора file ? Разве вы не читали в содержимом какую-то переменную ( str или list ) и почему бы вам не начать с этого? Если это list , то нет смысла join весь список, если вы хотите остановиться «в определенной точке». Вы должны использовать цикл для итерации вашего списка до того места, где вы хотите его остановить.

Spencer Rathbun · Accepted Answer · 2011-05-25T18-57-00.000Z

Файл - это указатель вашего файла в памяти. Когда вы пытаетесь присоединиться к нему, у вас на самом деле нет строки для работы.

Как насчет этого?

with open(file, 'rb') as myfile:
    strings = myfile.readlines()

# do your stuff to strings
filestring = ''.join(strings)

Обратите внимание, что строки - это список таких строк:

['моя строка \n', 'моя другая строка! \n']

И как таковой, для большого файла потребуется довольно много памяти. Вы можете лучше обслуживать, создав мини-фильтр.

На самом деле, если вы еще не прочитали файл, вы можете использовать ''.join(myfile) ; он возвращает строку так же, как и myfile.read() .
ложная тревога, именно plistLib вызывает ошибку :( IOError: [Errno 63] File name too long:
@ Тим Пицкер Я не знал этого, круто.
Но никогда не используйте это, пожалуйста. «Должен быть один очевидный способ сделать это», и если вам нужно сразу .read() файл в память, используйте .read() :)
@Tim Pietzcker Если бы мне когда-нибудь пришлось сделать что-то столь ужасающее, как «эй, вы можете использовать указатель (пару байтов), как если бы это был один гигантский кусок текста! Но только в этом особом случае», тогда я бы выбросил Python и выследить Гвидо за то, что он испортил мой любимый язык;)