разбить текстовую базу данных на N равных блоков и сохранить заголовок

Question

разбить текстовую базу данных на N равных блоков и сохранить заголовок

1

У меня есть несколько больших (более 30 миллионов строк) текстовых баз данных, которые я очищаю следующим кодом, мне нужно разбить файл на 1 миллион строк или меньше и сохранить строку заголовка. Я посмотрел на кусок и itertools, но не могу получить четкое решение. Он должен использоваться в дуговой модели.

== обновленный код в соответствии с ответом от icyrock.com

import arcpy, os
#fc = arcpy.GetParameter(0)
#chunk_size = arcpy.GetParameter(1) # number of records in each dataset

fc='input.txt'
Name = fc[:fc.rfind('.')]
fl = Name+'_db.txt'

with open(fc) as f:
  lines = f.readlines()
lines[:] = lines[3:]
lines[0] = lines[0].replace('Rx(db)', 'Rx_'+Name)
lines[0] = lines[0].replace('Best Unit', 'Best_Unit')
records = len(lines)
with open(fl, 'w') as f: #where N is the chunk number
  f.write('\n'.join(lines))

with open(fl) as file:
  lines = file.readlines()

headers = lines[0:1]
rest = lines[1:]
chunk_size = 1000000

def chunks(lst, chunk_size):
  for i in xrange(0, len(lst), chunk_size):
    yield lst[i:i + chunk_size]

def write_rows(rows, file):
  for row in rows:
    file.write('%s' % row)

part = 1
for chunk in chunks(rest, chunk_size):
  with open(Name+'_%d' % part+'.txt', 'w') as file:
    write_rows(headers, file)
    write_rows(chunk, file)
  part += 1

См. Удалить определенные строки из большого текстового файла в python и разделить большую текстовую (xyz) базу данных на x равным частей для фона. Я не хочу, чтобы решение на основе cygwin было больше, поскольку оно усложняет модель. Мне нужен питонический путь. Мы можем использовать "записи" для повторения, но неясно, как указать строку 1: 999,999 в db # 1, строки 1000,0000 до 1,999,999 в db # 2 и т.д. Это хорошо, если последний набор данных имеет менее 1 м записи.

Ошибка с файлом 500 Мбайт (у меня 16 ГБ ОЗУ).

Traceback (последний последний вызов): Файл "P:\2012\Job_044_DM_Radio_Propogation\Working\Test\clean_file.py", строка 10, в     lines = f.readlines() MemoryError



записи 2249878

Сумма записи выше не является общей суммой записи, когда она вышла из памяти (я думаю).

=== С новым кодом от Icyrock.

Кажется, что кусок работает нормально, но дает ошибки при использовании в Arcgis.

Время начала: Пт Мар 09 17:20:04 2012 ПРЕДУПРЕЖДЕНИЕ 000594: Функция ввода 1945882430: выходит за пределы областей выходной геометрии. ПРЕДУПРЕЖДЕНИЕ 000595: d:\Temp\cb_vhn007_1.txt_Features1.fid содержит полный список функции не могут быть скопированы.

Я знаю, что это проблема с chunking, так как процесс "Make Event Layer" работает нормально с полным набором данных перед блоком.

Любые идеи?

GeorgeC 09 март 2012, в 00:52

Источник

Теги:

python

model

arcgis

1 ответ

Ещё вопросы

icyrock.com · Accepted Answer · 2012-03-08T21-55-00.000Z

Вы можете сделать что-то вроде этого:

with open('file') as file:
  lines = file.readlines()

headers = lines[0:1]
rest = lines[1:]
chunk_size = 4

def chunks(lst, chunk_size):
  for i in xrange(0, len(lst), chunk_size):
    yield lst[i:i + chunk_size]

def write_rows(rows, file):
  for row in rows:
    file.write('%s' % row)

part = 1
for chunk in chunks(rest, chunk_size):
  with open('part%d' % part, 'w') as file:
    write_rows(headers, file)
    write_rows(chunk, file)
  part += 1

Здесь проходит тестовый прогон:

$ cat file && python mkt.py && for p in part*; do echo ---- $p; cat $p; done
header
1
2
3
4
5
6
7
8
9
10
11
12
13
14
---- part1
header
1
2
3
4
---- part2
header
5
6
7
8
---- part3
header
9
10
11
12
---- part4
header
13
14

Очевидно, измените значения chunk_size и как вы получите headers в зависимости от их количества.

Credits:

qaru.site/questions/1021/...

Изменить. Чтобы сделать это по очереди, чтобы избежать проблем с памятью, вы можете сделать что-то вроде этого:

from itertools import islice

headers_count = 5
chunk_size = 250000

with open('file') as fin:
  headers = list(islice(fin, headers_count))

  part = 1
  while True:
    line_iter = islice(fin, chunk_size)
    try:
      first_line = line_iter.next()
    except StopIteration:
      break
    with open('part%d' % part, 'w') as fout:
      for line in headers:
        fout.write(line)
      fout.write(first_line)
      for line in line_iter:
        fout.write(line)
    part += 1

Credits:

Python, как читать N количество строк за раз

Тестовый пример (поместите выше в файл с именем mkt2.py):

Сделайте файл, содержащий 5-строчный заголовок и 1234567 строк в нем:

with open('file', 'w') as fout:
  for i in range(5):
    fout.write(10 * ('header %d ' % i) + '\n')
  for i in range(1234567):
    fout.write(10 * ('line %d ' % i) + '\n')

Shell script для проверки (введите файл под названием rt.sh):

rm part*
echo ---- file
head -n7 file
tail -n2 file

python mkt2.py

for i in part*; do
  echo ---- $i
  head -n7 $i
  tail -n2 $i
done

Пример вывода:

$ sh rt.sh 
---- file
header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 
header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 
header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 
header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 
header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 
line 0 line 0 line 0 line 0 line 0 line 0 line 0 line 0 line 0 line 0 
line 1 line 1 line 1 line 1 line 1 line 1 line 1 line 1 line 1 line 1 
line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 
line 1234566 line 1234566 line 1234566 line 1234566 line 1234566 line 1234566 line 1234566 line 1234566 line 1234566 line 1234566 
---- part1
header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 
header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 
header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 
header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 
header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 
line 0 line 0 line 0 line 0 line 0 line 0 line 0 line 0 line 0 line 0 
line 1 line 1 line 1 line 1 line 1 line 1 line 1 line 1 line 1 line 1 
line 249998 line 249998 line 249998 line 249998 line 249998 line 249998 line 249998 line 249998 line 249998 line 249998 
line 249999 line 249999 line 249999 line 249999 line 249999 line 249999 line 249999 line 249999 line 249999 line 249999 
---- part2
header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 
header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 
header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 
header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 
header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 
line 250000 line 250000 line 250000 line 250000 line 250000 line 250000 line 250000 line 250000 line 250000 line 250000 
line 250001 line 250001 line 250001 line 250001 line 250001 line 250001 line 250001 line 250001 line 250001 line 250001 
line 499998 line 499998 line 499998 line 499998 line 499998 line 499998 line 499998 line 499998 line 499998 line 499998 
line 499999 line 499999 line 499999 line 499999 line 499999 line 499999 line 499999 line 499999 line 499999 line 499999 
---- part3
header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 
header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 
header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 
header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 
header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 
line 500000 line 500000 line 500000 line 500000 line 500000 line 500000 line 500000 line 500000 line 500000 line 500000 
line 500001 line 500001 line 500001 line 500001 line 500001 line 500001 line 500001 line 500001 line 500001 line 500001 
line 749998 line 749998 line 749998 line 749998 line 749998 line 749998 line 749998 line 749998 line 749998 line 749998 
line 749999 line 749999 line 749999 line 749999 line 749999 line 749999 line 749999 line 749999 line 749999 line 749999 
---- part4
header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 
header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 
header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 
header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 
header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 
line 750000 line 750000 line 750000 line 750000 line 750000 line 750000 line 750000 line 750000 line 750000 line 750000 
line 750001 line 750001 line 750001 line 750001 line 750001 line 750001 line 750001 line 750001 line 750001 line 750001 
line 999998 line 999998 line 999998 line 999998 line 999998 line 999998 line 999998 line 999998 line 999998 line 999998 
line 999999 line 999999 line 999999 line 999999 line 999999 line 999999 line 999999 line 999999 line 999999 line 999999 
---- part5
header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 header 0 
header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 header 1 
header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 header 2 
header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 header 3 
header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 header 4 
line 1000000 line 1000000 line 1000000 line 1000000 line 1000000 line 1000000 line 1000000 line 1000000 line 1000000 line 1000000 
line 1000001 line 1000001 line 1000001 line 1000001 line 1000001 line 1000001 line 1000001 line 1000001 line 1000001 line 1000001 
line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 line 1234565 
line 1234566 line 1234566 line 1234566 line 1234566 line 1234566 line 1234566 line 1234566 line 1234566 line 1234566 line 1234566

Сроки выполнения:

real    0m0.935s
user    0m0.708s
sys     0m0.200s

Надеюсь, что это поможет.

Спасибо, но из-за размера я получаю ошибку памяти. Смотрите обновленный вопрос. Можем ли мы изменить строку «rest =» так, чтобы она представляла собой строки [1: 1000000] при выполнении 1, затем строки [10000001: 2000000] и т. Д.?
Смотрите редакцию для версии, которая работает построчно, чтобы избежать проблем с памятью для больших файлов. Для разбиения файла размером в 1 000 000 строк на 250 000 строк требуется менее секунды, поэтому он должен работать достаточно хорошо для вашего случая.
Спасибо, это работает нормально, но когда я пытаюсь обработать его в ArcGIS, я получаю сообщение об ошибке. Я знаю, что это как-то связано с «чанкингом», так как процесс копирования работает нормально для всего файла до чанка. Я нуждался в чанке, поскольку другие процессы не работали из-за размера. Смотрите обновление на вопрос.
Извините, не знаком с Arcgis. Возможно ли, что линии связаны? Например, если вы попытаетесь скопировать заголовок и 10 случайных строк из вашего файла, это будет работать в целом? Если нет, то порча не удастся.