Труба NumPy данные в Linux?

Question

Труба NumPy данные в Linux?

1

Можно ли передавать данные numpy (с одного python script) в другой?

предположим, что script1.py выглядит следующим образом:

x = np.zeros(3, dtype={'names':['col1', 'col2'], 'formats':['i4','f4']})

print x

Предположим, что из командной строки linux я запускаю следующее:

python script1.py | script2.py

Будет ли script2.py получать данные о нулевом канале в качестве входных данных (stdin)? будут ли данные по-прежнему находиться в одном формате numpy? (чтобы я мог, например, выполнить numpy операции с ним изнутри script2.py)?

user3262424 11 март 2011, в 04:27

Источник

Теги:

python

ubuntu

numpy

linux

pipe

3 ответа

3

Проверьте функции save и load. Я не думаю, что они будут возражать против передачи прототипа вместо файла.

Wang 11 март 2011, в 00:54

0

См. этот вопрос.

Если вы хотите использовать модуль subprocess, вы можете обмениваться памятью между процессами, чтобы быстро передавать массивы numpy. Если нет, я обнаружил, что сохранение в файл удаляет штаны с трубопровода, возможно, потому, что преобразование массива в строку происходит так медленно.

Andrew 11 март 2011, в 01:23

Ещё вопросы

Ignacio Vazquez-Abrams · Accepted Answer · 2011-03-11T00-34-00.000Z

Нет, данные передаются по каналу в виде текста. Перед записью вам нужно будет сериализовать данные в script1.py и десериализировать его в script2.py после прочтения.

Быстрый и грязный способ сделать сериализацию - использовать функцию python repr . Замените print x на print repr(x) в script1.py, а затем вызовите скрипт script2.py eval для десериализации выходных данных script1.py
Спасибо вам, ребята. У меня есть пустой массив, который нужно записать в двоичный файл, и я просто подумал, что конвейерная обработка сделает весь процесс быстрее (т.е. один процесс вычисляет, один процесс записывает). У вас есть другие идеи, чтобы сделать это быстрее?