У меня есть функция, которая выполняет точку в полигоне. В качестве входных данных требуется два массива 2D numpy (серия точек и многоугольник). Функция возвращает логический вывод (True, если точка лежит внутри многоугольника, в противном случае - False). Код заимствован из этого SO-ответа. Пример ниже:
from numba import jit
from numba.pycc import CC
cc = CC('nbspatial')
import numpy as np
@cc.export('array_tracing2', 'b1[:](f8[:,:], f8[:,:])')
@jit(nopython=True, nogil=True)
def array_tracing2(xy, poly):
D = np.empty(len(xy), dtype=numba.boolean)
n = len(poly)
for i in range(1, len(D) - 1):
inside = False
p2x = 0.0
p2y = 0.0
xints = 0.0
p1x,p1y = poly[0]
x = xy[i][0]
y = xy[i][1]
for i in range(n+1):
p2x,p2y = poly[i % n]
if y > min(p1y,p2y):
if y <= max(p1y,p2y):
if x <= max(p1x,p2x):
if p1y != p2y:
xints = (y-p1y)*(p2x-p1x)/(p2y-p1y)+p1x
if p1x == p2x or x <= xints:
inside = not inside
p1x,p1y = p2x,p2y
D[i] = inside
return D
если name == " main ": cc.compile()
Вышеприведенный код может быть скомпилирован путем запуска python numba_src.py
и протестирован с помощью:
import numpy as np
# regular polygon for testing
lenpoly = 10000
polygon = np.array([[np.sin(x)+0.5,np.cos(x)+0.5] for x in np.linspace(0,2*np.pi,lenpoly)[:-1]])
# random points set of points to test
N = 100000
# making a list instead of a generator to help debug
pp = np.array([np.random.random(N), np.random.random(N)]).reshape(N,2)
import nbspatial
nbspatial.array_tracing2(pp, polygon)
Моя попытка состоит в том, чтобы распараллелить вышеприведенный код, чтобы использовать все доступные процессоры.
Я tryied следуя примеру из numba
официальной документации с использованием @njit
import numba
@njit(parallel=True)
def array_tracing3(xy, poly):
D = np.empty(len(xy), dtype=numba.boolean)
n = len(poly)
for i in range(1, len(D) - 1):
inside = False
p2x = 0.0
p2y = 0.0
xints = 0.0
p1x,p1y = poly[0]
x = xy[i][0]
y = xy[i][1]
for i in range(n+1):
p2x,p2y = poly[i % n]
if y > min(p1y,p2y):
if y <= max(p1y,p2y):
if x <= max(p1x,p2x):
if p1y != p2y:
xints = (y-p1y)*(p2x-p1x)/(p2y-p1y)+p1x
if p1x == p2x or x <= xints:
inside = not inside
p1x,p1y = p2x,p2y
D[i] = inside
return D
код выше завершен для N=1000000
в 55''
против 1' 33''
предварительно скомпилированной серийной версии. Монитор системы показывает только один процессор, работающий на 100%.
Как я могу попытаться использовать все доступные процессоры и вернуть результат в одном массиве booleansd?
Numba parallel=True
разрешает автоматический параллелизм только для определенных функций, а не для всех циклов. Вы должны заменить одно из выражений range()
на numba.prange
чтобы включить многоядерное вычисление.
См. Https://numba.pydata.org/numba-doc/dev/user/parallel.html.
parallel=True
и используя numba.prange
я получил код, использующий все процессоры. Но это работает только в интерактивной некомпилированной версии кода. Я сделал тетрадь, чтобы воспроизвести пример. Любая подсказка, почему предварительно скомпилированная версия не работает параллельно? gist.github.com/47340242f5be2de2c50577bf82c37143
numba.prange
- это просто функция, которая вызывает range
. Это определяется компилятором JIT. Я думаю, прекомпилятор ( pycc
) не распознает его. Я полагаю, что вы могли бы подать запрос на добавление функции, но сейчас кажется, что prange
не может делать что-то особенное при предварительной компиляции (так же, как если вы JIT компилируете с parallel=False
).