использовать многопоточность в Numba

1

У меня есть функция, которая выполняет точку в полигоне. В качестве входных данных требуется два массива 2D numpy (серия точек и многоугольник). Функция возвращает логический вывод (True, если точка лежит внутри многоугольника, в противном случае - False). Код заимствован из этого SO-ответа. Пример ниже:

from numba import jit
from numba.pycc import CC
cc = CC('nbspatial')
import numpy as np

@cc.export('array_tracing2', 'b1[:](f8[:,:], f8[:,:])')
@jit(nopython=True, nogil=True)
def array_tracing2(xy, poly):
    D = np.empty(len(xy), dtype=numba.boolean)
    n = len(poly)
    for i in range(1, len(D) - 1):
        inside = False
        p2x = 0.0
        p2y = 0.0
        xints = 0.0
        p1x,p1y = poly[0]
        x = xy[i][0]
        y = xy[i][1]
        for i in range(n+1):
            p2x,p2y = poly[i % n]
            if y > min(p1y,p2y):
                if y <= max(p1y,p2y):
                    if x <= max(p1x,p2x):
                        if p1y != p2y:
                            xints = (y-p1y)*(p2x-p1x)/(p2y-p1y)+p1x
                        if p1x == p2x or x <= xints:
                            inside = not inside
            p1x,p1y = p2x,p2y
        D[i] = inside
    return D

если name == " main ": cc.compile()

Вышеприведенный код может быть скомпилирован путем запуска python numba_src.py и протестирован с помощью:

import numpy as np
# regular polygon for testing
lenpoly = 10000
polygon = np.array([[np.sin(x)+0.5,np.cos(x)+0.5] for x in np.linspace(0,2*np.pi,lenpoly)[:-1]])

# random points set of points to test 
N = 100000
# making a list instead of a generator to help debug
pp = np.array([np.random.random(N), np.random.random(N)]).reshape(N,2)


import nbspatial
nbspatial.array_tracing2(pp, polygon) 

Моя попытка состоит в том, чтобы распараллелить вышеприведенный код, чтобы использовать все доступные процессоры.

Я tryied следуя примеру из numba официальной документации с использованием @njit

import numba

@njit(parallel=True)
def array_tracing3(xy, poly):
    D = np.empty(len(xy), dtype=numba.boolean)
    n = len(poly)
    for i in range(1, len(D) - 1):
        inside = False
        p2x = 0.0
        p2y = 0.0
        xints = 0.0
        p1x,p1y = poly[0]
        x = xy[i][0]
        y = xy[i][1]
        for i in range(n+1):
            p2x,p2y = poly[i % n]
            if y > min(p1y,p2y):
                if y <= max(p1y,p2y):
                    if x <= max(p1x,p2x):
                        if p1y != p2y:
                            xints = (y-p1y)*(p2x-p1x)/(p2y-p1y)+p1x
                        if p1x == p2x or x <= xints:
                            inside = not inside
            p1x,p1y = p2x,p2y
        D[i] = inside
    return D

код выше завершен для N=1000000 в 55'' против 1' 33'' предварительно скомпилированной серийной версии. Монитор системы показывает только один процессор, работающий на 100%.

Как я могу попытаться использовать все доступные процессоры и вернуть результат в одном массиве booleansd?

  • 0
    Пожалуйста, всегда включайте английское описание того, что должен делать код, а не просто большие блоки кода. Мы люди, а не составители.
  • 0
    Спасибо за комментарии, я добавил немного человечности в описание и ссылку на предыдущий вопрос SO. Надеюсь, что теперь лучше.
Показать ещё 2 комментария
Теги:
multithreading
multiprocessing
numba

1 ответ

1
Лучший ответ

Numba parallel=True разрешает автоматический параллелизм только для определенных функций, а не для всех циклов. Вы должны заменить одно из выражений range() на numba.prange чтобы включить многоядерное вычисление.

См. Https://numba.pydata.org/numba-doc/dev/user/parallel.html.

  • 0
    Спасибо! это было это! - добавив parallel=True и используя numba.prange я получил код, использующий все процессоры. Но это работает только в интерактивной некомпилированной версии кода. Я сделал тетрадь, чтобы воспроизвести пример. Любая подсказка, почему предварительно скомпилированная версия не работает параллельно? gist.github.com/47340242f5be2de2c50577bf82c37143
  • 0
    @epifanio: numba.prange - это просто функция, которая вызывает range . Это определяется компилятором JIT. Я думаю, прекомпилятор ( pycc ) не распознает его. Я полагаю, что вы могли бы подать запрос на добавление функции, но сейчас кажется, что prange не может делать что-то особенное при предварительной компиляции (так же, как если вы JIT компилируете с parallel=False ).
Показать ещё 2 комментария

Ещё вопросы

Сообщество Overcoder
Наверх
Меню