Ускорение кода MATLAB с использованием графических процессоров?

Question

Ускорение кода MATLAB с использованием графических процессоров?

54

AccelerEyes объявила в декабре 2012 года, что она работает с Mathworks по коду GPU и прекратила выпуск своего продукта Jacket для MATLAB:

http://blog.accelereyes.com/blog/2012/12/12/exciting-updates-from-accelereyes/

К сожалению, они больше не продают лицензии Jacket.

Насколько я понимаю, решение ArrayFire на основе массива Jacket GPU было намного быстрее, чем решение gpuArray, предоставленное MATLAB.

Я начал работать с gpuArray, но вижу, что многие функции реализованы плохо. Например, простой

myArray(:) = 0

очень медленный. Я написал несколько пользовательских ядер CUDA, но плохо реализованная стандартная функциональность MATLAB добавляет много накладных расходов, даже если она постоянно работает с gpuArrays. Я исправил некоторые проблемы, заменив код MATLAB на написанный вручную код CUDA, но я не хочу переопределять стандартные функции MATLAB.

Еще одна особенность, которую мне не хватает, - это разреженные матрицы графических процессоров.

Итак, мои вопросы:

Как ускорить неудачно реализованные реализации GPU по умолчанию, предоставляемые MATLAB? В частности, как ускорить работу с разреженной матрицей в MATLAB с помощью GPU?

Stiefel 05 июнь 2013, в 16:10

Источник

24

Конечно, myArray(:) = 0 медленный - он перемещает множество нулей из процессора в графический процессор без причины. Это не означает, что возможности MATLAB GPU реализованы плохо, это означает, что вам нужно знать, как их использовать; вместо этого попробуйте myArray = gpuArray.zeros(size(myArray)) .
Sam Roberts 05 июнь 2013, в 16:48
2

Сэм, <code> myArray (:) = 0 </ code> должен переместить только одно целое число из CPU в GPU - если реализовано оптимально. Использование <code> gpuArray.zeros () </ code> еще медленнее. Сейчас я использую <code> myArray = myArray - myArray </ code>, который работает быстрее, но все еще медленно. Я надеюсь, что функциональность Jacket появится в следующем выпуске MATLAB.
Stiefel 10 июнь 2013, в 07:45
0

Вы пытались написать AccelerEyes или TMW по электронной почте, чтобы получить ответ?
bla 12 июль 2013, в 00:02
1

Да, AccelerEyes говорит, что они не комментируют выпуски продукта MATHWORKS. Также им не разрешается выдавать новые лицензии JACKET. Следующий релиз MATLAB возможно в октябре. Поддержка MATHWORKS даже не знает, о чем я говорю ;-)
Stiefel 12 июль 2013, в 07:32
4

Какой размер массива вы пытаетесь выделить и считаете его медленным? Обратите внимание, что в последних выпусках Parallel Computing Toolbox некоторые операции выполняются асинхронно. Кроме того, « a = a - a; » не обязательно приводит к массиву всех нулей, поэтому я бы избегал этого паттерна (подсказка: что если «a» содержит NaN или Inf ?). (И, скорее, свяжитесь с MathWorks с подробностями вашей проблемы с производительностью).
Edric 29 июль 2013, в 11:40
0

Ссылка на объявление AccelerEyes, похоже, не работает ...
user2212608 02 авг. 2013, в 15:51
0

Я надеюсь, что Паван Яламанчили видел этот вопрос, и как пользователь куртки я был бы благодарен за любой комментарий по этому вопросу. Даже "Я могу комментировать, потому что ..."
bla 02 авг. 2013, в 18:18
0

@Robocop: ссылка все еще работает для меня ...
Stiefel 02 авг. 2013, в 20:21
3

Вот что я смог выбрать из Интернета (часть 1): В 2011 году MathWorks и AccelerEyes подали в суд и противодействовали друг другу по вопросам интеллектуальной собственности. MathWorks заявляет о нарушении патента своего продукта Parallel Computing Toolbox, созданного продуктом AcceleEyes 'Jacket [ scribd.com/doc/59765193/MathWorks-v-AccelerEyes-et-al] .
bla 05 авг. 2013, в 17:07
1

(часть 2): AccelerEyes заявляет о незаконном присвоении коммерческой тайны тем же набором инструментов параллельных вычислений, а также о несправедливых и обманных действиях и практиках, нарушении условий контракта и неосновательном обогащении [ scribd.com/doc/130296250/… . В декабре 2012 года AccelerEyes и MathWorks, по-видимому, урегулировали свои споры вне суда и начали совместную работу, как видно из объявления AccelerEyes о том, что он работает с Mathworks над кодом GPU и прекратил выпуск своего продукта Jacket для MATLAB.
bla 05 авг. 2013, в 17:07
0

(часть 3): Мэтт J ответил на аналогичный вопрос, который я задавал на веб-сайте TMW, вот его ответ: * «Я столкнулся с похожими препятствиями, выясняя, что происходит с партнерством Jacket / MATLAB. Пока что только Accelereyes имеет Ясно и публично заявлял, что слияние программного обеспечения действительно произойдет. Торговые представители MATLAB, похоже, даже не подозревали об этом. Мне немного подозрительно, что только одна сторона признает планы объединения. Итак, у меня есть мои сомнения в том, что слияние программного обеспечения действительно произойдет.
bla 05 авг. 2013, в 17:08
0

(Часть 4): Кроме того, партнерство якобы было способом урегулирования судебных процессов между двумя компаниями, но, опять же, выпуски новостей Accelereyes - единственное свидетельство того, что я могу найти. Насколько нам известно, MathWorks, возможно, выиграл эти судебные процессы и не планирует объединяться с Accelereyes ".
bla 05 авг. 2013, в 17:09
0

Спасибо Натану за отличную информацию. Я кратко прочитал обвинительный документ. Звучит смешно для меня. Патент '118 о "значениях функций в языках программирования, имеющих динамические типы и перегрузки". Также они обвинили Accelereyes в использовании термина «MATLAB» на их веб-сайте (чего трудно избежать, если вы продаете пакет для MATLAB ;-)). Все это не проливает позитивный свет на MATHWORKS.
Stiefel 06 авг. 2013, в 07:30
0

Здесь также есть обсуждение: mathworks.it/matlabcentral/answers/83193
Stiefel 06 авг. 2013, в 07:41
0

Вы задаете два несвязанных вопроса вместе здесь. Обычно это заставляет людей спрашивать, могут ли они ответить только на один из вопросов. Скорее всего, вы получите полезные ответы, если вы отредактируете свое сообщение до одного отвечающего вопроса и создадите новое сообщение с вопросом для любого другого, кого вы хотите задать.
Dan Hulme 07 сен. 2013, в 22:52
0

Я перефразировал вопрос в технический вопрос из двух частей.
Stiefel 10 сен. 2013, в 14:45
0

Учитывая очевидную невозможность улучшения с использованием MATLAB, вы можете попробовать Octave. Это эквивалент с открытым исходным кодом, и вы можете изменить их код самостоятельно. Однако вопрос о том, будет ли выпуск ваших изменений законным, не является вопросом, на который я могу ответить. Это может быть незаконным как хранить модификации для себя (в соответствии с GPL), так и выпускать их (тем самым нарушая патенты). Но вы все равно можете это проверить.
Steven Westbrook 02 окт. 2013, в 18:28
2

Я был на семинаре Matlab вчера и задал этот вопрос Лорен Шуре и некоторым другим людям из TMW. Они отказались от комментариев, и лучшее, что я мог получить, это то, что "что-то есть в процессе" ...
bla 11 окт. 2013, в 18:03
0

Когда в прошлом я использовал GPU с MATLAB, я писал файлы MEX (MATLAB C / C ++), которые брали мои массивы CPU MATLAB, копировали их в GPU, а затем делали все, что я хотел, с помощью CUDA, прежде чем копировать их обратно. Это быстро, но, очевидно, не так хорошо для создания прототипов, потому что вы должны писать на C. Поэтому я перешел на Python, где хорошие пакеты, такие как Theano, облегчают доступ к GPU.
hunse 23 окт. 2013, в 15:54
0

У Python есть свои проблемы. Java очень хорошо работает с CUDA и OpenCL. Если бы только HotSpot автоматически векторизовал, не было бы смысла использовать что-либо еще.
Aleksandr Dubinsky 04 дек. 2013, в 08:57
0

Я разговаривал с другом, который только что установил новейшую версию (2014a) и сказал, что реализация поддержки gpu достигла уровня куртки. Может быть, они наконец получили это?
bla 19 март 2014, в 03:13

Показать ещё 19 комментариев

Теги:

matlab

gpu

gpgpu

jacket

2 ответа

Ещё вопросы

Конечно, myArray(:) = 0 медленный - он перемещает множество нулей из процессора в графический процессор без причины. Это не означает, что возможности MATLAB GPU реализованы плохо, это означает, что вам нужно знать, как их использовать; вместо этого попробуйте myArray = gpuArray.zeros(size(myArray)) .
Сэм, <code> myArray (:) = 0 </ code> должен переместить только одно целое число из CPU в GPU - если реализовано оптимально. Использование <code> gpuArray.zeros () </ code> еще медленнее. Сейчас я использую <code> myArray = myArray - myArray </ code>, который работает быстрее, но все еще медленно. Я надеюсь, что функциональность Jacket появится в следующем выпуске MATLAB.
Вы пытались написать AccelerEyes или TMW по электронной почте, чтобы получить ответ?
Да, AccelerEyes говорит, что они не комментируют выпуски продукта MATHWORKS. Также им не разрешается выдавать новые лицензии JACKET. Следующий релиз MATLAB возможно в октябре. Поддержка MATHWORKS даже не знает, о чем я говорю ;-)
Какой размер массива вы пытаетесь выделить и считаете его медленным? Обратите внимание, что в последних выпусках Parallel Computing Toolbox некоторые операции выполняются асинхронно. Кроме того, « a = a - a; » не обязательно приводит к массиву всех нулей, поэтому я бы избегал этого паттерна (подсказка: что если «a» содержит NaN или Inf ?). (И, скорее, свяжитесь с MathWorks с подробностями вашей проблемы с производительностью).
Ссылка на объявление AccelerEyes, похоже, не работает ...
Я надеюсь, что Паван Яламанчили видел этот вопрос, и как пользователь куртки я был бы благодарен за любой комментарий по этому вопросу. Даже "Я могу комментировать, потому что ..."
@Robocop: ссылка все еще работает для меня ...
Вот что я смог выбрать из Интернета (часть 1): В 2011 году MathWorks и AccelerEyes подали в суд и противодействовали друг другу по вопросам интеллектуальной собственности. MathWorks заявляет о нарушении патента своего продукта Parallel Computing Toolbox, созданного продуктом AcceleEyes 'Jacket [ scribd.com/doc/59765193/MathWorks-v-AccelerEyes-et-al] .
(часть 2): AccelerEyes заявляет о незаконном присвоении коммерческой тайны тем же набором инструментов параллельных вычислений, а также о несправедливых и обманных действиях и практиках, нарушении условий контракта и неосновательном обогащении [ scribd.com/doc/130296250/… . В декабре 2012 года AccelerEyes и MathWorks, по-видимому, урегулировали свои споры вне суда и начали совместную работу, как видно из объявления AccelerEyes о том, что он работает с Mathworks над кодом GPU и прекратил выпуск своего продукта Jacket для MATLAB.
(часть 3): Мэтт J ответил на аналогичный вопрос, который я задавал на веб-сайте TMW, вот его ответ: * «Я столкнулся с похожими препятствиями, выясняя, что происходит с партнерством Jacket / MATLAB. Пока что только Accelereyes имеет Ясно и публично заявлял, что слияние программного обеспечения действительно произойдет. Торговые представители MATLAB, похоже, даже не подозревали об этом. Мне немного подозрительно, что только одна сторона признает планы объединения. Итак, у меня есть мои сомнения в том, что слияние программного обеспечения действительно произойдет.
(Часть 4): Кроме того, партнерство якобы было способом урегулирования судебных процессов между двумя компаниями, но, опять же, выпуски новостей Accelereyes - единственное свидетельство того, что я могу найти. Насколько нам известно, MathWorks, возможно, выиграл эти судебные процессы и не планирует объединяться с Accelereyes ".
Спасибо Натану за отличную информацию. Я кратко прочитал обвинительный документ. Звучит смешно для меня. Патент '118 о "значениях функций в языках программирования, имеющих динамические типы и перегрузки". Также они обвинили Accelereyes в использовании термина «MATLAB» на их веб-сайте (чего трудно избежать, если вы продаете пакет для MATLAB ;-)). Все это не проливает позитивный свет на MATHWORKS.
Здесь также есть обсуждение: mathworks.it/matlabcentral/answers/83193
Вы задаете два несвязанных вопроса вместе здесь. Обычно это заставляет людей спрашивать, могут ли они ответить только на один из вопросов. Скорее всего, вы получите полезные ответы, если вы отредактируете свое сообщение до одного отвечающего вопроса и создадите новое сообщение с вопросом для любого другого, кого вы хотите задать.
Я перефразировал вопрос в технический вопрос из двух частей.
Учитывая очевидную невозможность улучшения с использованием MATLAB, вы можете попробовать Octave. Это эквивалент с открытым исходным кодом, и вы можете изменить их код самостоятельно. Однако вопрос о том, будет ли выпуск ваших изменений законным, не является вопросом, на который я могу ответить. Это может быть незаконным как хранить модификации для себя (в соответствии с GPL), так и выпускать их (тем самым нарушая патенты). Но вы все равно можете это проверить.
Я был на семинаре Matlab вчера и задал этот вопрос Лорен Шуре и некоторым другим людям из TMW. Они отказались от комментариев, и лучшее, что я мог получить, это то, что "что-то есть в процессе" ...
Когда в прошлом я использовал GPU с MATLAB, я писал файлы MEX (MATLAB C / C ++), которые брали мои массивы CPU MATLAB, копировали их в GPU, а затем делали все, что я хотел, с помощью CUDA, прежде чем копировать их обратно. Это быстро, но, очевидно, не так хорошо для создания прототипов, потому что вы должны писать на C. Поэтому я перешел на Python, где хорошие пакеты, такие как Theano, облегчают доступ к GPU.
У Python есть свои проблемы. Java очень хорошо работает с CUDA и OpenCL. Если бы только HotSpot автоматически векторизовал, не было бы смысла использовать что-либо еще.
Я разговаривал с другом, который только что установил новейшую версию (2014a) и сказал, что реализация поддержки gpu достигла уровня куртки. Может быть, они наконец получили это?

Re Captcha · Answer 1 · 2013-11-15T13-41-00.000Z

MATLAB поддерживает графический процессор на базе CUDA. Вы должны получить к нему доступ из "Parallel Computing Toolbox". Надеюсь, эти 2 ссылки также помогут:

Возможности Parallel Computing Toolbox

Основные функции

Параллельные for-loops (parfor) для запуска задач-параллельных алгоритмов на нескольких процессорах

Поддержка графических процессоров NVIDIA с поддержкой CUDA

Полное использование многоядерных процессоров на рабочем столе с помощью рабочих, которые запускаются локально

Поддержка компьютерных кластеров и сетей (с распределенным вычислительным сервером MATLAB)

Интерактивное и пакетное выполнение параллельных приложений

Распределенные массивы и однопроцессорные множественные данные (spmd) для обработки больших данных и параллельных алгоритмов данных

Поддержка графической платформы MATLAB для графических процессоров NVIDIA с поддержкой CUDA

Использование MATLAB для GPU-вычислений позволяет ускорить ваши приложения с помощью графических процессоров легче, чем с помощью C или Fortran. Благодаря знакомому языку MATLAB вы сможете использовать вычислительную технологию CUDA GPU без необходимости изучать тонкости архитектур графического процессора или низкоуровневые вычислительные библиотеки GPU.

Вы можете использовать графические процессоры с MATLAB через Parallel Computing Toolbox, который поддерживает:

графические процессоры NVIDIA с поддержкой CUDA с возможностью вычисления 2.0 или выше. Для релизов 14a и ранее достаточно вычислительной способности 1.3.

Использование графического процессора непосредственно из MATLAB
функции MATLAB с поддержкой GPU, такие как fft, filter и несколько операций с линейной алгеброй

Функции с поддержкой GPU в панелях инструментов: Инструментальная панель обработки изображений, Инструментальная панель системы обмена сообщениями, Инструментарий статистики и машинного обучения, Набор инструментов нейронной сети, Системы фазированных массивов Toolbox и Toolbox Toolbox (Подробнее о поддержке GPU для алгоритмов обработки сигналов).

Интеграция ядра CUDA в приложениях MATLAB, используя только одну строку кода MATLAB

Несколько графических процессоров на рабочих столах и компьютерах с использованием рабочих MATLAB в Parallel Computing Toolbox и MATLAB Distributed Computing Server

Хотя эти ссылки могут дать ответ на вопрос, вам следует избегать ответов, содержащих только ссылки, и суммировать или цитировать статьи, поскольку ссылки со временем имеют тенденцию к затуханию.

dinwal · Answer 2 · 2013-10-31T07-38-00.000Z

Я имел удовольствие посещать разговор Джона, основателя AccelerEyes. Они не получили ускорение, потому что они просто удалили плохо написанный код и заменили его кодом, который сохранял несколько бит здесь и там. Их ускорение в основном заключалось в использовании доступности кеша и выполнении большого количества операций в оперативной памяти (GPU). Matlab полагался на передачу данных между GPU и CPU, если я правильно помню, и, следовательно, ускорение было сумасшедшим.