Как получить реальные и мнимые части сложной матрицы отдельно в CUDA?

Ваш вопрос и ваш код не имеют для меня большого смысла.

1. Вы выполняете пакетный FFT, но, похоже, вы не предвидели достаточного объема памяти ни для ввода, ни для выходных данных;
2. Выход cufftExecR2C является NX*(NY/2+1) - NX*(NY+2) float NX*(NY/2+1) float2 матрица, которая может быть интерпретирована как NX*(NY+2) - NX*(NY+2) float матрицы. Соответственно, вы не выделяете достаточно места для c (который является только NX*NY float) для последнего cudaMemcpy. Вам понадобится еще одна сложная ячейка памяти для непрерывного компонента вывода;
3. Ваш вопрос, похоже, не связан с командой cufftExecR2C, но является гораздо более общим: как я могу разбить сложную матрицу NX*NY на 2 реальные матрицы NX*NY содержащие соответственно действительную и мнимую части.

Если я правильно интерпретирую ваш вопрос, то решение, предложенное @njuffa at

Копирование данных в структуру данных "cufftComplex"?

может быть хорошей подсказкой для вас.

РЕДАКТИРОВАТЬ

Ниже приводится небольшой пример того, как "собрать" и "разобрать" реальную и мнимую части сложных векторов при копировании их с/на хост на/с устройства. Добавьте свою собственную проверку ошибок CUDA.

#include <stdio.h>

#define N 16

int main() { 

    // Declaring, allocating and initializing a complex host vector
    float2* b = (float2*)malloc(N*sizeof(float2));
    printf("ORIGINAL DATA\n");
    for (int i=0; i<N; i++) {
        b[i].x = (float)i;
        b[i].y = 2.f*(float)i;
        printf("%f %f\n",b[i].x,b[i].y);
    }
    printf("\n\n");

    // Declaring and allocating a complex device vector
    float2 *data; cudaMalloc((void**)&data, sizeof(float2)*N);

    // Copying the complex host vector to device
    cudaMemcpy(data, b, N*sizeof(float2), cudaMemcpyHostToDevice);

    // Declaring and allocating space on the host for the real and imaginary parts of the complex vector
    float* cr = (float*)malloc(N*sizeof(float));       
    float* ci = (float*)malloc(N*sizeof(float));       

    /*******************************************************************/
    /* DISASSEMBLING THE COMPLEX DATA WHEN COPYING FROM DEVICE TO HOST */
    /*******************************************************************/
    float* tmp_d = (float*)data;

    cudaMemcpy2D(cr,        sizeof(float), tmp_d,    2*sizeof(float), sizeof(float), N, cudaMemcpyDeviceToHost);
    cudaMemcpy2D(ci,        sizeof(float), tmp_d+1,  2*sizeof(float), sizeof(float), N, cudaMemcpyDeviceToHost);

    printf("DISASSEMBLED REAL AND IMAGINARY PARTS\n");
    for (int i=0; i<N; i++)
        printf("cr[%i] = %f; ci[%i] = %f\n",i,cr[i],i,ci[i]);
    printf("\n\n");

    /******************************************************************************/
    /* REASSEMBLING THE REAL AND IMAGINARY PARTS WHEN COPYING FROM HOST TO DEVICE */
    /******************************************************************************/
    cudaMemcpy2D(tmp_d,     2*sizeof(float), cr, sizeof(float), sizeof(float), N, cudaMemcpyHostToDevice);
    cudaMemcpy2D(tmp_d + 1, 2*sizeof(float), ci, sizeof(float), sizeof(float), N, cudaMemcpyHostToDevice);

    // Copying the complex device vector to host
    cudaMemcpy(b, data, N*sizeof(float2), cudaMemcpyHostToDevice);
    printf("REASSEMBLED DATA\n");
    for (int i=0; i<N; i++) 
        printf("%f %f\n",b[i].x,b[i].y);
    printf("\n\n");

    getchar();

    return 0;
 }