Лапласианская пирамида дает странные результаты?

1

Я пытаюсь сделать Лапласову пирамиду на основе этого кода MATLAB:

% I is the image array, where its size is r x c x 3(<-RGB channels).
function pyr = laplacian_pyramid(I,nlev)

r = size(I,1);
c = size(I,2);

% recursively build pyramid
pyr = cell(nlev,1);
filter = [.0625, .25, .375, .25, .0625];
J = I;
for l = 1:nlev - 1
    % apply low pass filter, and downsample
    I = downsample(J,filter);
    odd = 2*size(I) - size(J);  % for each dimension, check if the upsampled version has to be odd
    % in each level, store difference between image and upsampled low pass version
    pyr{l} = J - upsample(I,odd,filter);
    J = I; % continue with low pass image
end
pyr{nlev} = J; % the coarest level contains the residual low pass image

Где downsample() выглядит так:

function R = downsample(I, filter)

border_mode = 'symmetric';

% low pass, convolve with separable filter
R = imfilter(I,filter,border_mode);     %horizontal
R = imfilter(R,filter',border_mode);    %vertical

% decimate
r = size(I,1);
c = size(I,2);
R = R(1:2:r, 1:2:c, :);  

А вот и upsample():

function R = upsample(I,odd,filter)

% increase resolution
I = padarray(I,[1 1 0],'replicate'); % pad the image with a 1-pixel border
r = 2*size(I,1);
c = 2*size(I,2);
k = size(I,3);
R = zeros(r,c,k);
R(1:2:r, 1:2:c, :) = 4*I; % increase size 2 times; the padding is now 2 pixels wide

% interpolate, convolve with separable filter
R = imfilter(R,filter);     %horizontal
R = imfilter(R,filter');    %vertical

% remove the border
R = R(3:r - 2 - odd(1), 3:c - 2 - odd(2), :);

Этот код MATLAB работает правильно. Просто сфокусируйтесь на функции downsample(), потому что моя проблема в этой версии для OpenCV является причиной моей проблемы.


Теперь вот моя попытка OpenCV-версии этого кода MATLAB:

private List<Mat> laplacianPyramid(Mat mat,int depth)
    {
        //mat.type() is CV_8UC3 (16).
        List<Mat> pyramid = new ArrayList<Mat>();
        //I make a clone so I don't ruin the original matrix.
        Mat clone = mat.clone();
        Mat J = clone;
        for(int i=0;i<=depth-2;i++)
        {
            clone = image_reduce(J);
            Mat temp = new Mat();
            Point odd = new Point(clone.size().height*2 - J.height(), clone.size().width*2 - J.width());
            Core.subtract(J, image_expand(clone, odd), temp);
            pyramid.add(temp);
            J = clone;
        }
        pyramid.add(J);
        return pyramid;
    }

Вот моя версия upsample() для upsample():

private Mat image_expand(Mat image, Point odd){
        //I make a clone so I don't ruin the original image.
        Mat imageClone = image.clone();
        copyMakeBorder(imageClone, imageClone, 1, 1, 1, 1, BORDER_REPLICATE);
        Mat kernelX = getGaussianKernel();
        Mat kernelY = new Mat();
        Core.transpose(kernelX, kernelY);
        Mat UIntVer = new Mat(imageClone.size(), CV_8UC3);
        imageClone.convertTo(UIntVer, CV_8UC3);
        Imgproc.resize(UIntVer, UIntVer, new Size(imageClone.width()*2, imageClone.height()*2), 0, 0, Imgproc.INTER_NEAREST);

        //Now implement the zero padding between each columns and rows, just like the MATLAB version.
        Mat mask = new Mat(2,2, CV_8UC1);
        int[][] array = new int[2][2];
        array[0][0] = 255;
        array[1][0] = 0;
        array[0][1] = 0;
        array[1][1] = 0;
        for (int i=0; i<2; i++) {
            for (int j = 0; j < 2; j++) {
                mask.put(i, j, array[i][j]);
            }
        }
        //mask becomes twice the size of image.
        Mat biggerMask = new Mat();
        Core.repeat(mask, imageClone.height(), imageClone.width(), biggerMask);
        List<Mat> rgbUIntVer = new ArrayList<Mat>();
        Core.split(UIntVer,rgbUIntVer);
        Core.bitwise_and(rgbUIntVer.get(0), biggerMask, rgbUIntVer.get(0));
        Core.bitwise_and(rgbUIntVer.get(1), biggerMask, rgbUIntVer.get(1));
        Core.bitwise_and(rgbUIntVer.get(2), biggerMask, rgbUIntVer.get(2));
        Core.merge(rgbUIntVer, UIntVer);

        int r = imageClone.height()*2;
        int c = imageClone.width()*2;
        Mat result = new Mat(r, c, CV_32FC3);
        UIntVer.convertTo(UIntVer, CV_32FC3);
        Scalar four = new Scalar(4);
        Core.multiply(UIntVer, four, UIntVer);
        Imgproc.sepFilter2D(UIntVer,result,-1,kernelX,kernelY,new Point(-1,-1) ,0,BORDER_DEFAULT);
        Rect roi = new Rect(2, 2, c-4-(int)odd.y, r-4-(int)odd.x);
        result = new Mat(result, roi);
        return result;
    }

Проблема с этим кодом версии OpenCV состоит в том, что результат просто голубоватый. Предполагается, что лапласианские пирамиды сохраняют результаты обнаружения краев, но пример результата такой: Изображение выше - исходный ввод, а изображение ниже - нижний этаж полученной пирамиды.

Изображение 174551

Я проверил, что входное изображение прочитано правильно. Что-то не так с моим кодом, но я не могу найти где. Любая помощь будет высоко оценен!

Я подозреваю, что некоторые функции обработки работают только на канале R, а не на канале GB.


Я обнаружил, что неправильно image_expand(). Он просто выводит красное версионное изображение, которое объясняет, почему результирующее изображение является голубоватым, поскольку результирующее изображение - это разница между исходным изображением и выводом image_expand(). Так что проблема в image_expand().


На всякий случай вот мой getGaussianKernel():

private Mat getGaussianKernel(){
        float[] kernel = new float[5];
        kernel[0]= 0.0625f;
        kernel[1]=0.25f;
        kernel[2]=0.375f;
        kernel[3]=0.25f;
        kernel[4]=0.0625f;
        Mat mat = new Mat(5,1,CV_32FC1);
        mat.put(0,0,kernel);
        return mat;
    }
Теги:
opencv
image-processing

1 ответ

0
Лучший ответ

Я нашел проблему. Как сказали мне мистер @Андер Бигури и мистер @Крис Луенго (извините, если я предполагаю ваш пол), проблема была в

UIntVer.convertTo(UIntVer, CV_32FC3);
Scalar four = new Scalar(4);
Core.multiply(UIntVer, four, UIntVer);

в image_expand(). По-видимому, для умножения скалярного значения необходимо выполнить Core.split() для матрицы изображения и применить умножение для каждого канала, а затем Core.merge(). Это потому, что Core.multiply() имеет дело только с 1 каналом одновременно. Я надеюсь, что это поможет другим людям найти проблемы с Core.multiply().

Ещё вопросы

Сообщество Overcoder
Наверх
Меню