Почему этот алгоритм заливки вызывает переполнение стека?

Прежде всего, вы должны убедиться, что target!=replacement (может быть сделано один раз перед внутренним вызовом "FloodFill" ). Тогда ваш алгоритм может работать, пока _mapWidth и _mapHeight не являются чрезвычайно большими (это сильно зависит от содержимого вашего массива _mapLayers). Если это проблема, вы должны попробовать нерекурсивный алгоритм. Создайте

class Point
{ 
    public int x, y;
    public Point(int newX, int newY)
    {
         x=newX;
         y=newY;
    }
}

и a

 List<Point> pointList;

Поместите начальную точку в этот список и запустите какой-то цикл до тех пор, пока pointList не будет пустым: возьмите одну точку из списка, обработайте ее, как указано выше, и вместо первоначального рекурсивного вызова выше верните четырех соседей в список.

EDIT: вот полный пример, он не тестировал его:

    void FloodFill2(int layer, int xStart, int yStart, int target, int replacement)
    {
        if(target==replacement)
            return;
        List<Point> pointList = new List<Point>();

        pointList.Add(new Point(xStart,yStart));
        while(pointList.Count>0)
        {
            Point p = pointList[pointList.Count-1];
            pointList.RemoveAt(pointList.Count-1);
            if (p.x < 0) continue;
            if (p.y < 0) continue;
            if (p.x >= _mapWidth) continue;
            if (p.y >= _mapHeight) continue;
            if (_mapLayers[layer, p.x, p.y] != target) continue;
            _mapLayers[layer, p.x, p.y] = replacement;

            pointList.Add(new Point(p.x - 1, p.y));
            pointList.Add(new Point(p.x + 1, p.y));
            pointList.Add(new Point(p.x, p.y - 1));
            pointList.Add(new Point(p.x, p.y + 1));
        }
    }

EDIT2: На самом деле, здесь предлагается оптимизировать процедуру: избегайте вставки в список, если вставка становится бессмысленной, поэтому:

            if(p.x>=0) 
                 pointList.Add(new Point(p.x - 1, p.y));
            if(p.x<_mapWidth-1) 
                 pointList.Add(new Point(p.x + 1, p.y));
            if(p.y>=0) 
                 pointList.Add(new Point(p.x, p.y - 1));
            if(p.y<_mapHeight-1) 
                 pointList.Add(new Point(p.x, p.y + 1));