Установка размера JPanels относительно размера 2D-сетки с графикой

У меня есть сетка, которая помещается в firstPanel и мне хотелось бы, чтобы это соответствовало размеру rightSidePanel размера, а затем вторую панель rightSidePanel которая будет размещена рядом с ней. Однако firstPanel распространяется дальше, чем сетка, что означает, что rightSidePanel дальше от сетки. Который я не хочу. Как я могу изменить размер firstPanel Мне не firstPanel компонентов - как указано менеджерами компоновки - поскольку экран не является значимым.

package com.aqagame.harrykitchener;

import java.awt.BorderLayout;
import java.awt.Color;
import java.awt.Dimension;
import java.awt.Graphics;
import java.awt.Graphics2D;
import java.awt.GridLayout;

import javax.swing.JButton;
import javax.swing.JFrame;
import javax.swing.JPanel;
import javax.swing.SwingUtilities;


public class Game 
{

    private JButton moveC1But, moveC2But, rollDiceButton;

    public Game()
    {

        JFrame window = new JFrame ("Main Game");
        final JPanel firstPanel = new JPanel(new GridLayout(3,1))
        {
            public void paintComponent(Graphics g)
            {   
                Graphics2D g2d = (Graphics2D) g;

                super.paintComponent(g2d);

                int width = getWidth() / 4;
                int height = getHeight() / 11;

                for(int i = 0; i<4; i++)
                {
                    g.drawLine(i * width, 0, i * width, 600);
                }

                for(int i = 0; i < 11; i++)
                {
                    g.drawLine(0, i * height, 455, i * height);
                }

                g.drawOval(170, 515, 50, 50);
                g.drawOval(240, 515, 50, 50);
                g.drawOval(320, 515, 50, 50);
                g.drawOval(390, 515, 50, 50);
            }
        };

        JPanel mainPanel = new JPanel(new BorderLayout());
        mainPanel.add(firstPanel, BorderLayout.CENTER);

        JPanel rightSidePanel = new JPanel(new BorderLayout());
        moveC1But = new JButton("Move Counter 1");
        moveC2But = new JButton("Move Counter 2");
        rollDiceButton = new JButton("Roll Dice");
        rightSidePanel.add(moveC1But, BorderLayout.NORTH);
        rightSidePanel.add(rollDiceButton, BorderLayout.SOUTH);

        mainPanel.add(rightSidePanel, BorderLayout.EAST);

        rightSidePanel.setBackground(Color.cyan);
        firstPanel.setBackground(Color.red);

        window.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
        window.getContentPane().add(mainPanel);
        window.setSize(800, 600);
        window.setLocationRelativeTo(null);
        window.setVisible(true);
        window.setResizable(false);

    }


    public static void main(String args[])
    {
        SwingUtilities.invokeLater(new Runnable()
        {
            @Override
            public void run()
            {
                new Game();
            }
        });

    }

}