Закрытие диалога при нажатии «fb like»

Это невозможно сделать из-за той же политики происхождения. Вы можете делать это только с помощью FB API;

FB.api('/me/likes/your_page_id', {limit: 1}, function(response) { 
        if (response.data.length == 1) {
            // User already liked your page, do not open dialog
        } else {
            // $("#dialog").dialog(); User not liked your page           
        }
});

Для обнаружения при нажатии пользователем вы можете использовать;

FB.Event.subscribe('edge.create',
     function(response) {
          // User clicked like button
     }
);

Вы можете создать приложение FB здесь