Ограничить загрузку расширениями файлов в jQuery Validation

Вы никогда не объясняли проблему, связанную с вашим кодом:

$("#contact-form").validate({ 
    onfocusout: function(e) {
        this.element(e);
    },
    rules:{
        resume:{
            required:true,
            extension: "docx|rtf|doc|pdf"
        }
    },
    resume:{
        required:"input type is required",                  
        extension:"select valied input file format"
    }
});

Однако вы отправляете сообщения без использования messages. Это ошибка, которая, вероятно, нарушит плагин, или, по крайней мере, ваши пользовательские сообщения об ошибках будут проигнорированы.

Ваш код должен выглядеть так...

$("#contact-form").validate({ 
    onfocusout: function(e) {  // this option is not needed
        this.element(e);       // this is the default behavior
    },
    rules:{
        resume:{
            required:true,
            extension: "docx|rtf|doc|pdf"
        }
    },
    messages: {  // <-- you must declare messages inside of "messages" option
        resume:{
            required:"input type is required",                  
            extension:"select valid input file format"
        }
    }
});

Рабочая DEMO: http://jsfiddle.net/ZqxR2/