Хотите вызвать исключение, когда встречаете специальные символы UTF-8 в файле XML

Вы должны иметь возможность обернуть XML-вход в java.io.Reader в котором вы указываете фактическое кодирование, а затем обрабатываете это нормально. Java будет использовать кодировку, указанную в XML для InputStream, но когда используется Reader будет использоваться кодировка Reader.

Unmarshaller unmarshaller = jc.createUnmarshaller();
InputStream inputStream = new FileInputStream("input.xml");
Reader reader = new InputStreamReader(inputStream, "UTF-16");
try {
    Address address = (Address) unmarshaller.unmarshal(reader);
} finally  {
    reader.close();
}

да, мой ответ был бы таким же, как упоминает laune...

static boolean readInput() {
    boolean isValid = true;
    StringBuffer buffer = new StringBuffer();
    try {
        FileInputStream fis = new FileInputStream("test.txt");
        InputStreamReader isr = new InputStreamReader(fis);
        Reader in = new BufferedReader(isr);
        int ch;
        while ((ch = in.read()) > -1) {
            buffer.append((char)ch);
            System.out.println("ch="+ch);
            //TODO - check range for each character 
            //according the wikipedia table http://en.wikipedia.org/wiki/UTF-8
            //if it a valid utf-8 character
            //if it not in range, the isValid=false;
            //and you can break here...
        }
        in.close();
        return isValid;
    } 
    catch (IOException e) {
        e.printStackTrace();
        return false;
    }
}

Я просто добавляю фрагмент кода...

Если ваш клиент отправляет вам XML файл с заголовком, где кодировка не соответствует содержимому файла, вы можете также отказаться от попытки сделать что-либо значимое в этом файле. - Действительно ли они отправляют данные, если заголовок не соответствует фактической кодировке? Это не XML, то. И вы должны их больше обвинить ;-)

Просто прочитайте файл как FileInputStream, байт за байтом. Если он содержит отрицательное значение байта, откажитесь его обрабатывать.

Вы можете сохранить настройки кодирования, такие как UTF-8 или ISO 8859-1, потому что все они имеют US-ASCII как правильное подмножество.