Как сгруппировать по месяцам, чтобы найти максимальные оценки за этот месяц?

использовать in вместо or, а также использовать month функцию в группе

select max(mark),month(exam_dt)
from student_mark  
where month(exam_dt) in (04,05,06) 
group by month(exam_dt);

Просто измените свой запрос на SELECT и GROUP BY на месяц, т.е.

select max(mark), month(exam_dt)
from student_mark  
where month(exam_dt) = 04 or month(exam_dt) = 05 or month(exam_dt) = 06 
group by month(exam_dt);

Очень редко смотреть на месяцы независимо от лет. На самом деле опасно игнорировать год в реальном мире.

Я бы начал с:

select year(exam_dt) as yyyy, month(exam_dt) as mm, max(mark)
from student_mark  
where month(exam_dt) in (4, 5, 6) 
group by year(exam_dt), month(exam_dt);

Если вас интересует только 2017 год, то ваш запрос должен быть явным:

select month(exam_dt) as mm, max(mark)
from student_mark  
where exam_dte >= '2017-04-01' and exam_dt < '2017-07-01'
group by month(exam_dt);

Обратите внимание, что я изменил предложение where, чтобы сравнить фактические даты. Это еще одна лучшая практика. Использование функций в столбцах может затруднить оптимизатор и сделать запрос медленнее, чем в противном случае.

У вас есть несколько способов, например, вы можете сделать это следующим образом:

select max(mark),exam_month from
    (select mark,month(exam_dt) as exam_month from student_mark)
     where exam_month = 04 or exam_month = 05 or exam_month = 06 group by exam_month;