стационарные точки не входят в промежуток,это точки 5 и -5, поэому наибольшее значение функция будет принимать при подстановки точки о, будет равно 0!
Y^2 - 8y + 16 + y^2 - 3y + 7y - 21 = 2y^2 - 12y - 5
Можно перебрать, можно прикинуть - если на 1 место можно поставить цифры 4 способами, на второе тремя, на второе двумя, на первое одним - 4*3*2*1=24. Или можно формулой комбинаторики - смотрите картинку.