Решение задания смотри на фотографии
(x^3)^2 - (x*y^2)^2 =
= (x^3 - xy^2)(x^3 + xy^2)
==========================
Возьми производную, приравняй к нулю. Найди х. Это точки экстремума, то есть точки максимума и минимума. В этих точках, функция принимает минимальные или максимальные значения. Вычисли значения функции в этих точках. Затем проверь значения функции на концах отрезка. Сразу станет понятно максимальное и минимальное. Я бы довёл до числа, но непонятно написано условие, тем более, на каком отрезке? Где границы?