8+5х=х^2-16
8+16=х^2 -5х
24=х^2-5х
х^2-5х-24=0
а дальше по виете или через D
(y^2-2y)^2-y^2 (y+3)(y-3)+2y(2y^2+5) = y^4-4y^3+4y^2-y^2(y^2-9)+4y^3+10y = y^4-4y^3+4y^2-y^4+9y^2+4y^3+10y = 13y^2.
Использовались формулы сокращённого умножения:
(а+b)(a-b)=a^2-b^2 и (a-b)^2=a^2-2ab+b^2