Очевидно, что это парабола с ветвями вверх. Для ур-я ax^2+bx+c центр по х лежит в точке -b/2a. В данном случае это 4a/8 = a/2. И вот эта самая a/2 должна лежать в промежутке от 0 до 2. Значит а от 0 до 4 включительно.
Сosa-cosb=-2sin(a-b)/2*sin(a+b)/2
cos3a-cos5a=2sinasin4a
Решение смотри в приложении