А что в квадрате в последней скобке?
(x-y)²-2√xy=x²-2xy+y²-2√xy
Первый это квадрат разности,можно через дискриминант найти: (3а-1)^2
Предположу, что под sec(a) имеется ввиду cos⁻¹(a). Но тригонометрическая функция в "минус первой" степени - это не 1/"триг. функ." - это обратная, т.е. арк-функция, в данном случае, вероятно, arccos(a). arccos(a)=0, a=π/2. Тогда у точки M координаты (0; 1)
сosBAC=AH/AB=корень(AB^2-HB^2)/AB=корень75/10=5корень3/10=корень3/2