Если не надо доказывать известные формулы вписанных и описанных окружностей и фигур, то:
Площадь вписанного квадрата равна Sкв = 2R² = 8√3. Отсюда квадрат радиуса нашей окружности равен R²=4√3.
Радиус вписанной в правильный треугольник окружности равен R=√3/6*a, где а - сторона этого треугольника. Эта сторона равна соответственно а = 6/√3*R.
Площадь нашего правильного треугольника Sтр = √3/4а². Подставляем сюда значение а.
Имеем √3/4*(6/√3*R)² . Возводим и сокращаем все что можно.
S = √3/4*36/3*4√3 = 36
Что и надо было найти.