Возьмём квадрат, одна из диагоналей которого параллельна стороне треугольника.
Обозначим буквой a сторону квадрата
Левый угол А, верхний В, правый С, нижний D
Выразим через координаты левого угла, координаты других углов
xB = xA + 0,5 a sqrt(2)
xC = xA + a sqrt(2)
xD = xA + 0,5 a sqrt(2)
yB = yA + 0,5 a sqrt(2)
yC = yA
yD = yA - 0,5 sqrt(2)
Сама точка А принадлежит прямой
yA = xA sqrt(3) + R
Точка B принадлежит прямой
yB = - xB sqrt(3) +R
Выразим координаты этой точки через координаты точки А:
yA + 0,5 a sqrt(2) = - (xA + 0,5 a sqrt(2)) sqrt(3) + R
yA = - xA sqrt(3)- 0,5 a sqrt(2)(sqrt(3) + 1) + R
поскольку ранее уже было yA = xA sqrt(3) + R, то
xA sqrt(3) + R = - xA sqrt(3)- 0,5 a sqrt(2)(sqrt(3) + 1) + R
2 xA sqrt(3) = -0,5 a sqrt(2)(sqrt(3) + 1)
xA = - 0,25 a sqrt(2)(sqrt(3) + 1)/sqrt(3)
xA^2 = a^2 (4+2sqrt(3))/24 &
yA = xA sqrt(3) + R = - 0,25 a sqrt(2)(sqrt(3) + 3) + R
yA^2 = a^2(12+2sqrt(3))/8 - 0,5 a R sqrt(2)(sqrt(3)+3) + R^2
Точки С и D принадлежат окружности
y^2 + x^2 = R^2
для точки С
yC^2 + xC^2 = R^2
yA^2 = R^2 - (xA + a sqrt(2))^2 =R^2 - xA^2 - 2a xA sqrt(2) - 2a^2
a^2(12+2sqrt(3))/8 - 0,5 a R sqrt(2)(sqrt(3)+3) = - a^2 (4+2sqrt(3))/24 - 2a^2 + a^2(sqrt(3)+ 1)/sqrt(3)
Квадратное уравнение с иррациональными коэффициентами точно все равно не решить. Приблизительное решение при R=1 даёт значение стороны квадрата
a≈1.25477