Решим по действиям. Заранее скажу, что задуманное число равняется 4.
(x-b+1)² +2(b-x-1)(x+b+1)+(x+b+1)²=
=x²-b²+1²+(2b-2x-2)(x+b+1)+(x²+b²+1²)=
=x²-b²+1²+2bx+2b²+2b-2x²-2xb-2x-2x-2b-2+x²+b²+1²=
=2b² -4x