Любой спорт, если без фанатизма, а с соблюдением всех мер безопасности, полезен.
Я водила ребенка, мальчика, на гимнастику где-то с 3 до 5 лет. У нас в городе школа Олимпийского резерва по гимнастике.
Будучи маленькими мы занимались вместе с девочками. Дети ходили по брусьям, кувыркались, подтягивались по канату и т.д. - в общем это была скорее общефизическая подготовка. С 5 лет начиналась уже непосредственно гимнастика. Рядом с нами занимались детки постарше. Они плакали и орали, когда делали растяжку - тренер садилась на них сверху, для большего эффекта.
С 5 лет мы занялись другим спортом. У моего ребенка довольно широкая кость, из него вряд ли вышел бы хороший гимнаст, к тому же я была под впечатлением слезами детей постарше.
Кстати, по поводу пользы гимнастики можно прочитать вот здесь.
А по поводу вреда вот здесь.
Так что в гимнастике есть свои плюсы и свои минусы, поэтому надо исходить из ребенка, его желаний, возможностей и здоровья.