Решать, безусловно, вам с мужем и только вам.
При решении нужно учитывать, что ребенку нужно общение со сверстниками, нужно приучаться к режиму и дисциплине, сбалансированное питание, в саду проводят занятия: музыкальные, спортивные, математику, творчество и др. - с учетом возраста ребенка (в развивающих центрах дороже на много и сможете ли вы водить его туда с учетом вашего материального положения и хлопот), а также к ним приходят/или их водят в театр, музей (в нашем саду такое практикуют).
Вы конечно, можете и сами научить и подготовить к школе, но полной программы подготовки к школе вы не можете знать(разве, что вы педагог) и опять же общения со сверстниками вы ему в полной мере не дадите (прогулки на улице с младшими братиком-сестричкой - это не то).
В садиках еще есть логопеды, которые отбирают деток, с которыми нужно заниматься и корректировать речь.
По поводу болезней, в большинстве случаев так и будет, подцепит что-то в саду, а болеть будете всей семьей ( у нас тоже такое постоянно, но в сад мы ходим, младшую даже раньше отдала в сад, чем старшую). Просто старайтесь использовать привинтивные меры предосторожности для себя и малыша, старшему витамины подавать и посоветуйтесь с педиатром.
И наконец, вы сами пишете, что вашему ребенку нравиться ходить в садик. Поднимайте его пораньше и пусть папа отводит его в сад, а вы будете забирать вечером в качестве прогулки.