Проиндексирует обязательно, и абсолютно все страницы, кроме запароленных (например админки и зашифрованных страниц) и не индексируемых (например флешь страниц и некоторых текстовых документов), но если движок самописный, то вы можете не досмотреть и проиндексируются личные данные админки - в случае с известным движком индексирование личной информации из ряда фантастики, хотя были (смс и ммс сообщения мегафона).
Писать файл "Робот" нужно только для особых нужд: для того чтобы не попасть в бан за излишнюю сео-оптимизацию, и для того чтобы в поиске попадал только нужный контент, а не клоны типа архивов рубрик и тп (там где контент идентичен, а его адрес разный - некоторые роботы индексаторы прекращают индексировать целый сайт).
Если вы используете блоговые движки, то лучше не надо заморачиваться если не умеете, так как поисковики обучены правильно индексировать например Вордпрес или ДЛЕ, а так как програмисты не спешат раскрывать верных алгоритмов индексации, в сети полно неправильных описаний создания файлов Роботс, а что бы понять АПИ Яндекса, например, нужно въе...ть стакан водки, заесть перцем и прочитать до конца.
Если у вас совсем новенький сайт, то его индексация может начаться даже через полгода. Для начала индексации нужно многое сделать. Например, сообщить Яндексу о том, что этот сайт существует. Также нужно подтвердить права на него.
По мере поступления статей нужно будет каждый раз писать Яндексу об этих новых статьях. Постепенно вас увидят и сайт начнет индексироваться.
Для начала поясню что речь идет о SEO, а не о SMM, поэтому про Твиттер и социальные закладки забудьте (там редирект).
Купленные ссылки в блогах конечно ускорят индексацию сайта поисковыми роботами яндекса.
Вы должны передать роботу информацию о сайте с помощью "аддурилки" яндекса https://webmaster.yandex.ru/addurl.xml
в этом случае среднее время попадания сайта в индекс от нескольких дней, до двух недель. Но это в том случае, если на сайте есть контент. В поисковую выдачу сайт попадет при следующем апе Яндекс-выдачи.
В поиске в это время могут присутствовать страницы сайта проиндексированные быстрым роботом Яндекса.
Обязательно добавьте свой сайт в Яндекс.Вебмастер, подтвердите права удобным для Вас способом и отслеживайте индексацию.
Не забудьте правильно оформить robots.txt (и sitemap.xml опционально).
На собственном опыте могу абсолютно точно сказать, что индексирует и яндекс и гугл. У меня были тексты созданные мной с довольно популярной темой в данном сегменте. Затем их на нескольких сайтах скопировали один в один и потихоньку меня вытеснили с первой позиции. Я даже на уникальность их регистрировал на яндексе. Не помогло, я не первый.
Я больше склоняюсь к тому чем больше пузомерка сайта, тем больше вероятность, что плагиат окажется выше на этом сайте, чем на авторском.
К сожалению великому, ни один пользователь проекта "Большой вопрос" Вам ответа не даст. И ни один модератор тоже ответа не знает. Предполагаю, что ответ знает только Администратор. Потому что только ему известны истинные причины, почему случился такой провал в сотрудничестве проекта БВ и Яндекса.
Единственный раз мы получили сообщение, что с Яндексом возникли "временные проблемы". Это было шестого февраля 2014-го года. Кто еще не читал, может пройти по данной ссылке.
Возобновит ли Яндекс индексацию наших вопросов? Надежда теплится, но скорее всего, мало вероятно. И это не пессимизм, а трезвая оценка событий. Почему-то до сих пор нет приложений, в которые "уперся" Яндекс.
Хотя еще с 2013-го года высвечивалась эта проблема. Об этом здесь.
Может быть, случится чудо! И появится индексация вопросов в Яндексе, и вернутся заработки, и с удвоенной силой захочется работать на БВ...