Яндекс индексирует только открытую часть интернета — те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, Яндекс не индексирует, даже если они находятся в открытой части интернета. Это соответствует всем общепринятым нормам и правилам взаимодействия в интернете. 

В разделе отправки SMS на сайте МегаФона (www.sendsms.megafon.ru) в момент индексации по какой-то причине отсутствовал файл robots.txt. Насколько нам известно, сейчас администраторы сайта МегаФона уже установили robots.txt и закрыли этот раздел для индексации. В максимально скором времени все страницы этого раздела будут недоступны в результатах поиска Яндекса. 

--

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.