Индексация сайта – это посещение страниц сайта поисковыми роботами и для дальнейшего добавление в поисковую базу данных. Поисковые системы записывают информацию в базу данных о содержимом страниц для дальнейшего ранжирования сайтов. Записывается вся текстовая информация, код страницы, мета-теги, микроразметка. На основе этих данных строится ранжирование страниц сайтов.
При каждом поисковом запросе, поисковая система обращается за данными к своей индексной базе. Именно так и устроены все поисковые системы. Поисковая система не может показать страницу в поисковой выдаче если она не проиндексирована. Для регулярного отслеживания индексации страниц сайта можно использовать Google Search Console.
Для проверки индексации страницы можно использовать следующие запросы в поиске:
- Проверка индексации страниц в Яндексе: url:www.upme.biz | url:upme.biz
- Проверка индексации страниц в Google: site:https://upme.biz
Поисковая система должна отобразить искомую страницу.
Для скрытия страницы от поискового робота, можно использовать robots.txt в котором указать команду Disallow.