Что сайт стал доступен в поисковике – Яндекс или Google должны узнать, что сайт существует. На практике – поисковая система должна проиндексировать сайт – т.е. считать и записать контент. Ваша задача – сообщить и предоставить поисковикам доступ к сайту.

Для индексации на сайт заходят поисковые роботы. Робот считывает информацию, обрабатывает и сообщает Яндекс. Информация записывается на серверы поисковой системы и добавляется в поисковую базу.
Задача владельца сайта (или вебмастера) быстро сообщить поисковой системе, что сайт существует. Для этого разработаны специальные инструменты – Вебмастерские.

Сервис Яндекса, с помощью которого можно добавить сайт в поиск. Отслеживать ошибки на сайте и представление в поиске – называется Яндекс.Вебмастер. Чтобы сообщить Яндексу о существовании сайта – нужно добавить сайт в Вебмастер и подтвердить права на сайт.

Для добавления сайта выполняем следующую последовательность действий:
1) Заходим в Вебмастер;
2) Верхней панели щелкаем – «Добавить сайт»;
3) Вставляем в окошко URL сайта
Сайт добавлен в Вебмастерскую

Яндекс.Вебмастер попросит подтвердить права на сайт. Есть 3 способа подтверждения.

Рассмотрим 2 – подтверждение через HTML-файл и мета-тег:
1) Жмем «Создать HTML-файл». Копируем созданный файл и добавляем в корневую папку сайта (тег – «head»);
2) Копируем мета-тег, который предложит Вебмастерская и добавляем в код главной страницы

Жмем «Проверить права» и после подтверждения, Яндекс добавит сайт в поисковую базу в течение недели. Если на сайте есть ошибки или недочеты, то Вебмастер сообщит о них и предложит, как можно устранить

В следующей статье автор расскажет, как проверить ответ сервера. Зачем нужно сделать и как осуществить на практике.

Бывает, что сайт становится недоступным как для пользователей, так и для поисковых роботов. Причина – сбои на сервере. И если сбой будет длиться долго, то Яндекс и Google удалят сайт из поисковых баз. Важно следить, чтобы сервер исправно давал ответы на поисковые запросы.

Чтобы проверить ответ сервиса, воспользуемся Вебмастером:
1) Заходим в меню «Инструменты»;
2) Выбираем инструмент «Проверка ответа сервера»
3) Заполняем форму – вводим URL сайта или страницы
4) Выбираем поискового робота (по умолчанию – Основной робот Яндекс)
5) Жмем «Проверить»
6) Получаем ответ

В первой строке ответа увидим статус сайта или страницы:
1) Если показывает 200 ОК – значит сайт доступен для робота и отвечает на запросы;
2) Если показывает 301 и т.д. – значит сайт переехал и доступен по новому адресу;
3) Статус 404 – говорит, что сайт или страница удалены
4) Статус 505 – показывает ошибку шлюза, т.е. передачи данных с сервера

Также изучаем строку: «Время ответа сервера». Чем меньше время – тем лучше. На практике – тем быстрее поисковый робот зайдет на сайт.
Также можно узнать IP-адрес сайта или страницы, размер и кодировку (как правило – UTF-8)

В следующей статье автор расскажет, как управлять индексированием сайта

Владелец сайта может влиять, как сайт индексируется поисковой системой. На практике можно закрыть любой раздел или страницу сайта для поискового робота. Как правило, от индексации закрывают конфиденциальную информацию:
1) Личные данные
2) Номера и счета карт банков
3) Личная переписка и т.п.
Кроме указанного, рекомендуется закрыть служебные страницы и дубли-страницы.

Для управления индексацией сайта используют команды, которые прописывают в файл «robots.txt». Robots.txt - текстовый файл, в котором обозначены параметры индексирования сайта для поисковых роботов. Файл расположен в корневом каталоге сайта. Чтобы найти файл – введите в поисковой строке: URLсайта/ robots.txt
Современные конструкторы сайтов и CMS создают файл «robots.txt» и команды для роботов автоматически.

Проверить «robots.txt» на ошибки можно в Вебмастере:
1) Заходим в меню «Инструменты»
2) Выбираем «Анализ robots.txt»
3) Жмем кнопку «Проверить»

Анализ robots.txt найдет ошибки в файле, если есть. Проверит, прописаны и понятны ли требуемые команды поисковому роботу. А также разрешен ли к индексированию сайт или страница

Чтоб узнать, какие разделы сайта индексируются:
1) Заходим в меню «Индексирование»
2) Выбираем «Структура сайта»
3) Вебмастер покажет – сколько и какие страницы сайта индексируются поисковой системой

В следующей статье автор расскажет, как сообщить Яндекс об изменении контента сайта

Контент сайта обновляется. Меняется структура сайта, товары и статьи. Чтобы адекватно отвечать на запросы пользователей – поисковые роботы регулярно совершают переобход сайтов. Обновленные данные попадают в индексацию не сразу, а через неделю после посещения робота.

Поисковый робот самостоятельно решает какие страницы сайта требуется переобойти, а какие нет. Владелец сайта или вебмастер может помочь роботу и направить его на переобход требуемых веб-страниц.

Робот передвигается по сайту с помощью карты сайта – файла «Sitemap». Карта нужна, чтобы робот обошел каждую страницу сайта и не пропустил важные страницы.
Файла «Sitemap» должен удовлетворять требованиям:
1) Размер в несжатом виде – не больше 50 Мб
2) Объем – не больше 50 тыс. страниц
3) Располагается на том же домене, где расположены страницы сайта

Современные конструкторы сайтов и CMS создают файл «Sitemap». Оптимально – использовать для карты сайта формат файла XML. Если карта сайта составлена неправильно – робот не сможет прочитать ее.

Чтобы проверить карту сайта на ошибки воспользуемся Вебмастером. В нем есть инструмент «Анализ файлов Sitemap»
1) Загрузим карту сайта в валидатор:
1.1) скопируем файл «Sitemap». Чтобы найти файл – введите в поисковой строке: URLсайта/ Sitemap.hml
1.2) Вставим ссылку на файл или загрузим к компа
2) Валидатор проверит файл и сообщит об ошибках, если присутствуют

Чтобы отправить карту сайта для индексирования – воспользуемся инструментом «Файлы Sitemap». Инструмент отправит карту сайта на индексирование:
1) Добавим карту в очередь на индексацию
2) Жмем кнопу «Добавить»
3) Когда робот переобойдет файл «Sitemap» - статус «В обработке» изменится и покажет «Готово»
Тереь поисковик узнает о сайте на 100 %, сможет обойтй ваш сайт и передаст данные поисковой системе для индексирования
 
В следующей статье автор расскажет, как проверить адреса (URL) сайта. И узнать присутствует ли сайт в поиске

Чтобы проверить присутствует сайт или отдельные страницы можно воспользоваться 2-мя способами:
1) Ввести в поисковую строку адрес страницы, например: https://сайт.рф/страница-1 и посмотреть, появилась страница в поиске или нет.
2) Воспользоваться Яндекс.Вебмастер

Проверяем присутствие сайта в поиске с помощью Вебмастерской «Яндекс.Вебмастер»:
1) Заходим в меню «Индексирование»
2) Выбираем «Проверить статус URL»
3) В форму вводим адрес сайта или страницы
4) Жмем кнопку «Проверить»

Вебмастер сформирует отчет. Покажет что сайт (веб-страница) проиндексирована и присутствует в поиске. Помним – не каждая проиндексированная страница присутствует в поиске.

Причины следующие:
1) Поисковый робот обошел страницу, но не успел добавить в поисковую базу
2) Яндекс считает страницу недостаточно качественной и исключил из поиска

В отчете обратим внимание на пункты:
1) Статус в поисковой базе – код ответа сервера 200 ОК
2) Версия страницы – дата версии страницы, которая присутствует в поиске
3) Дата загрузку – дата последнего посещения страницы роботом
Если на робот обнаружит на сайте вирус – об этом будет сообщено в отчете

В следующей статье автор расскажет, как удалить веб-страницу из поиска. В каких случаях необходимо сделать. И как осуществить на практике.

Иногда владельцу сайта требуется удалить веб-страницы из поиска. Например, страницы нет на сайте или на странице присутствует конфиденциальная информация, которую не закрыли в файле «robots.txt». Или по другой причине.

Авторы расскажут, как удалить веб-страницу из поиска – не удаляя с сайта

Способ 1 – с помощью файла «robots.txt»:
1) Указать в файле, что страницу запрещено индексировать
2) Зарыть контент веб-страницы мета-тегом: noindex
Когда робот обойдет сайт и считает, что страницу запрещено индексировать – уберет ее из поисковой базы.

Способ 2 – с помощью Яндекс.Вебмастер:
1) Заходим в меню «Инструменты»
2) Выбираем «Удаление страницы из поиска»
3) Жмем кнопку «Удалить»

Робот узнает, что веб-страница изменилась и нужно переобойти ее. Страница отвечает кодом 404 или запрещена к индексированию. Поисковый робот удалит ее из поисковой базы

В следующей статье автор расскажет, как настроить переезд и зеркала сайта. В каких случаях необходимо сделать. И как осуществить на практике

Зеркало – сайт, который по запросу передает роботу одинаковый контент. При верстке сайта автоматически создается зеркало сайта вида: sayt.ruили www.sayt.ru.
Когда верстальщик решит и подключит защищенный протокол передачи данных – появится новое зеркало – https:// sayt.ru
В итоге каждый из сайтов будет признан роботом заркалом. И робот оставит в поиска только один из сайтов, который признает Главным зеркалом.

Чтобы узнать, какой из доменов признан главным зеркалом:
1) Зайдите в Яндекс. Вебмастер
2) Добавьте в аккаунт каждый из доменов
3) Вебмастерская сгруппирует зеркала
4) На первой позиции появится домен, признанный главным зеркалом

Главное зеркало сайта можно изменить. Делайте это только в случае, когда важно какой адрес будет выдавать поисковая система.
Учтите, что при смене Главного зеркала – сайт может потерять позицию в поиске! А также данные статистики о посещаемости, рейтинг и ИКС

Для смены Главного зеркала сайта будет достаточно установить редирект 301 с каждого зеркала на главное. Это можно сделать в настройках сайта или вебмастерской

 В Яндекс. Вебмастер:
1) Заходим в меню «Индексирование»
2) Выбираем – «Переезд сайта»
3) Вводим домен
4) Если нужно, ставим галочке в поле: https или www
5) Жмем «Сохранить»

Через некоторое время Вебмастер изменить Главное зеркало сайта и будет выдавать нужный адрес в поиске

В следующей статье автор расскажет, как оценить качество сайта. Что такое ИКС, как проверить и зачем нужно сделать.

В базу поисковой системы попадает не каждая страница сайта, например, робот принял страницу за дубль или на данный момент еще не проиндексировал ее и т.п.

Чтобы посмотреть качество сайта и узнать, насколько полно сайт проиндексирован – воспользуемся Яндекс.Вебмастер. Вебмастерская покажет, сколько страниц поисковик проиндексировал и какое количество добавил в поиск. Также можно посмотреть ИКС – индекс качества сайта и из чего он состоит.

ИКС можно узнать в меню «Качество сайта» - «Показатели качества».
На странице показан индекс качества сайта. Который можно сравнить с сайтами конкурентов. А также прогресс получения знаков, которые влияют на показатель ИКС

Чтобы получить информацию об индексировании сайта:
1) Заходим в меню «Индексирование» и смотрим:
2) «Страницы в поиске» - покажет, сколько страниц сайта присутствует в поиске на момент просмотра
3) «Загруженные страницы» - число страниц, которые обошел поисковый робот
4) «Исключенные страницы» - страницы сайта, которые робот не добавил в поисковую базу

Запомните: показатели индексирования меняются постоянно. Важно отслеживать их. И контролировать, сколько и какие страницы сайта присутствуют в поиске.

Динамика изменения индексирования сайта показана в подменю «Статистка обхода» в меню «Индексирование»
Там можно отследить динамику изменения индекса сайта. Выявить тенденции и принять меры, чтобы важные страницы оставались в поиске. Как управлять индексированием сайта, авторы рассказали в предыдущих статьях

Авторы познакомили вас с основными принципами индексирования сайта. Рассказали, как добавить сайт в Яндекс, грамотно управлять и настроить видимость сайта в поиске.

Структура сайта – расположение и взаимосвязь элементов веб-сайта. Разработать структуру – значит определить из каких разделов, подразделов и страниц будет состоять сайт. И как будут осуществляться переходы между элементами на сайте.

Грамотная структура сделает сайт удобным для пользователей – легко ориентироваться. И удобным для владельцев – легко добавлять новые элементы.

Структура сайта напрямую влияет – как сайт будет представлен поисковой системой:
1. Как проиндексирован;
2. Как отображен сниппет сайта;
3. Как легко найти роботу и пользователю информацию на сайте

Поэтому, при разработке структуры сайта важно и необходимо учесть:
1. Логику построения структуры
Выделить главные разделы. Подразделы в разделах. Каждая страница или блок отнести к своему разделу. Например: Интернет-магазин посуды – Сковороды в разделе «Сковороды», а тарелки в разделе «Тарелки»

2. Адреса страниц
Адрес можно прописать как на латинице, так и на кириллице. Важно, чтобы адрес был понятным. И по нему легко было определить, в каком разделе сайта находится пользователь. Например: https://Posuda/terelki/tarelka-iz-stekla

3. «Хлебные крошки»
Дополнительное меню на сайте со сложной структурой. Отображается в виде линейки со стрелочками между разделами сайта. Легко вернуться на предыдущие страница, щелкнув по ним.

4. Ссылки
Важно создать ссылки так, чтобы с главной страницы можно было дойти по ссылка до каждой страницы сайта. Яндекс индексирует сайт начиная с главной страницы и по ссылкам просматривает все другие страницы. Т.е. расположите документ или страницу, на которую нет ссылки – поисковый робот может не проиндексировать ее.

Посмотреть разделы сайта, которые проиндексированы (известны поисковому роботу) можно в Яндекс.Вебмастер – зайдите в меню индексирование и щелкните по инструменту «Структура сайта».

В следующей статье автор расскажет, какие элементы должны обязательно присутствовать на сайте. Без них клиент не сможет ориентироваться на сайте и выполнить целевое действие