Главная цель продвижения сайта – это попадание его в индекс поисковых систем и обретение им высоких позиций в рейтинге поисковой выдачи. Однако не всегда индексация площадки имеет положительное значение. Бывают ситуации, когда выводить определённые страницы или разделы сайта на всеобщее обозрение категорически не стоит. В таких ситуациях жизненно необходимо скрыть эти разделы от индексации, для чего можно воспользоваться инструментом robots.txt.
Для чего нужен google robots.txt?
Что такое robots.txt?
Под названием robots.txt кроется не сложная программа или сервис, а самый незаурядный текстовый файл, в котором прописаны инструкции для одной или нескольких популярных поисковых машин. Самое главное предназначение файла robots.txt — это обеспечение возможности для владельца сайта влиять на процесс индексации своей площадки. Если пустить этот процесс на самотёк, то последствия могут быть самыми плачевными. Рассмотрим ситуацию, когда, к примеру, на скрытой странице хранится конфиденциальная информация о номерах телефонов, адресах, возрасте, паспортных данных и так далее клиентов компании, которые, естественно, не хотят, чтобы их личные данные стали достоянием общественности. Если владелец сайта не скроет такой раздел с помощью google robots.txt, то это может привести к крупному скандалу, который приведёт к тому, что репутация компании будет сильно подорвана. Как следствие, бизнес может попросту обанкротиться, захлебнувшись без клиентов, как рыба на мели. Чтобы не допустить этого, специалисты рекомендуют скрыть разделы с конфиденциальной информацией, воспользовавшись таким инструментом, как google robots.txt. Этот текстовый файл обычно находится в корневой папке сайта, но даже если его там нет, то это всегда можно исправить, создав robots.txt вручную.
Как создать robots.txt?
Чтобы иметь возможность влиять на ход и результаты индексации, необходимо освоить азы работы с текстовым файлом google robots.txt. Как уже было отмечено выше, этот файл следует искать в корневой директории площадки или создать с нуля. О том, как это можно сделать, поговорим более подробно. Первым этапом создания файла robots.txt является выбор программы, с помощью которой это можно осуществить. Для того, чтобы создать robots.txt, достаточно воспользоваться обычным текстовых редактором, который позволяет сохранять файлы с расширением .txt. После того, как программа выбрана, необходимо создать файл, назвав его robots.txt. При этом необходимо проконтролировать, чтобы в названии файла не было допущено орфографических ошибок, иначе система не распознает в нём инструмент с инструкциями. Готовый файл необходимо поместить в корневой каталог сайта, но для того, чтобы он заработал, необходимо осуществить его настройку, то есть прописать инструкции для поисковиков. Поисковые роботы не понимают человеческий язык, поэтому для коммуникации с ними использую особые инструменты – так называемые директивы. В частности, чтобы указать поисковику, какие разделы необходимо скрыть от глаз пользователей, следует воспользоваться командой Disallow, для разрешения индексации служит директива Аllow, ну а чтобы поисковики знали, кому адресованы инструкции, служит команда User-agent. Существуют и иные директивы, но эти три являются ключевыми именно в целях управления индексацией.
Удачи!
Зачем одно и тоже писать два раза, если ранее уже была статья про robots.txt ?
Ну, во-первых, не совсем одно и тоже. Если вы были внимательны, то могли заметить, что прошлая статья говорит о каких-то конкретных действиях, что и как нужно и можно сделать. А данная статья раскрывает вопрос, для чего нужен robots.txt. И во-вторых, данный пост написан не мной, так как является гостевым постом. Поэтому, увы, одного и того же я не писал.
Ну что ж, извиняйте меня за мою невнимателность. Но, раз уж это гостевой пост, я думаю его нужно было оформить подобащим образом, пример: (ссылка удалена)
Возможно, моя невнимательность мне снова мешает, но я так и не нашёл ссылки на автора гостевого поста. Где она?
Это гостевой пост, а не продажный. Гостевой пост не подразумевает обязательной ссылки на автора поста и направлен на взаимовыгодное сотрудничество. В данном случае, автор добавляет в пост свое видео, для продвижения своего канала на YouTube. Вот и все. Надеюсь, теперь, вы удовлетворены моим ответом.