Для чего нужен google robots.txt

Главная цель продвижения сайта – это попадание его в индекс поисковых систем и обретение им высоких позиций в рейтинге поисковой выдачи. Однако не всегда индексация площадки имеет положительное значение. Бывают ситуации, когда выводить определённые страницы или разделы сайта на всеобщее обозрение категорически не стоит. В таких ситуациях жизненно необходимо скрыть эти разделы от индексации, для чего можно воспользоваться инструментом robots.txt.

Для чего нужен google robots.txt

Для чего нужен google robots.txt?

Что такое robots.txt?

Под названием robots.txt кроется не сложная программа или сервис, а самый незаурядный текстовый файл, в котором прописаны инструкции для одной или нескольких популярных поисковых машин. Самое главное предназначение файла robots.txt — это обеспечение возможности для владельца сайта влиять на процесс индексации своей площадки. Если пустить этот процесс на самотёк, то последствия могут быть самыми плачевными. Рассмотрим ситуацию, когда, к примеру, на скрытой странице хранится конфиденциальная информация о номерах телефонов, адресах, возрасте, паспортных данных и так далее клиентов компании, которые, естественно, не хотят, чтобы их личные данные стали достоянием общественности. Если владелец сайта не скроет такой раздел с помощью google robots.txt, то это может привести к крупному скандалу, который приведёт к тому, что репутация компании будет сильно подорвана. Как следствие, бизнес может попросту обанкротиться, захлебнувшись без клиентов, как рыба на мели. Чтобы не допустить этого, специалисты рекомендуют скрыть разделы с конфиденциальной информацией, воспользовавшись таким инструментом, как google robots.txt. Этот текстовый файл обычно находится в корневой папке сайта, но даже если его там нет, то это всегда можно исправить, создав robots.txt вручную.

Видеокурс "Технические секреты групп Вконтакте" доступен для скачивания!

Не получается сделать меню в группе Вконтакте? Устали платить другим за добавление меню в Вашу группу? Хотели бы научится всем техническим тонкостям и экономить свои деньги? Тогда скачайте курс прямо сейчас!

Как создать robots.txt?

Чтобы иметь возможность влиять на ход и результаты индексации, необходимо освоить азы работы с текстовым файлом google robots.txt. Как уже было отмечено выше, этот файл следует искать в корневой директории площадки или создать с нуля. О том, как это можно сделать, поговорим более подробно. Первым этапом создания файла robots.txt является выбор программы, с помощью которой это можно осуществить. Для того, чтобы создать robots.txt, достаточно воспользоваться обычным текстовых редактором, который позволяет сохранять файлы с расширением .txt. После того, как программа выбрана, необходимо создать файл, назвав его robots.txt. При этом необходимо проконтролировать, чтобы в названии файла не было допущено орфографических ошибок, иначе система не распознает в нём инструмент с инструкциями. Готовый файл необходимо поместить в корневой каталог сайта, но для того, чтобы он заработал, необходимо осуществить его настройку, то есть прописать инструкции для поисковиков. Поисковые роботы не понимают человеческий язык, поэтому для коммуникации с ними использую особые инструменты – так называемые директивы. В частности, чтобы указать поисковику, какие разделы необходимо скрыть от глаз пользователей, следует воспользоваться командой Disallow, для разрешения индексации служит директива Аllow, ну а чтобы поисковики знали, кому адресованы инструкции, служит команда User-agent. Существуют и иные директивы, но эти три являются ключевыми именно в целях управления индексацией.

Удачи!

Видеокурс "Технические секреты групп Вконтакте" доступен для скачивания!

Не получается сделать меню в группе Вконтакте? Устали платить другим за добавление меню в Вашу группу? Хотели бы научится всем техническим тонкостям и экономить свои деньги? Тогда скачайте курс прямо сейчас!

VN:F [1.9.22_1171]
Оценка статьи: 0.0/10 (0 голосов)
Автор: Михаил Веб Дата публикации: 22.12.2012