Как удалить страницы из индекса яндекс. Как удалить из яндекса всю информацию о себе. Способы убрать страницы из индекса поисковых систем

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Часто при создании и функционировании сайта возникают страницы удаленные или с изменившимися адресами. Проблема в том, что если до удаления поисковик успел их проиндексировать, при запросе система выдаст пользователю всю информацию, содержащуюся на странице. Или страницы служебные становятся достоянием общественности - а ведь на них может быть расположена информация, не предназначенная для чужих глаз. Так как же избежать подобной неприятности, как удалить страницу в Google и других поисковиках и сделать видимое невидимым?

Казусы с устаревшими страницами встречаются в сети сплошь и рядом. Поиск может выдать личную информацию клиентов, все их заказы в подробностях. Ведь сплошь и рядом нас просят заполнить формы с очень личной информацией, которая должна быть скрыта ото всех. Как избежать подобных ошибок мы и расскажем в этой статье.

Причины, по которым поисковики выводят нас на несуществующие страницы

Самая распространенная причина - страница удалена, не существует. И веб-мастер забыл убрать ее из индекса Яндекса (или других ПС) или сайт поддерживает новичок, который просто не знает, как удалить страницу в поисковике. Или вследствие редактирования сайта вручную страница стала недоступна. Этим часто грешат начинающие администраторы веб-сайтов, относясь пренебрежительно к работе своего ресурса.

Продолжим разговор о структуре сайта. Часто системы управления контентом (так называемые CMS) изначально настроены не оптимально. Например, при установке сайта на хостинг широко известного блогового движка WordPress, ресурс не удовлетворяет требованиям оптимизации, так как url состоит из цифровых и буквенных идентификаторов. Веб-мастеру приходится вносить изменения в структуру страниц на ЧПУ, вследствие чего может появиться множество нерабочих адресов, на которые и будет выводить поисковик при запросе.

Поэтому не забывайте отслеживать изменившиеся адреса и используйте редирект 301, который будет направлять запросы со старого адреса на новые. В идеале все настройки сайта должны быть завершены до его открытия. А здесь поможет локальный сервер.
Изначально неправильная настройка работы сервера. При запросе несуществующей страницы должен выдаваться код ошибки 404 или 3xx.

Причины появления в индексе, казалось бы, удаленных страниц

Иногда вам кажется, что все ненужные или лишние страницы закрыты от посторонних глаз, но они тем не менее отлично отслеживаются поисковиками без каких-либо ограничений. Возможно, это при:

  • неправильном написании файла robots.txt;
  • администратор слишком поздно удалил лишние страницы из индекса - поисковики уже успели их проиндексировать;
  • если сторонние сайты или другие страницы этого же сайта ссылаются на страницы с адресами до их изменения веб-мастером.

Итак, казусов может быть великое множество. Рассмотрим варианты решения проблемы.

Как удалить страницу из индекса Яндекса и других поисковиков

  1. robots.txt
    Любимый многими способ удаления страниц из индекса - применение файла robots.txt. Написано множество опусов на тему правильной настройки этого файла. Переписывать их здесь не будем, но этот файл поможет удобно скрыть от поиска целый раздел сайта или отдельный файл.
    Этот способ также требует ожидания - пока робот поисковика прочтет файл и вычеркнет страницу, раздел из поиска. Как уже говорилось ранее, наличие внешних ссылок на закрытые страницы делают их доступными для просмотра, будьте внимательны.
  2. Мета-тег robots
    Этот тэг задается в самом HTML - коде страницы. Метод удобен своей простотой. Рекомендую начинающим веб-мастерам, создающим свой сайт страничку за страничкой. Тэг с легкостью добавляется на все необходимые страницы, содержимое которых необходимо скрыть от посторонних глаз. При этом не засоряется излишними указаниями файл robots.txt, оставаясь простым и понятным. У этого способа удаления из видимости поисковиков есть один недостаток - сложность применения к динамическому сайту. Подобные ресурсы, благодаря шаблонному подключению модулей, могут закрыть все страницы ресурса вместо нескольких выбранных - здесь надо быть внимательным!
  3. X-Robots-Tag
    Метод пока что годится только для зарубежных поисковых систем, таких как Google. Яндекс этот тэг пока что не поддерживает, может быть в будущем что-то изменится. Очень похож на мета-тег robots, основное его отличие его то, что пишем тэг в самих http-заголовках, скрытых в коде страницы. Иногда использование данного способа очень удобно, но не забывайте что страницы закрываются только частично. Поисковик Яндекса будет по прежнему их находить без проблем. Этим приемом частенько пользуются мастера «черного SEO», скрывающие от поисковиков страницы со ссылками.

Как удалить страницу в поисковике Google и Yandex

  1. 404 ошибка. Простейший способ удалить страницы из индекса поисковиков - это фактически удалить ее и применить правило, чтобы по этому адресу сервер выдавал ошибку 404, извещающая нас что запрашиваемая страница не существует. Большинство CMS, не исключение и WordPress, при удалении страницы корректно сообщают роботу что документ отсутствует и необходимо его выкинуть из индекса поисковика.
    Однако код 404 начнет действовать только после посещения ресурса роботом. Все зависит от того, когда страница была проиндексирована, это может иногда занимать довольно значительное время.
    Этот метод не подходит, если страница еще нужна для работы сайта, к примеру, это служебная информация. Рекомендую использовать приведенные ниже способы.
  2. Ручное удаление. Надежный, быстрый и простой способ, а вместе с тем всем доступный - это ручной. Ссылки для веб-мастеров, по которым можно удалить страницы из Яндекса и Google:

    Только здесь есть условие - для работы этого метода нужные страницы должны быть предварительно закрыты от робота любым из уже перечисленных выше способов. Если ресурс большой, то этот метод недостаточно быстр по исполнению. Придется удалять каждую страницу в отдельности. Зато он прост и понятен даже новичкам. Из практики Google затрачивает на обработку запроса несколько часов, Яндекс действует чуть помедленнее, придется ждать обновления. И все же, если сравнивать с предыдущими методами удаления страниц в поисковике - этот самый быстрый.

Правильно составленная структура сайта облегчает его работу, улучшает видимость для поисковых систем и составляет о сайте положительное впечатление у его посетителей. Ведь что может быть важнее для ресурса, чем репутация и доверие к нему.

Все браузеры используют для хранения файлов и информации специально выделенную память кэш. В данном разделе памяти хранятся все введенные ранее поисковые запросы пользователя, это создано для удобства использования, при повторном наборе данного запроса браузер предложит варианты автоматической вставки этой фразы.

Также данные о запросах могут храниться на серверах поисковых систем, для отмены этого следует запретить серверам хранить информацию. Как очистить данные из поисковой строки мы рассмотрим в данной статье.

Инструкция

Google Chrome

Для того, чтобы в данном браузере установить запрет на автоматические внесения информации в строку поиска, а также для очистки информации находящейся в разделе кэш нужно выполнить нижеописанные действия:

Opera


Откройте вкладку с настройками этого веб-обозревателя, для этого нажмите соответствующую иконку на панели инструментов или нажмите комбинацию кнопок на клавиатуре Ctrl+F12. Просмотрите вкладку «Поиск» и уберите флажок возле строки «Включить подсказки для поиска». Сохраните изменения нажатием на кнопку ОК и откройте раздел «Расширенные». Выберите опцию «История» и в группе «Дисковый кэш» выберите пункт «Очистить». Кликните ОК и закройте вкладку настроек.

Mozilla Firefox( с нашего портала)


В рабочем окне обозревателя перейдите в раздел «Настройки» и укажите категорию «Приватность». Выполните команду «Очистить вашу недавнюю историю». В загрузившемся окне нужно указать временной интервал, за который нужно стереть историю и поставить отметки возле строк «Кэш» и «Журнал форм поиска». Выполните команду «Очистить сейчас» и закройте настройки нажав на кнопку ОК.

Как удалить страницу из индекса поисковых систем и вообще зачем это нужно? В этой статье мы рассмотрим все варианты и ответим на часто задаваемые вопросы.

Зачем удалять страницу(ы) из индекса?

Причин удалить страницу или страницы из индекса может быть много. Самыми распространенными являются:

  • Страница является дублем (например, страницы site.ru/cat/stranica.html и site.ru/cat/stranica могут быть дублями). А как известно всем - дубли в индексе это зло, которое вредит сайту в целом.
  • Страница перестала существовать (например, информация больше не актуальна).
Как долго будет удаляться страница из индекса

Скорость удаления от нас не зависит. Максимальный срок где-то 60..90 дней. Средний срок удаления по моему опыту лежит в районе 25..35 дней. Если мы будем указывать в ручную через панель Яндекс Вебмастера или Google Вебмастера, что страницу нужно удалить, то процесс будет быстрее. Здесь самое главное, чтобы поисковый робот зашел на запрещенную страницу сайта, а далее он уже при обновлении индекса исключит ее из выдачи.

Способы удалить страницу из индекса

В рассмотренных ниже вариантах страница будет существовать (будет открываться для пользователей), но в индексе поисковиков мы ее запретим (удалим).

1. Через мета тег

Закрывать страницы от индексации с помощью robots.txt удобно тем, что можно сразу массово указать весь раздел или же запретить к индексации группу однотипных страниц. Однако поисковые системы четко говорят, что для них файл роботс не является обязательным в плане выполнения. Т.е. поисковая система в теории может оставить в индексе документ, который закрыт в роботс. Правда я таких примеров не знаю.

3. Через панель вебмастера поисковых систем

И в Яндексе и Google в панели вебмастера есть такая возможность. Однако если вы удаляете страницу подобным образом, то нужно понимать, что страница предварительно должна быть закрыта одним из выше описанных способов, иначе ничего не произойдет. Подобным удалением мы лишь намекаем поисковым роботам, что нужно обязательно зайти на эти страницы в ближайшем обходе.

3.1. Панель Яндекс Вебмастер

Адрес страницы - http://webmaster.yandex.ru/delurl.xml . Зайдя на эту страницу нужно просто указать в форме адрес страницы, которую вы хотите удалить из индекса.

3.2. Панель Google Вебмастер

Адрес страницы - https://www.google.com/webmasters/tools/ . Чтобы попасть на нужную форму выберите сайт из списка (если у вас несколько сайтов) и далее выберите вкладку "Индекс Google" -> "Удалить URL-адреса".

В гугле можно прописать сразу каталог URL-адресов (так же как в robots.txt).

4. Заголовки X-Robots-Tag

Этот способ используется только в Google. Запись о запрете должна находиться в http-заголовках:

X-Robots-Tag : noindex, nofollow

5. Через редирект или 404 ошибку

Удалить из индекса страницу можно также с помощью редиректа или возвращать со страницы 404 ошибку . В таком случае поисковые системы также удалять страницы из индекса.

Мы рассмотрели основные способы по удаление страницы из индекса. Как я уже писал выше скорость удаления в каждом случае разная. Но одно можно сказать точно - это не быстро. В любом случае это займет дней 5-7 минимум.

Как временно удалить свои страницы из результатов поиска Google

Этот инструмент позволяет временно блокировать страницы вашего сайта в результатах поиска Google. О том, как удалить из Google Поиска страницы, которые вам не принадлежат, читайте .

Важные примечания

Как временно исключить страницу из результатов поиска Google

  1. URL должен относиться к принадлежащему вам ресурсу в Search Console. Если это не так, вам нужно следовать другим инструкциям .
  2. Перейдите к инструменту удаления URL .
  3. Нажмите Временно скрыть .
  4. Укажите относительный путь к нужному изображению, странице или каталогу. При этом учитывайте следующие требования:
    • Регистр символов в URL имеет значение. URL example.com/Stranitsa и example.com/stranitsa не одинаковы.
    • Путь должен относиться к корневому каталогу вашего ресурса в Search Console.
    • Варианты с префиксами http и https, а также с субдоменом www и без него означают одно и то же. Следовательно, если говорить об example.com/stranitsa , то:
      • https://example.com/stranitsa не отличается;
      • http://example.com/stranitsa не отличается;
      • https://www.example.com/stranitsa не отличается;
      • http://www.example.com/stranitsa не отличается;
      • http://m.example.com/stranitsa отличается . Субдомены m. и amp. (а также все прочие) делают URL неравнозначными.
    • Чтобы скрыть целый сайт , не указывайте путь и на следующем шаге выберите вариант Очистить кеш и временно скрыть все URL, которые начинаются с… .
  5. Нажмите Продолжить .
  6. Выберите нужное действие из перечисленных ниже.
  7. Нажмите Отправить запрос . На его обработку может потребоваться до суток. Мы не гарантируем, что запрос будет выполнен. Проверяйте статус запроса. Если он был отклонен, нажмите Подробнее , чтобы посмотреть дополнительные сведения.
  8. Отправьте дополнительные запросы, указав все URL, по которым может открываться та же страница, а также варианты URL с измененным регистром, если ваш сервер их поддерживает. В частности, на одну и ту же страницу могут указывать следующие URL:
    • example.com/mypage
    • example.com/MyPage
    • example.com/page?1234
  9. Если вы хотите удалить URL из результатов поиска окончательно , ознакомьтесь со следующим разделом.

Удаление навсегда

Инструмент удаления URL позволяет удалять страницы только на время . Если вы хотите удалить контент из результатов поиска Google навсегда, примите дополнительные меры:

  • Удалите или измените контент сайта (изображения, страницы, каталоги) и убедитесь, что сервер возвращает код ошибки 404 (не найдено) или 410 (удалено) . Файлы, формат которых отличен от HTML (например, PDF), должны быть полностью удалены с сервера. Подробнее о кодах статуса HTTP ...
  • Заблокируйте доступ к контенту , например установите пароль.
  • Запретите сканирование страницы с помощью метатега noindex . Этот метод менее надежен, чем остальные.

Отмена удаления URL

Если нужно восстановить страницу в результатах поиска раньше окончания временной блокировки, откройте страницу статуса в инструменте и нажмите Включить повторно рядом с выполненным запросом на удаление URL. Обработка запроса может занять несколько дней.

Использование инструмента не по назначению

Инструмент удаления URL предназначен для срочного блокирования контента, например в тех случаях, если случайно оказались раскрыты конфиденциальные данные. Использование этого инструмента не по назначению приведет к негативным последствиям для вашего сайта.

  • Не используйте инструмент для удаления ненужных элементов , например старых страниц с сообщением об ошибке 404. Если вы изменили структуру своего сайта и некоторые URL в индексе Google устарели, поисковые роботы обнаружат это и повторно просканируют их, а старые страницы постепенно будут исключены из результатов поиска. Нет необходимости запрашивать срочное обновление.
  • Не используйте инструмент для удаления ошибок сканирования из аккаунта Search Console. Эта функция препятствует показу адресов в результатах поиска Google, а не в аккаунте этого сервиса. Вам не нужно вручную удалять URL. Со временем они будут исключены автоматически.
  • Не используйте инструмент удаления URL при полной переделке сайта "с нуля". Если в отношении сайта действуют меры, принятые вручную, или он приобретен у прежнего владельца, рекомендуем подать запрос на повторную проверку . Сообщите при этом, какие изменения вы внесли и с какими проблемами столкнулись.
  • Не используйте инструмент для "отключения" сайта после взлома. Если ваш сайт был взломан и вы хотите удалить из индекса страницы с вредоносным кодом, используйте инструмент блокировки URL для блокировки новых URL, созданных злоумышленником, например http://www.example.com/buy-cheap-cialis-skq3w598.html. Однако мы не рекомендуем блокировать все страницы сайта или те URL, которые нужно будет проиндексировать в будущем. Вместо этого удалите вредоносный код, чтобы роботы Google могли повторно просканировать ваш сайт.
  • Не используйте инструмент удаления URL для индексации правильной "версии" своего сайта. На многих ресурсах один и тот же контент и файлы можно найти по разным URL. Если вы не хотите, чтобы ваш контент дублировался в результатах поиска, прочитайте . Не используйте инструмент удаления URL, чтобы заблокировать нежелательные версии URL. Это не поможет сохранить предпочитаемую версию страницы, а приведет к удалению всех версий URL (с префиксами http или https, а также с субдоменом www и без него).

Эта информация оказалась полезной?

Как можно улучшить эту статью?

Привет, друзья! Надеюсь, что вы отлично отдохнули на майские праздники: наездились на природу, наелись шашлык и нагулялись по расцветающей природе. Теперь же нужно возвращаться к активной работе =) .

Сегодня я покажу результаты одного небольшого эксперимента по удалению всех страниц сайта из поисковых систем Яндекса и Google. Его выводы помогут при выборе одного из методов для запрета индексирования всего ресурса или отдельных его частей.

Передо мной встала задача - закрыть сайт к индексированию без потери его функционала. То есть ресурс должен работать, но удалиться из индекса поисковых систем. Конечно, самый верный способ просто удалить проект с хостинга. Документы будут отдавать 404-ошибку и со временем "уйдут" из базы поисковиков. Но задача у меня была другая.

  • определить, какой метод запрета индексации приоритетней для поисковых систем;
  • понаблюдать в динамике за скоростью ;
  • собственно, удалить проекты из баз ПС.

В эксперименте участвовало 2 сайта (всем больше года). Первый: в индексе Яндекса 3000 страниц, Google - 2090. Второй: Яндекс - 734, Google - 733. Если не удалять ресурс с хостинга, то остаются 2 популярных варианта: тег meta name="robots" и запрет в robots.txt.

Для первого сайта на каждой странице была добавлена строка:

Для второго был составлен следующий robots.txt:

User-agent: *
Disallow: /

Эксперимент стартовал 14 декабря и продолжился до 9 мая. Данные снимались примерно на даты апдейтов Яндекса.

Результаты

Ниже графики динамики количества проиндексированных страниц. Сначала сайт №1 (метод удаления тег meta name="robots").

Как видно, поисковые системы вели себя примерно по одному сценарию. Но есть и различия. В Яндексе ресурс был полностью удален 10 февраля, когда в Google оставалось еще 224 страницы. Что говорить, спустя 5 месяцев там еще остается 2 десятка документов. Гугл очень трепетно относится к проиндексированным страницам и не хочет никак их отпускать .

Сайт №2 (способ запрета файл - robots.txt).

Здесь ситуация разворачивалась интереснее . Яндекс достаточно быстро (меньше чем за месяц) удалил все страницы. Гугл же за месяц выкинул из индекса около 100 документов, потом через месяц еще 200 и практически застыл на месте.

4 апреля мне надоело ждать и я поменял метод запрета с robots.txt на meta name="robots". Это принесло свои плоды - через месяц в базе Google осталось только 160 страниц. Примерно такое же количество остается и по сей день.

Примечателен еще один момент. Несмотря на то, что страницы из индекса удалялись достаточно долго, трафик с поисковиков начал падать значительно быстрее.

Получается, что ПС понимают, что вебмастер запретил ресурс или его документы к индексированию, но почему-то продолжают их там держать .

Выводы

  1. Яндекс любит больше работу с robots.txt;
  2. Google любит больше работу с meta name="robots". В связи с тем, что Гугл крайне не любит robots.txt, то универсальным будет именно способ с тегом. Совмещать методы нельзя, потому как, запретив ресурс в robots.txt, поисковый паук не сможет прочитать правила для meta name="robots".
  3. Зеркало Рунета достаточно быстро удаляет документы при любом методе. Зарубежный поисковик делает это неохотно - очень тяжело добиться полного удаления из базы.

Вот такой получился небольшой эксперимент. Да, конечно, выборка совсем небольшая, но и она смогла подтвердить мои предположения. В прикладном плане это можно использовать, когда есть необходимость закрыть определенные документы для индексирования: предпочтительно использовать meta name="robots" вместо директив в robots.txt.

А какие наблюдения по этой теме есть у вас? Поделитесь своим опытом в комментариях !