Анализ сайта: Проверка Траста

Robots для Друпал: Оптимизация файла robots.txt под поисковые системы в Drupal

Наличие оптимизированного под поисковики файла robots.txt необходимо с точки зрения SEO. Он идеально определяет права и период ожидания для поисковых роботов Google, которые решают, какие конкретно страницы индексировать, а какие нет. Сегодня мы хотим рассказать вам о файле robots.txt, а вы можете получить намного больше знаний об оптимизации файла robots.txt в Drupal, чем вы могли себе представить.

Robots.txt в Drupal(6-7 версии)

Drupal, как и все другие CMS, предоставляет файл robots.txt, он выполняет соответствующие стандартам задачи. Это выглядит примерно так:


Этот файл содержит инструкции для поисковых ботов, исследующих ваш сайт.

  • Инструкция к Robots.txt

Итак, мы окинули взглядом содержание файла, теперь давайте всмотримся в каждую директиву, используемую в файле robots.txt от Drupal. Это немного утомляющее занятие, но именно для этого мы здесь сегодня собрались. Вам действительно стоит знать, что именно вы указываете делать поисковым системам.

Редактируем файла robots.txt для сайта на Друпал

Возможно, во время SEO-кампании, проводимой в рамках вашего сайта, вам потребуется внести несколько изменений файл robots.txt. Этот раздел поэтапно подскажет вам необходимые шаги в процессе редактирования.

  1. Проверьте наличие файла robots.txt, могут ли его видеть поисковые роботы. Откройте браузер и пройдите по следующей ссылке: адрес-вашего-сайта/robots.txt
  2. Используя FTP-клиент или редактор командной строки, перейдите в корневой каталог вашего сайта и найдите файл robots.txt.
  3. Создайте резервную копию файла.
  4. Откройте ваш файл robots.txt для изменений. Если необходимо, сохраните файл на ПК и откройте его в текстовом редакторе.
  5. Большинство директив в файле robots.txt указаны в строке user-agent: . Если вы собираетесь назначить иные инструкции другим движкам, то удостоверьтесь, что они будут расположены выше User-agent:*, как так некоторые поисковые системы прочтут только директивы для *, если вы расположите их особые инструкции после этой секции.
  6. Добавьте необходимые вам строки.
  7. Сохраните ваш файл robots.txt, загрузите его на сервер. Если необходимо, замените существующий файл. Пройдите по ссылке вашсайт/robots.txt и примите изменения, щёлкнув дважды мышкой. Возможно, вам понадобится обновить страницу, чтобы увидеть изменения.
  • Проблемы со стандартным файлом robots.txt в Drupal

Существует несколько проблем, связанных со стандартным файлом robots.txt от Drupal. Если вы используете инструмент вебмастера от Google для проверки robots.txt, чтобы протестировать каждую строку файла, вы обнаружите большое количество путей, которые выглядят, будто они заблокированы, но в то же время они открыты. Причина в том, что Drupal не нуждается в слеше (/) после пути для того, чтобы показать вам содержание. Исходя из того, как парсируются файлы robots.txt, Googlebot пропустит страницу с указанным слешем, но посетит страницу без него.

К примеру, к директории /admin/ доступ запрещён и как вы догадываетесь, тестовая утилита показывает, что страница адрессайта/admin/ закрыта. Но если ввести в браузер адрессайта/admin (без слеша), вы увидите, что доступ к странице открыт. Какая беда! К счастью, это относительно легко исправить.

Правка файла robots.txt в Drupal

Выполните следующие инструкции по порядку, чтобы исправить файл robots.txt в Drupal

  1. Создайте резервную копию файла robots.txt
  2. Откройте ваш файл robots.txt для правки. Если необходимо, сохраните файл на ПК и откройте его в текстовом редакторе.
  3. Найдите разделы Paths (clean URLs) и Paths (no clean URLs). Заметьте, что все варианты имеют место, независимо от того, включены точные URL или нет. Drupal показывает нам другое решение. Они выглядят примерно так:
    # Paths (clean URLs)
    Disallow: /admin/
    Disallow: /comment/reply/
    Disallow: /contact/
    Disallow: /logout/
    Disallow: /node/add/
    Disallow: /search/
    Disallow: /user/register/
    Disallow: /user/password/
    Disallow: /user/login/
    # Paths (no clean URLs)
    Disallow: /?q=admin/
    Disallow: /?q=comment/reply/
    Disallow: /?q=contact/
    Disallow: /?q=logout/
    Disallow: /?q=node/add/
    Disallow: /?q=search/
    Disallow: /?q=user/password/
    Disallow: /?q=user/register/
    Disallow: /?q=user/login/
  4. Продублируйте две секции (просто скопируйте и вставьте их) так, чтобы у вас получилось четыре раздела – два с путями # (точные URL) и два c путями # (без точных URL).
  5. Добавьте ‘исправлено!’ в комментарии к новым разделам так, чтобы они были разделены.
  6. Удалите слеш после каждой запрещённой строки в секциях ‘исправлено!’. Каждая секция должна заканчиваться так :
  7. # Paths (clean URLs)
    Disallow: /admin/
    Disallow: /comment/reply/
    Disallow: /contact/
    Disallow: /logout/
    Disallow: /node/add/
    Disallow: /search/
    Disallow: /user/register/
    Disallow: /user/password/
    Disallow: /user/login/
    # Paths (no clean URLs)
    Disallow: /?q=admin/
    Disallow: /?q=comment/reply/
    Disallow: /?q=contact/
    Disallow: /?q=logout/
    Disallow: /?q=node/add/
    Disallow: /?q=search/
    Disallow: /?q=user/password/
    Disallow: /?q=user/register/
    Disallow: /?q=user/login/
    
    # Paths (clean URLs) – после исправления!
    Disallow: /admin
    Disallow: /comment/reply
    Disallow: /contact
    Disallow: /logout
    Disallow: /node/add
    Disallow: /search
    Disallow: /user/register
    Disallow: /user/password
    Disallow: /user/login
    # Paths (no clean URLs) – fixed!
    Disallow: /?q=admin
    Disallow: /?q=comment/reply
    Disallow: /?q=contact
    Disallow: /?q=logout
    Disallow: /?q=node/add
    Disallow: /?q=search
    Disallow: /?q=user/password
    Disallow: /?q=user/register
    Disallow: /?q=user/login
  8. Сохраните ваш файл robots.txt, загрузите его на сервер. Если необходимо, замените существующий файл (вы сохранили его резервную копию, не так ли?)
  9. Пройдите по ссылке вашсайт/robots.txt и примите изменения,  Возможно, вам понадобится обновить страницу, чтобы увидеть изменения.

1
Фев

Вверх