Как раскрутить свой сайт? С чего начать зарабатывать?

Web-zarabotok.info

заработок в интернете, создание и продвижение сайтов (SEO)

Правильный robots.txt для WordPress — скачать или как создать самому?

  • 28 комментариев


  • Правильный robots.txt для WordPress

    Здравствуйте, дорогие читатели блога web-zarabotok.info.

    Наконец-то, я решился написать статью, которую (как мне кажется) я должен был написать еще очень давно. Так как я писал уже про быструю индексацию и другие похожие статьи — просто обязан написать еще про robots.txt. Для блоггеров и не только он делает очень большую пользу — защищает статьи и папки от нежеланной индексации.

    Прочитав статью: «Как ускорить индексацию сайта. Лучшие способы» вы узнаете все о том, как можно улучшить скорость индексации самому. В самом первом способе я помянул именно об этом файле, который играет очень большую роль. Я иногда еще называю его: братом карты xml. Как ни крути — они между собой очень похожи.

    Но не буду отходить от главного.

    Правильный robots.txt для WordPress — скачиваем готовый файл!

    Не буду говорить лишнего: зачем он нам нужен и т. д.? А просто сразу же представлю вашему вниманию готовый файл, который прямо сейчас можно скачать и начать им пользоваться.

    Прежде, обязан сказать, что мой robots.txt подходит только на сайты, которые работают на WordPress. Почему? Блог работает именно на этом CMS-модуле. Если ваш сайт работает на какой-либо другой системе, то уж извините. Он вам не пойдет.

    А вот и html-код моего файла robots.txt:

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
     
    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Host: web-zarabotok.info
    Sitemap: http://web-zarabotok.info/sitemap_index.xml
     
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/
     
    User-agent: YandexImages
    Allow: /wp-content/uploads/

    Лучше этого, вы не найдете. Такой robots рекомендуют все админы wordpress. Будьте уверенны, что этот robots.txt — правильный на все 100%. ;-)

    Скачать файл robots.txt

    Разархивируйте и залейте файл в корень вашего сайта. Он должен быть доступен по адресу:

    http://ваш домен/robots.txt

    Robots.txt — установлен. Теперь скорость индексации улучшится в разы. И, главное — ненужные файлы индексироваться не будут. Что для нас очень важно.

    На этом, можно и заканчивать статью. Но! Не тут-то было.

    Финстрип

    Закачали файл, а сами и не знаем, что мы запретили или разрешили индексироваться. Все подробно расскажу. Смотрим:

    User-agent: *

    Этим кодом мы делаем наш файл доступным всем поисковым роботам. Без разницы: Google это или Яндекс.

    User-agent: Yandex

    Код, который относится только к Yandex роботам. Тем самым все действия разрешены, только этой поисковой машине.

    Disallow:

    С английского перевода, значит: запрещать (не разрешать). Этим самым мы показываем, какие файлы не нужно индексировать.

    Disallow: /cgi-bin

    Блокируем индексацию всех скриптов на сервере (обязательно!).

    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes

    Запрещаем индексацию таких файлов, как: плагины, кэш и установленные шаблоны (темы).

    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    Разрешаем роботу Google — индексировать картинки.

    User-agent: YandexImages
    Allow: /wp-content/uploads/

    Аналогично только здесь — Яндекс.

    Host:

    Здесь, нужно указать адрес вашего сайта. Например: web-zarabotok.info или www.web-zarabotok.info.

    Sitemap:

    Указываем путь к карте сайта в формате xml. Если у вас ее нет, то обязательно создайте. Подробно о картах для сайта, можно узнать здесь.

    Это все, что нужно знать при создании файла robots.txt. Теперь у вас не должно возникнут никаких проблем.

    Если вы все же решились создать робот сами, то предлагаю вам этот сервис. Он вам существенно поможет.

    И, наконец, информация для тех, кто не знает, как залить файл в директорию (хостинг). Смотрим:

    1. Скачиваем программу: FilleZilla.

    2. Устанавливаем.

    3. Запускаем.

    4. Вводим данные для соединения:

    Соединение по FTP

    5. Соединяемся.

    6. Загружаем файл robots.txt:

    Соединение по FTP 2

    Ура! :-P Файл загружен. Проверить на правильность, можно перейдя по ссылке:

    http://ваш домен/robots.txt

    Моя ссылка на файл:

    http://web-zarabotok.info/robots.txt

    Это все, что хотел вам рассказать. Если возникнут вопросы, отпишитесь, пожалуйста, в комментариях. Буду рад помочь.  ;-)

    Спасибо, что дочитали статью до конца. Если понравилась? Подпишитесь на обновления! Не упустите новые и интересные статьи.

    Спасибо за внимание!

    С уважением, админ блога web-zarabotok.info.



    Понравилась статья?, поделись с друзьями


    Пидпишись на новости! и будь в курсе событий на блоге.



    Логотип