среда, 14 октября 2009 г.

5 основных причин, обязывающих использовать файл robots.txt

Автор: Алан Вебб
Перевод: Всеволод Козлов
В связи с тем, что поток вопросов, касающихся файла robots.txt, не убавляется, мной было принято решение посвятить этому вопросу краткую статью, чтобы попытаться развеять туман, нависший перед глазами вопрошающих. Одной из самых главных задач, которые ставятся перед файлом robots.txt, является указание поисковому роботу на то, какие файлы и директории он может индексировать, а какие не может.
Большинство веб-сайтов не содержит файла robots.txt вовсе. На ранжирование сайта файл robots.txt никак не влияет.
Ниже приведён список из 5 основных причин, обязывающих использовать файл robots.txt:

  1. Запрет на посещение и индексирование сайта целиком какими-либо определёнными или же абсолютно всеми поисковыми роботами.
  2. Далеко не все роботы, посещающие Ваш веб-сайт, являются «гонцами» поисковых машин! Существует множество роботов, единственная цель которых состоит в том, чтобы просканировать Ваш веб-сайт на наличие e-mail адресов. Если таковые выявляются, то они извлекаются и добавляются в базу данных этого робота, а затем используются в целях рассылки СПАМ’a!
  3. Вы не успеваете закончить Ваш веб-сайт, и на нём «красуются» надписи «under construction, в разработке» и т.д. Я, например, закрываю доступ поисковых роботов к моему сайту на время его реконструкции. Я не хочу, чтобы незаконченный, неоптимизированный, с недоведённой до ума структурой ссылок сайт был проиндексирован. Я «приглашаю» поисковых роботов на свой сайт только тогда, когда он полностью готов. Этот совет следует взять на карандаш не только тем, кто создаёт сайт с нуля, но и тем, кто его уже имеет и собирается провести его реконструкцию.
  4. Если у Вас есть на сайте VIP-раздел, вход в который только для определённого круга людей, то обязательно следует воспользоваться данным файлом robots.txt с целью запретить поисковым роботам индексировать закрытые разделы сайта.
  5. Есть определенные участки или элементы сайта, которые Вы хотите скрыть от поисковых роботов. Если Вы взглянете на файл robots.txt моего сайта abakus (http://www.abakus-internet-marketing.de/robots.txt), то Вы заметите, что я использую данный файл для ограничения доступа поисковых роботов к некоторым разделам и файлам, содержащимся на моём сайте, исходя из условий моей политики приватности. Некоторые веб-мастера также запрещают индексировать директории cqi-bin и images.
Итак, давайте посмотрим и без того на простой синтаксис файла robots.txt:
User-agent: EmailCollector
Disallow: /
Скопируйте вышенаписанное в блокнот (notepad), сохраните этот текстовый файл как robots.txt, загрузите в корневую директорию на Ваш сервер (robots.txt должен находиться на одном уровне с домашней страницей Вашего сайта). Тем самым, Вы обезопасите себя от роботов-сборщиков e-mail адресов, что, в свою очередь, приведёт к сокращению числа СПАМ-рассылок, приходящихся на долю Ваших почтовых ящиков!

Ошибка 404. Как удержать посетителя на сайте?

Автор: Тревор Столбер
Перевод: Всеволод Козлов
Избегайте ошибки 404, т.к. она отпугивает посетителей со страшной силой. Сделайте так, чтобы при возникновении этой ошибки, пользователи оставались на Вашем сайте, т.е. оформите страницу ошибки точно так же, как и другие страницы Вашего сайта.
Наличие неработающих или старых ссылок на сайте губительно скажется на Вашей репутации в целом, а также вызовет изначально отрицательное мнение о Вашем ресурсе у Ваших посетителей.
Ошибка 404 означает, что браузер не может найти требуемого файла на сервере. Эта ошибка отображается в браузерах так: «page not found». Сервер определяет эту ошибку, записывает данные о ней в error log, затем возвращает установленную страницу для этой ошибки.
Обычно стандартные страницы ошибок убогие и совсем не напоминают посетителям тот сайт, на котором они что-то ищут, поэтому не стоит удивляться тому, что попавшие на страницу ошибки сразу же покидают её и вряд ли когда ещё вернутся на Ваш сайт.
Краткое содержание статьи:
  1. Какую реакцию вызывает у людей ошибка 404?
  2. Почему Вам непременно нужна собственная страница ошибки 404?
  3. Как должна выглядеть страница ошибки 404?
  4. Что означают коды других ошибок?
  5. Что нужно для установки собственной страницы ошибки 404?
  6. Как задать свою страницу ошибки 404?
  7. В заключении

Какую реакцию вызывает у людей ошибка 404?

Большая часть пользователей Интернета имеют недопустимо низкий уровень знания даже базовых понятий Интернета. Может показаться абсурдным, но мало кто знает, что такое ошибка 404.
Многие знают только то, что это совсем не то, что они искали + необходимость возврата на один шаг назад в их браузере либо закрытие окна браузера с этой страницей. Некоторые посетители догадываются после увиденного сообщения об ошибке зайти на главную страницу сайта, но опять же это не то, что им нужно.
Итак, факт налицо, когда посетитель видит ошибку 404 и не знает, что она собой представляет на самом деле, он думает, что сайт больше не существует и надо искать другие ресурсы, а об этом стоит забыть навсегда.

Почему Вам непременно нужна собственная страница ошибки 404?

Если Вы считаете, что это к Вам не относится, то представьте себе следующее: допустим, что через 2 года, когда Вы добавите несколько новых разделов и измените некоторые названия других разделов и т.д., Ваш сайт сразу же видоизменится.
По окончании проверки обновлённого сайта Вы могли банально проглядеть некоторые ошибки, например, «битые» ссылки и т.д. Даже если Ваш сайт не содержит ни одной ошибки, но кто-то ссылается на уже несуществующие файлы, которые когда-либо были доступны, но после реконструкции Вы их удалили либо переименовали, посетитель, перешедший по «битой» ссылке, запомнит адрес Вашего сайта и на него уже не вернётся, т.к. он неправильно трактует себе ошибку 404.
Но ведь всё могло было быть совсем по-другому, если бы Вы удосужились создать собственную страницу ошибки.
Собственная страница ошибки 404, поможет удержать посетителей на Вашем сайте. Эта страница должна чётко и ясно рассказать посетителю, где он находится сейчас, как он тут оказался и куда он может пойти, чтобы найти необходимую информацию.

Как должна выглядеть страница ошибки 404?

Вы должны сделать визуальное оформление страницы с сообщением об этой ошибке идентичным с оформлением других страниц Вашего сайта (у посетителя должно создаться впечатление, что он находится на обычной странице Вашего сайта), чтобы пользователь не увидел сгенерированного сервером привычного ему сообщения об ошибке, а соответственно, чтобы у него не возникло плохого мнения о Вас и Вашем сайте. В этом случае вероятность того, что пользователь нажмёт на кнопку «Назад» в своём браузере, практически равна нулю!
Ещё один небольшой нюанс – Вы всегда должны давать полные и явные названия файлам, картинкам и т.д.

Что означают коды других ошибок?

Первая цифра Статус-кода предназначена для определения класса ответа. Существует 5 значений для первой цифры:
  1. 1xx. Информационный - не используется, но зарезервирован для использования в будущем.
  2. 2xх. Успех - запрос был полностью получен, понят, и принят к обработке.
  3. 3xx. Перенаправление - клиенту следует предпринять дальнейшие действия для успешного выполнения запроса.
  4. 4xx. Ошибка клиента - запрос, содержащий неправильные синтаксические конструкции, не может быть успешно выполнен. Класс 4xx предназначен для описания тех случаев, когда ошибка была допущена со стороны клиента.
  5. 5xx. Ошибка сервера - сервер не смог дать ответ на корректно поставленный запрос.
Если Вы имеете доступ к Вашим серверным логам или хорошему пакету статистики, то Вы сможете увидеть, как часто сервером возвращается ошибка 404.
На одном обслуживаемом мной сайте пакет статистики показал, что в течение прошлой недели 1.3 % всех запросов - 404 ошибка. На первый взгляд это совсем мало, но если принять в расчёт, что 1.3 % равнозначно 38 запросам, Вы можете понять, сколько посетителей Вы теряете.

Что нужно для установки собственной страницы ошибки 404?

Сможете Вы установить собственную страницу ошибки 404 или нет, зависит от настроек Вашего хостинг-провайдера. Одни хостинг-провайдеры держат доступ к администраторской части клиента открытым, а другие наоборот - закрытым.
Если у Вас доступ открыт, то заменить стандартную страницу ошибки 404 на свою собственную не составит труда. Для этого зайдите в свою администраторскую панель, выберете соответствующий пункт меню и выполняйте все инструкции, которые будут написаны.
Если же у Вас доступ закрыт, позвоните или напишите письмо с разъяснением ситуации в службу поддержки своего хостинг-провайдера и решите с ними этот вопрос.

Как задать свою страницу ошибки 404?

Страницей ошибки 404 управляет файл с названием .htaccess.
Процесс задания собственной страницы ошибки 404 состоит из 7 шагов:
  1. Откройте Ваш любимый текстовый редактор (я рекомендую блокнот, notepad).
  2. Вставьте туда следующий код:

    ErrorDocument 404
    /filename.html

  3. Сохраните этот файл с именем .htaccess.
  4. Загрузите этот файл в корневую директорию сайта.
  5. Создайте и загрузите страницу ошибки 404 (документ filename.html)
  6. Для проверки введите в строке браузера, к примеру, эту строку www.YourDomainName.ru/does-not-exist.html
  7. Наслаждайтесь результатом своей работы!
Проясним код из шага 2
Если с умом использовать файл .htaccess, то он является очень мощным инструментом. Он может использоваться для выполнения целого ряда задач, а не только для задания собственных страниц ошибок 404.
В нашем конкретном случае запись в файле .htaccess говорит серверу, что страница ошибки 404 содержится тут /filename.html, а не как установлено по умолчанию.
Если же в файле .htaccess подобной команды нет, либо отсутствует сам файл .htaccess, то сервер будет возвращать установленную по умолчанию страницу ошибки 404.

В заключении

Наличие собственной страницы ошибки 404, возможно, не является решением всех проблем, но, когда Вы поймёте её реальную пользу для Вашего бизнеса, у Вас сразу же отпадут различные вопросы, касаемо необходимости её использования.
Удерживая с помощью собственной страницы ошибки 404 своих потенциальных клиентов, Вы увеличиваете вероятность того, что они купят именно у Вас, а не у Вашего конкурента!
Подведём итог вышесказанному:
  1. Удостоверьтесь, что Вы правильно написали и не забыли точку в начале имени файла: .htaccess.
  2. Сделайте собственную страницу ошибки 404 визуально идентичной любой другой странице сайта, т.е. у посетителя должно создаться впечатление, что он находится на обычной странице сайта, а не на странице ошибки.
  3. Собственная страница ошибки 404 не даст подмочить репутацию как Вам, так и Вашему ресурсу!
Источник: http://www.seochat.com/

Наглядное руководство по htaccess и mod_rewrite для новичков

Автор: Патрик Элтофт
Перевод: Всеволод Козлов
Несмотря на то, что статей и руководств, освещающих .htaccess и mod_rewrite, в Сети, мягко говоря, немало, многие веб-мастера до сих пор испытывают нехватку знаний по этому вопросу. Многим из них просто непонятно то, что говорится в этих мануалах, т.к. там это все сложно для их понимания.
Я хорошенько подумал, как бы решить эту проблему, и решил, что сделаю руководство, состоящее из наглядных примеров решения основных проблем, связанных с .htaccess и mod_rewrite.
Не будем терять времени, приступаем!

Сперва давайте разберемся, что же такое файл .htaccess и mod_rewrite.
.htaccess – файл-конфигуратор Apache-серверов.
Mod_rewrite – модуль, используемый веб-серверами для преобразования URL’ов.
.htaccess представляет собой обычный текстовый документ, расширение которого htaccess. Данный файл обычно находится в корне сайта, однако Вы можете создавать и дополнительные .htaccess-файлы для различных директорий Вашего сайта.

Удаление дублей страниц

Простейший и в то же время чаще всего необходимый трюк – редирект дублей одной и той же страницы на основной ее адрес.
Яркий пример – главная страница любого сайта обычно доступна по 4-ем адресам:
  • http://www.site.ru/
  • http://site.ru/
  • http://www.site.ru/index.html
  • http://site.ru/index.html
Каждый из перечисленных выше вариантов распознается поисковыми системами как самостоятельная страница, отсюда идет дублирование контента одной и той же страницы по нескольким адресам, что не есть хорошо.
Решение этой проблемы предельно простое и выглядит так:
Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^site.ru
RewriteRule (.*) http://www.site.ru/$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ http://www.site.ru/ [R=301,L]

Таким образом, мы получим редирект всех страниц-дублей на http://www.site.ru/

Меняем расширение html на php

Иногда бывает так, что у Вас статичный веб-сайт, а Вам необходимо, чтобы на нем срабатывал какой-нибудь php-скрипт. Для этого Вам необходимо сказать серверу, чтобы он обрабатывал эту страницу как php-файл.
AddHandler application/x-httpd-php .html
Этот прием можно использовать и для других расширений файлов:
AddHandler application/x-httpd-php .xml
AddHandler application/x-httpd-php .asp

Задаем собственные страницы ошибок

301 редирект домена без WWW на домен с WWW или Как сохранить ссылочную популярность сайта с помощью 301 редиректа

Автор: StepForth
Перевод: Всеволод Козлов

Проблема

Поисковые системы считают сайты http://yoursite.ru/ и http://www.yoursite.ru/ абсолютно разными. Отсюда следует, что если часть сайтов будет ссылаться на http://yoursite.ru/, а другая часть на http://www.yoursite.ru/, то ссылочная популярность Вашего сайта делится между разными доменами, что не есть хорошо. С этим надо что-то делать.

Решение проблемы

Используя 301 редирект, который автоматически будет переадресовывать всех, кто заходит по ссылке, начинающейся с http://yoursite.ru/ на http://www.yoursite.ru/, Вы сможете дать поисковым системам понять, что эти 2 домена являются как бы одним.Таким образом, ссылочная популярность больше не будет распределяться между двумя доменами, а будет считаться общей, что позволит улучшить позиции сайта в поисковых системах.

Как активировать 301 редирект

Чтобы 301 редирект заработал, Вам необходимо подготовить сервер. Современные серверы работают либо с ПО Microsoft, либо Apache (Linux, Unix). Чтобы приступить к настройке 301 редиректа, Вам необходимо узнать, какой у Вас сервер (Microsoft или Apache). После того, как Вы это разузнали, приступайте читать дальше, выбрав нужный раздел данного руководства.
Краткое оглавление руководства:

Установка 301 редиректа домена без WWW на домен с WWW на Apache сервере

1. Прежде всего, убедитесь в том, что на Вашем Apache сервере активен модуль ModRewrite. В основном он активен по умолчанию, но убедиться лишний раз не помешает во избежание проблем в дальнейшем. Если же данный модуль неактивен, то просто свяжитесь со службой поддержки своего хостинг-провайдера и объясните им ситуацию. Проблем при активации данного модуля быть не должно.
Если же у Вас есть доступ к файлу httpd.conf, то Вы сможете активировать данный модуль собственноручно. Для этого откройте данный файл для редактирования (не забудьте сперва сделать его резервную копию) и раскомментируйте следующую строку:
LoadModule rewrite_module modules/mod_rewrite.so
После того, как раскомментируете данную строку, сохраните файл и перезагрузите сервер, чтобы продолжить работать дальше.
2. Скачайте на свой компьютер с сервера файл .htaccess
3. Сделайте резервную копию данного файла и сохраните ее, по возможности, в другом месте на компьютере.
4. Откройте оригинальный файл .htaccess для редактирования, например, в блокноте.
5. Теперь добавьте в него следующие строки, но будьте внимательны и не забудьте заменить example.ru на адрес своего сайта
RewriteEngine On
RewriteCond %{HTTP_HOST} ^example.ru
RewriteRule (.*) http://www.example.ru/$1 [R=301,L]

И наоборот, кому надо редирект домена с WWW на домен без WWW:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.example.ru$ [NC]
RewriteRule ^(.*)$ http://example.ru/$1 [R=301,L]

6. Сохраните изменения в файле и загрузите его на сервер.
7. После этого откройте браузер и в адресной строке введите адрес своего сайта без WWW, например http://example.ru/ и зайдите на сайт. Если Вы все сделали правильно, то в адресной строке браузера автоматически произойдет изменение - адрес сайта с введенного Вами сменится на http://www.example.ru/.
8. Но чтобы на 100% быть уверенным в успешности проделанного я Вам советую зайти сюда, ввести адрес сайта без WWW. Данный инструмент покажет Вам, работает ли настроенный Вами 301 редирект или нет. Если Вы все сделали правильно, то должны будете увидеть следующее (особое внимание уделите выделенным жирным участкам кода):
#1 Server Response: http://example.ru
HTTP Status Code: HTTP/1.1 301 Moved Permanently

Date: Wed, 14 Mar 2007 22:49:28 GMT
Server: Apache/1.3.27 (Unix) PHP/4.4.1 FrontPage/5.0.2.2510 mod_ssl/2.8.14 OpenSSL/0.9.6b
Location: http://www.example.ru/
Connection: close
Content-Type: text/html; charset=iso-8859-1
Redirect Target: http://www.example.ru/

#2 Server Response: http://www.example.ru/
HTTP Status Code: HTTP/1.1 200 OK

Date: Wed, 14 Mar 2007 22:49:28 GMT
Server: Apache/1.3.27 (Unix) PHP/4.4.1 FrontPage/5.0.2.2510 mod_ssl/2.8.14 OpenSSL/0.9.6b
Connection: close
Content-Type: text/html

9. Если у Вас в ключевых (выделенных жирным) местах все сошлось, то все работает!
Если же Вы проделали указанные выше шаги и не добились требуемого результата, то воспользуйтесь резервной копией файла .htaccess – проделайте с ней еще раз все указанные выше шаги, но будьте предельно внимательны. Выверяйте каждый шаг.
Если же и сейчас ничего не получилось, то свяжитесь со службой поддержки своего хостинг-провайдера, объясните им ситуацию и пусть они примут соответствующие меры, нацеленные на решение Вашей проблемы.

Установка 301 редиректа домена без WWW на домен с WWW на Microsoft IIS сервере

Microsoft сервера не имеют файла .htaccess, поэтому Вам будет проще связаться со службой поддержки своего хостинг-провайдера и попросить их решить Вашу проблему. Если же служба поддержки некомпетентна в данном вопросе, то ниже приводится пошаговая инструкция, которую Вы можете им предоставить:
1. Используя Internet Services Manager, создайте новый веб-сайт с уникальным IP, используя http://example.ru или, как альтернатива, можно избежать использования уникального IP, используя виртуальный веб-сайт www.example.ru
2. Теперь проверьте заголовки, отдаваемые сервером для каждого из сайтов, используя данный инструмент. Сервер должен отдавать 200 OK для обоих сайтов.
3. Добавьте следующий код на главную страницу сайта http://example.ru:
< %@ Language=VBScript %>
< %
Response.Status="301 Moved Permanently"
Response.AddHeader "Location", http://www.example.ru
%>

ВНИМАТЕЛЬНО! Вносить какие-либо изменения в код нельзя, скопируйте и вставьте его в таком виде, как есть.
4. Чтобы убедиться в работоспособности 301 редиректа, зайдите на сайт http://example.ru. Затем воспользуйтесь данным инструментом для сайта http://example.ru и убедитесь, что в результате проверки есть следующие данные: «HTTP Status Code: HTTP/1.1 301 Moved Permanently». Если Вы такое видите, то у Вас все получилось!

суббота, 10 октября 2009 г.

Управляем пользователями на сайте, или СЕО страниц сайта

Доброго времени суток.
Сегодня я хотел бы рассказать о том, как же можно управлять пользователями на своем сайте. Нет, речь не пойдет о том, как заставить пользователя что-то купить. Все гораздо прозаичней. Речь пойдет о том, как перенаправить пользователя по нужному нам URL-у.

Предположим, что мы только-только начинаем осваивать азы СЕО, и по своей врожденной глупости, или же по ряду других причин сляпали сайт, и забыли про ЧПУ (Человеко Понятный УРЛ). Иными словами ссылки на страницы нашего сайта имеют вид: http://my_site.ru/index.php?option=blahblah.

Согласитесь, это не есть гуд. Гораздо понятней был бы адрес страницы вида: http://my_site.ru/blahblah_category/blahblah.html или что-то вроде того. Лишний ключевик в адресе еще никому не мешал.

Итак, мы понимаем, что очень сильно лопухнулись, и что-то нужно с этим делать. Одно дело, если наш сайт крутится на wordpress или какой-нибудь joomla. Поставили плагин, и забыли. Или просто штатными средствами настроили движек. Даже если где-то в сети есть ссылки на наш сайт вида http://my_site.ru/?p=400 , то даже когда мы поставим кучу плагинов, для того, чтобы сделать человеко-понятные ссылки, пользователь пришедший по вышеозначенной ссылке получит в браузер именно тот пост, который он и искал.

Что же мы будем с этим делать? А делать то тут собственно и нечего. Делов тут на 5 копеек. Нам в руки дан мощнейший инструмент для управления всем нашим ссылочным хозяйством. И называется это инструмент htaccess. Что же это за зверь такой спросите Вы? В ответ я хочу по традиции обратиться к «Марксу»:

.htaccess (от. англ. hypertext access) — файл дополнительной конфигурации веб-сервера Apache, а также подобных ему серверов. Позволяет задавать большое количество дополнительных параметров и разрешений для работы веб-сервера в отдельных каталогах (папках), таких как управляемый доступ к каталогам, переназначение типов файлов и т.д., без изменения главного конфигурационного файла.

Для .htacces файла существует множество директив. Я остановлюсь на одной из них. Это директива redirect. В том случае, если у нас сменилась адресация сайта, и мы хотим не только сообщить об этом поисковым системам, но и перенаправить пришедшего на сайт по устаревшей ссылке пользователя на нужную страницу, то redirect – именно то, что нам нужно.

в корневой папке сайта создаем файл .htaccess, и делаем в нем запись вида:

redirect 301 /old_address/old_page.html http://my_site.ru/new_address/newpage.html

Также хочу заметить, что каждая директива в файле пишется с новой строки. В том случае, если пользователь придет на наш сайт по ссылке, которой уже не существует при новой адресации, то он автоматически будет перенаправлен на нужную нам страницу. В этой записи у директивы redirect 3 параметра. Первый – код, который будет сообщен браузеру пользователя или поисковому роботу, который придет на сайт. При этом 301 означает, что ресурс перемещен навсегда, а 302, что ресурс временно перемещен. Второй параметр – это станый URL, а третий параметр – URL страницы, на которую будет осуществлен redirect.

Естественно, не стоит злоупотреблять количеством записей в htaccess, т.к. это врятли положительно скажется на скорости работы Вашего сайта или блога. Но, при острой необходимости – использовать можно, и даже нужно. Если у Вас не тривиальная задачка, спешу обрадовать – в htaccess можно использовать и регулярные выражения. Прочитать про все директивы файла .htaccess можно на одном из множества сайтов в сети. А рассмотренный выше пример будет полезен тем, кто только начинает заполнять контентом свой сайт, и по доброте душевной просто забыл про ЧПУ.

Зачем я все это пишу?! А вот зачем: Человеко Понятные Ссылки – это ключ к успеху для Вашего сайта. И уж тем более это не будет лишним если Ваш сайт касается СЕО тематики, или же тематика Вашего сайта это заработок в сети. В прочем для других тематических сайтов также будет полезен данный инструмент.