Глава 9. Индекс цитирования. Яндекс для всех.

Яндекс для всех.

Глава 9. Индекс цитирования.

Задача пользователя поискового сервера заключается в том, чтобы как можно быстрее найти то, что ему требуется. Поисковый сервер также "желает" как можно лучше и быстрее решить эту задачу. Но при этом перед поисковиком стоит и вторая задача — "вытащить", поднять наверх документы, наиболее релевантные запросу. И как быть в том случае, когда тексты на нескольких страницах одинаковы или очень близки друг другу? Какую из этих страниц показывать вначале, а какие — следом? Что делать в том случае, когда опубликованную на уважаемом сайте статью разместил на своей персональной страничке никому не известный человек? Какая из этих страниц окажется в результатах поиска выше?

9.1. Как ранжировать сайты.

Когда Интернет был еще "маленьким", для ранжирования сайтов (и документов, размещенных на них) в первую очередь использовались текстовые критерии. Основная задача разработчиков сайтов и тех, кто наполнял их контентом, состояла в правильной расстановке в различных частях кода ключевых слов. Способы находили разные — как размещение в коде невидимого для посетителя текста, так и написание текстов по специально разработанным методикам, учитывавшим специально рассчитанные "весовые" значения слов. С ростом Сети в дополнение к текстовым критериям добавлялись и так называемые ссылочные. Вот что об этом говорит в статье "Как работают поисковые системы" Илья Сегалович:

Прежде всего, стало очевидно, что поиск в вебе не может быть сколько-нибудь корректно выполнен, будучи основан на анализе (пусть даже сколь угодно глубоком, семантическом и т. п.) одного лишь текста документа. Ведь внетекстовые (off-page) факторы играют не меньшую, а порой и большую роль, чем текст самой страницы. Положение на сайте, посещаемость, авторитетность источника, частота обновления, цитируемость страницы и ее авторов — все эти факторы невозможно сбрасывать со счета.

Появились эти критерии не на пустом месте. Для научных трудов вопрос значимости был давно решен за счет применения индекса цитирования (ИЦ). Индекс цитирования для научного труда определяется как количество ссылок на этот труд в других изданиях (иногда вместо ссылок на конкретный труд считают упоминания фамилии автора). Этот принцип определения значимости был перенесен и на веб-страницы, для которых ИЦ подсчитывается по количеству ссылок на нее с других веб-ресурсов. Для веб-сайта индекс цитирования определяется по ИЦ его страниц. Главная особенность такого ранжирования заключается в том, что значимость сайта определяется не его владельцем, а тем, как его оценивают другие — чем больше ссылок ведет на сайт, тем ценнее размещенная на нем информация.

Однако индекс цитирования в том виде, как он здесь описан, не дает корректной оценки значимости. Хотя бы потому, что зачастую одна ссылка с известного и уважаемого сайта может значить намного больше, чем сотня ссылок с никому не известных страниц. Поэтому был предложен более сложный вариант индекса цитирования — взвешенный (вИЦ). При его подсчете для каждой ссылки вычисляется вес в зависимости от того, на каком сайте она размещена. Чем авторитетнее сайт, тем выше вес ссылки, на нем размещенной. При подсчете взвешенного индекса цитирования почти все поисковые системы исключают из подсчета ссылки, размещенные на сайтах с бесплатного хостинга, на немодерируемых форумах, ряде иных ресурсов. Также не берутся в расчет внутренние ссылки (переходы со страницы на страницу в рамках одного сайта).

9.2. PageRank.

Наиболее ярким примером такого индекса цитирования служит PageRank. Как описывает теорию индекса Google — "если Страница А ссылается на Страницу В, то Страница А считает, что Страница В — важная страница". Текст ссылки не используется при расчете этого индекса. Зато наоборот, PageRank оказывает влияние на важность ссылок на страницу. Если на страницу указывают многие важные ссылки, то ее ссылки на другие страницы также становятся более важными. Для PageRank важными ссылками считаются ссылки, ведущие на сайт из каталогов DMOZ и Yahoo!.

Базовая формула для расчета значения PageRank чаще всего в соответствующих статьях бывает представлена в следующем виде:

Где:

PR_a — PageRank рассматриваемой страницы;

D — коэффициент затухания (означает вероятность того, что пользователь, зашедший на страницу, перейдет по одной из ссылок, содержащейся на этой странице, а не попадет на следующий документ каким-нибудь другим образом);

N — общее количество документов;

PR_i — PageRank i-й страницы, ссылающейся на рассматриваемую страницу;

C_i — общее число ссылок на i-й странице.

Значение PR находится в пределах от 0 до 10 и представлено целыми числами. Именно это значение можно увидеть в установленной панели инструментов, хотя действительное значение PR совсем иное. Для удобства и упрощения представления индекса цитирования реальные значения были приведены к значениям для пользователей. Точные данные о том, каким образом было выполнено это приведение, отсутствуют, но в качестве примера можно воспользоваться следующими данными (табл. 9.1).

Отсюда можно сделать один вывод — увеличить значение PR от 1 до 2 значительно проще, чем подняться со значения 4 до значения 5. Средние по известности сайты, чаще всего, имеют значение PR, равное 4 или 5. Значение 6 имеют хорошо "раскрученные" сайты. 7 или 8 — у ведущих брендов.

Приведенная здесь формула не говорит о том, что расчеты выполняются строго в соответствии с ней. На самом деле происходит постоянное усложнение алгоритма расчета, примером чему может служить осуществленное в ноябре 2003 года специалистами Google изменение алгоритма вычисления PageRank. Это изменение среди англоговорящих вебмастеров получило название "Florida". Однако Google не сделал никаких официальных заявлений по поводу того, что за изменения были внесены. На этом работа над изменениями не остановилась, в компании постоянно ведутся научные работы по модификации алгоритма PageRank.

О том, как рассчитывается показатель PageRank, написано много. Статьи на эту тему легко найти в Интернете (см., например: Chris Ridings, "Растолкованный PageRank", http://www.searchenginesystems.net). А можно "вживую" попробовать рассчитать значение этого показателя при различных вариантах расстановки ссылок между сайтами с использованием онлайнового калькулятора. Он находится на сайте http://www.webworkshop.net/, и на нем реализовано вычисление по классической версии алгоритма (рис. 9.1). С помощью этого сервиса можно наглядно разобраться в том, как распределяется вероятность посещения пользователем документа (PageRank) при различных схемах расстановки ссылок между документами.

9.3. Тематический индекс цитирования.

На Яндексе показатель, аналогичный PageRank, был введен в обращение в 2001 году и получил название взвешенный индекс цитирования — вИЦ. Он рассчитывался на основе классического алгоритма PageRank с точностью, как отмечали сами разработчики, "до деталей реализации". Хотя, безусловно, доскональной точности расчета показателей быть не могло — ни одна поисковая система не раскрывает всех нюансов своих расчетов. В дальнейшем в расчет вИЦ были включены дополнительные факторы, отсутствующие в классическом алгоритме определения ссылочного ранга страницы. Но продержался вИЦ в качестве главного показателя, доступного для посетителей, недолго. Через полтора года его сменил новый индекс, тематический (тИЦ).

Это еще одна разновидность индекса цитирования. Отличается от взвешенного тем, что вес ссылок, учитываемых при подсчете показателя, зависит не только от значимости ссылающегося сайта, но также от его тематики. Чем ближе тематика ссылающегося сайта к рассматриваемому, тем больший вес может быть придан ссылке, ведущей с него. Тематика сайтов определяется по каталогам веб-проектов. Чаще всего поисковая система использует собственный или сотрудничающий с ней каталог, а качество ссылок из таких каталогов на сайт учитывается как ссылки авторитетных сайтов.

Тематический индекс цитирования (рис. 9.2) определяет значимость вебресурсов с учетом качественных характеристик ссылок на них с других сайтов. Эта значимость рассчитывается по специальному алгоритму, в котором существенную роль играет тематическая близость ресурса и ссылающихся сайтов. Значение тИЦ определяется в первую очередь не количеством ссылок, а суммой их собственных качественных характеристик ("весов").

Значение тИЦ не является постоянным. Оно пересчитывается еженедельно. Рассчитывается тИЦ либо для всего ресурса, либо для его разделов, если они зарегистрированы в каталоге Яндекса как самостоятельные ресурсы. При расчете тИЦ учитываются только внешние ссылки, поэтому сколько бы ни было проставлено перекрестных ссылок между страницами одного сайта, они никакого влияния на значение тИЦ не окажут. При расчете тИЦ одного из разделов сайта, ссылки на раздел сайта из других разделов этого сайта будут считаться внутренними и, следовательно, не будут увеличивать его тИЦ.

Не будут учитываться ссылки и с тех ресурсов, которые не проиндексированы Яндексом. Поэтому ссылки, размещенные на ресурсах, расположенных вне доменов su и ru учитываться не будут. Не будут учитываться и ссылки, размещенные на форумах, немодерируемых каталогах, иных ресурсах, в которые может добавить ссылки любой посетитель без контроля со стороны владельца ресурса. Также не учитываются ссылки с сайтов, расположенных на бесплатных хостингах, если эти сайты не описаны в каталоге Яндекса.

Эти особенности необходимо учитывать в первую очередь владельцам новых сайтов. То, что вы разместили в Сети свою работу, еще не означает, что Яндекс сразу ее увидит и проиндексирует. До тех пор, пока на каком-либо известном Яндексу ресурсе не будет размещена ссылка на ваш сайт, робот Яндекса о нем не узнает. Размещение же ссылки на сайтах, значимость которых Яндекс игнорирует, ситуацию не исправит. Одним из наиболее корректных вариантов "подсказать" Яндексу, где находится ваш сайт, является подача заявки на регистрацию сайта в Яндекс. Каталоге. Даже в том случае, если ваш сайт не будет принят для бесплатной регистрации, поисковый робот проверит указанную вами ссылку и проиндексирует размещенный там сайт.

Значение тИЦ для сайтов, внесенных в каталог Яндекса, можно увидеть рядом с описанием ресурса.

Примечание. Индекс цитирования Яндекса очень удобно просматривать с помощью плагина Яндекс. Бар. При посещении какого-либо сайта вы будете видеть в панели плагина значок, отражающий величину тИЦ данного сайта, независимо на какой из его страниц вы находитесь. А используя меню, вы можете вывести страницу с точным значением индекса и списком ссылающихся на просматриваемый ресурс сайтов.

До недавнего времени существовала ситуация, когда сайты, не включенные в каталог Яндекса, считались Яндекс. Баром неотъемлемой частью своего головного ресурса (например, так обстояло дело с доменами третьего уровня). Соответственно, для таких ресурсов наследовалась тематика головного ресурса и тИЦ. На сегодняшний день эта ошибка работы Бара уже исправлена.

Алгоритм подсчета индексов цитирования у поисковиков не является чем-то постоянным. Не составляет исключения и Яндекс. Причин для этого существует множество, но из них можно выделить наиболее важные. Первая — желание поисковиков улучшить результаты ранжирования сайтов в соответствии с индексами цитирования. Вторая причина заключается в том, что поисковику приходится постоянно бороться с поисковым спамом, паразитирующим на найденных оптимизаторами способах продвижения сайтов с учетом текущей реализации алгоритма расчета индекса цитирования. Точнее — даже не самого алгоритма, а тех составляющих, которые учитываются при его расчете.

Яндекс никогда не объявлял заранее о предстоящем изменении принципов расчета ИЦ. Как правило, о нововведениях становилось известно по изменению численных значений индексов у наблюдаемых сайтов. Причем, это бывали не колебания в пределах допустимых значений, а резкие, в разы, подъемы или спады значений индекса. И первым таким серьезным испытанием для оптимизаторов был год 2004-й, когда произошло первое существенное изменение алгоритма ранжирования. В результате тех изменений значения тИЦ в течение недели изменялись скачкообразно, часто без следования какой-либо логике.

Изменения алгоритма ранжирования происходили и в дальнейшем, внося напряженность в ряды оптимизаторов. Зачастую им приходилось полностью изменять стратегию продвижения сайтов в поисковой выдаче Яндекса. Но для этого требовалось понять, какие же изменения были внесены в алгоритм, и как они сказались на ранжировании. Примером такого анализа можно назвать статью, опубликованную на проекте "Черный квадрат" (http://www.rukv.ru/ analytics-20070107.html), в которой было проанализировано изменение индекса более чем 200 тыс. сайтов российского Интернета.

Самое последнее обновление алгоритма происходит в дни, когда пишутся эти строки. Отличие ситуации в том, что на этот раз руководство Яндекса в лице руководителя отдела веб-поиска Александра Садовского официально объявило о смене алгоритма. Объявление было опубликовано на трех ведущих форумах, где встречаются и обмениваются информацией оптимизаторы. Это форумы порталов Searchengines, Mastertalk и Seochase. Вот что там было сказано:

Уважаемые веб-мастера! Сегодня ночью на поиске в одном из дата-центров Яндекса обновится алгоритм ранжирования. В течение нескольких дней по одному и тому же запросу результаты у разных пользователей могут заметно отличаться, это нормально. Как только во всех дата-центрах будет работать одинаковый поиск, разница станет незначительной. Мы надеемся, что по ряду запросов улучшение релевантности поиска будет заметно невооруженным глазом. Если вы все-таки обнаружите запросы, где есть явное ухудшение, напишите нам, пожалуйста, с указанием запроса исчезнувших сайтов и пояснением, почему вы считаете их релевантнее сайтов, которые продолжают находиться: http://feedback.yandex.ru/?from=webmaster. Чтобы узнать, какой алгоритм ранжирования отработал ваш запрос, зайдите после получения результатов поиска на страницу http://www.yandex.ru/ cgi-bin/hostname, где показывается имя сервера, который вас обслужил. Если оно выглядит как sfront??.yandex.ru или ludi.yandex.ru, значит, вам выпал счастливый билет и возможность потестировать новый поиск. Если имя выглядит как sfront2-???.yandex.ru, значит, счастливый билет выпадет вам на днях. Заранее спасибо! Надеюсь, изменения для вас и пользователей будут только приятными. С уважением, Александр Садовский.

Результаты изменения алгоритма ранжирования будут пристально рассматриваться в течение ближайших двух-трех месяцев, прежде чем общество оптимизаторов вынесет свой вердикт — стали ли результаты лучше или нет. Но в любом случае тем, кто занимается продвижением сайтов, придется изучать внесенные изменения и подстраивать методики продвижения под них. А если учесть, что алгоритмы ранжирования и внесенные изменения ни один поисковик никогда не публикует, то изучение будет вестись по косвенным признакам, досконально разбираемым сообществом оптимизаторов. Например так, как разбиралась несколько лет назад статья Ильи Сегаловича на сайте http://blog.promosite.ru/comments.php7201.

Алгоритм Яндекса для подсчета релевантности сайтов и их последующего ранжирования, по сути, — закрытая система, требующая комплексного подхода к изучению. Однако серьезные исследования если и проводятся, то результаты их не публикуются открыто. Публикуются в основном исследования локального характера, которые предоставляют неполную информацию. Кроме того, при чтении таких статей необходимо обращать внимание, о каких поисковых системах в них идет речь — алгоритмы и, главное, реализация расчета релевантности, а также факторы, влияющие на нее, для каждой поисковой системы различны.

Индекс цитирования является внешним фактором по отношению к сайту, влияющим на ранжирование результатов поиска. Он зависим лишь от имеющихся ссылок, ведущих как на рассматриваемый сайт, так и с него. Поэтому повлиять на его значение можно, работая в трех направлениях:

□ выбирая страницы, с которых вы хотели бы получить ссылки на свой сайт;

□ выбирая страницы, на которые вы хотите разместить ссылки у себя;

□ оптимизируя внутреннюю структуру связей своих страниц для увеличения обратной связи при расчете индекса цитирования.

В частности, при расстановке ссылок на внешние сайты можно следовать такой рекомендации:

…вам нужно будет ссылаться наружу только со страницы вашего сайта, которая имеет низкий вес PageRank и которая также содержит значительное число внутренних ссылок (т. е. ссылок, указывающих на другие страницы вашего сайта). Chris Ridings, www.searchenginesystems.net.

Им же приводятся и такие рекомендации относительно структуры внутренних связей страниц на сайте:

□ там, где группа страниц может содержать внешние ссылки, используйте иерархическую структуру;

□ там, где группа страниц не содержит внешних ссылок, используйте структуру с обширными связями, расширив ее добавлением ссылки на главную страницу;

□ если конкретная страница особенно важна, помещайте ее выше в иерархической структуре.

Но сколько бы ни приводилось рекомендаций, лучше понять механизм индекса цитирования удастся тогда, когда вы на практике будете пробовать различные варианты воздействия на него. Сделать это легче всего на моделях, а не на реальных объектах. Для этого можно воспользоваться моделью Александра Садовского (http://digits.ru/promotion/articles/pagerank.xls) или Марка Хоррэла (http://www.nri-ltd.com/pagerank.asp).

9.4. Факторы, влияющие на ранжирование.

В ряде опубликованных в Интернете статей: "118 факторов ранжирования в Google"(http://webest.info/seo/google/google-pr-ratings.php), "Факторы, влияющие на ранкинг в поисковой системе" (http://www.master-x.com/articles/ printmode.html?id=270) была сделана попытка собрать и классифицировать известные факторы, учитываемые поисковой системой Google при ранжировании сайтов. Не эти, но подобные факторы могут учитываться при ранжировании и другими поисковиками. Об отдельных факторах, влияющих как на индекс цитирования, так и на ранжирование сайта в результатах поиска, говорится в статьях, опубликованных и на сайте Яндекса в разделе "О компании" (http://company.yandex.ru/).

В чем бы ни заключались различия в подходах к определению релевантности различными поисковыми системами, существуют и общие факторы, оказывающие как положительное, так и отрицательное влияние на формируемые результаты поиска.

Остановимся вначале на проблемах, связанных с невозможностью выполнения индексации сайта и, соответственно, невозможностью корректно рассчитать значение его индекса цитирования.

Одним из камней преткновения при индексировании сайта может оказаться неправильно сформированный файл robots.txt, с помощью которого можно ограничить доступ поисковых роботов к разделам сайта.

На индексацию сайтов отечественными поисковиками (Яндекс и Рамблер) оказывает влияние тег <noindex> </noindex>. Все, что будет размещено на странице внутри этого тега, не индексируется (зарубежные поисковики на этот тег внимания не обращают). С другой стороны, этот тег может быть использован для манипулирования распределением на странице ключевых слов.

Хотя поисковым системам уже немало лет, но индексировать скрипты, написанные на Java-script и Vbscript, они еще не научились. Тем более те, что исполняются на стороне клиента. Поэтому переход по ссылке, формируемой в процессе загрузки страницы, робот не отследит. В лучшем случае, робот проиндексирует скрипт как обычный текст.

Аналогичная ситуация сложилась и вокруг выпадающих меню, выполненных по технологии DHTML. Помимо причин, аналогичных взаимоотношению паука и скриптов, меню на DHTML имеет и дополнительную проблему. Заключается она в том, что часто код меню размещается во внешних файлах, а некоторые поисковые роботы такую систему формирования структуры ссылок не поддерживают.

Многие сайты, разработанные на технологиях ASP, PHP, Cold Fusion или JSP, формируют динамические адреса страниц. Порой их сложно отличить от статических, но многие пауки считают динамическими адресами те, в которых присутствует знак вопроса или они имеют расширение, отличное от htm или html, например php, jsp, pl и др. В строке динамического адреса могут находиться несколько параметров со своими значениями. Некоторые поисковые роботы будут обрабатывать такие адреса, если количество параметров не превышает некоторого определенного числа. Другие — вообще не будут обрабатывать такие адреса. Третьи обработают лишь часть адресов в количестве, не превышающем некоторого значения. Следовательно, сайты, адреса страниц на которых определяются динамически, могут "выпасть" из индекса поисковой системы вне зависимости от их качества.

Мешают корректному процессу индексирования неверные отклики сервера. Проявляться это может, например, в том, что сервер выдает код 200 (Ok) для несуществующих страниц, либо возвращает код 301 (перемещено), 302 (временно перемещено), 404 (не найдено). В последних трех случаях страницы роботом не индексируются, а если они уже были в индексе, то удаляются из него.

Обратите внимание на размер страницы. Практика показывает, что роботы индексируют только определенное количество первых килобайтов кода. Например, робот Google добавляет в индекс первые 101 Кбайт, робот Яндекса — не более 200 Кбайт. Поэтому большие тексты для полноценного индексирования лучше разбивать на части.

Если обратиться к Яндексу, то рекомендую прочитать ответы Александра Садовского на вопросы, заданные ему на форуме www.searchengines.ru в ходе пресс-конференции. В частности, были затронуты вопросы влияния внешних факторов на индексирование сайтов. Например, очень жесткое отношение у Яндекса к сайтам-сателлитам, созданным специально для роботов. Такие сайты определяются с помощью специальных алгоритмов, позволяющих найти их и исключить из индекса.

На вопрос о влиянии хостинговой площадки на процесс индексирования и получаемый размещенным на площадке сайте "вес", Александр ответил:

Яндекс не выдвигает требований к хостингам, и сайты на любой площадке, которые отвечают нашему роботу, индексируются одинаково быстро. Тем не менее можно сформулировать рекомендации общего характера. • При выборе хостера обращайте внимание на стабильность работы его оборудования (для этого можно воспользоваться такими сервисами, как http://www.uptime.ru/, http://www.uptime.org.ua/ и др.); ширину канала на Россию, если серверы расположены вне РФ; загрузку сервера, на котором будут работать ваши скрипты. Все это в той или иной мере определяет возможность робота "достучаться" до сайта.

9.4.1. Пессимизация и баны.

Теперь можно ввести еще один термин, связанный с результатами ранжирования сайтов. Это — пессимизация, разновидность наказания сайта поисковой системой, которая проявляется в необычно низком ранжировании сайта. Вот какое определение было дано в 2005 году этому явлению:

Пессимизация — это принудительное занижение поисковой системой позиций некоторого сайта по ключевым запросам.

Термин "пессимизация" был придуман разработчиками поисковой системы Рамблер. В Рунете этот термин был официально упомянут в 2003 году при обсуждении принципов работы Рамблера. Другие поисковые системы официально о пессимизации не заявляли (http://www.seonews.ru/masterclass/9/34/).

С тех пор прошло довольно много времени, и о пессимизации говорят не только на Рамблере. Отвечая на вопросы, Александр Садовский так охарактеризовал пессимизацию:

Пессимизацию можно рассматривать как понижение в результатах поиска сайта и/или его страниц за некачественную информацию или использование обманных техник. Например, если сайт активно участвует в ссылочных обменах, "линкаторах" и другими способами ссылается на "накрученные" ресурсы и спам, он может быть автоматически пессимизирован. Пессимизация может применяться как к сайту в целом, так и к его отдельным разделам и страницам. Устранение причины, приведшей к автоматической пессимизации, возвращает сайту нормальные позиции тоже автоматически.

Процесс пессимизации на Яндексе можно условно разделить на автоматический и ручной. При автоматической пессимизации специальный робот выполняет проверку страниц, помещенных в Индекс, для выявления чрезмерно оптимизированных страниц. В случае их выявления, им присваивается коэффициент пессимизации, отрицательно сказывающийся на ранжировании. Этот коэффициент будет также автоматически убран в том случае, если при очередном посещении сайта роботом поисковой системы факторы, определявшие чрезмерную оптимизацию сайта, будут со страницы удалены.

Вот некоторые причины, по которым сайт может быть пессимизирован:

□ использование автоматического линкообменника (каталога ссылок);

□ попытка продвижения по непрофильным тематикам, не соответствующим фактическому содержанию сайта;

□ наличие сайтов-сателлитов;

□ сайты "фишеров", предназначенных для незаконного получения конфиденциальной информации у посетителей;

□ линкообменные системы;

□ жалобы.

Ручная пессимизация выполняется, как правило, на основе рассмотрения жалоб. Если факты, содержащиеся в жалобе, будут подтверждены и будут противоречить "Лицензии на использование поисковой системы Яндекс", то к такому сайту будут применены фильтры, снять которые можно будет лишь обращением в службу поддержки после приведения сайта в соответствие с лицензией. Действие фильтров приводит к запрету на учет всех ссылок, ведущих на пессимизируемый сайт. А это приводит к потере вИЦ, а также к потере своего места в ссылочном ранжировании, сказывается и на авторитетности сайта.

Примечание. Если вы обнаружите, что у известного вам сайта тИЦ неожиданно обнулился, это в большинстве случаев означает лишь то, что сайт был пессимизирован.

Пессимизация — явление частичное, сайт, пониженный в рейтинге, продолжает оставаться в Индексе. При более серьезных нарушениях лицензии применяется наказание в виде бана, при котором сайт полностью исключается из Индекса. В отличие от пессимизации, бан сайта всегда выполняется вручную на основании полученных жалоб или обнаруженных службой поддержки нарушений лицензии.

Причины, по которым сайт может быть удален из индекса, приведены на сайте Яндекса (http://rules.yandex.ru/termsofuse.xml). Они названы Яндексом поисковым спамом. К ним могут быть отнесены и причины, перечисленные в статье "Что такое пессимизация, что такое "бан"?":

□ скрытый текст (цвет фона);

□ "обман" робота-индексатора, т. е. выдача роботу содержимого страницы, отличного от того, что видит обычный пользователь (также называется "клоакинг");

□ перенаправления (создание и размещение обманных "входных" страниц, перенаправляющих посетителей тем или иным способом на целевую страницу);

В этой же статье сказано и о том, как можно определить, забанен сайт или нет:

В Яндексе достаточно ввести в форму добавления http://webmaster.yandex.ru/ свой сайт и нажать добавить. Если сайт был подвергнут "бану", то после его добавления в форму, появится текст, что сайт "не был внесен в базу Яндекса, так как его индексация запрещена".

Другие признакаи "бана":

□ в индексе отсутствуют все страницы сайта;

□ сайт не присутствует в выдаче результатов поиска по всем его ключевым словам.

Вернуть сайт в число индексируемых можно лишь путем устранения разногласий с лицензией, после чего сообщить об этом в службу поддержки Яндекса и ждать результатов.

Почему приходится ждать? Существуют специальные директивы, которые можно добавить с помощью мета-тега, например, такого:

К сожалению владельцев сайтов, поисковые роботы Яндекса не учитывают эти рекомендации. Робот Яндекса хранит дату последнего обхода каждой страницы, дату ее изменения (присланную веб-сервером) и дату внесения последних изменений в базу поиска (дату индексации). Поэтому рекомендуется проверить, правильную ли дату отдает поисковику ваш сервер.

9.4.2. Страничные факторы ранжирования.

Данные факторы в наибольшей степени показывают уровень соответствия содержимого страницы запросу. Их влияние каждая поисковая система учитывает по-своему, но чаще других наиболее влиятельными оказываются:

□ частота поисковой фразы внутри документа (разыскиваемые слова встречаются на странице неоднократно, но и не слишком часто);

□ элементы форматирования текста;

□ наличие разыскиваемых слов в служебных тегах и атрибутах.

Rand Fishkin в статье "Факторы, влияющие на ранкинг в поисковой системе" (http://www.master-x.com/articles/printmode.html?id=270) приводит результаты опроса группы оценщиков о значимости факторов ранжирования.

И вот какой ТОП-10 у него получился:

1. Тег заголовка.

2. Описательная часть ссылок.

3. Использование ключевых слов в тексте документа.

4. Доступность документа.

5. Ссылки на документ с внутренних страниц сайта.

6. Основная тема сайта.

7. Исходящие ссылки на другие страницы.

8. Популярность ссылок сайта в тематическом сообществе.

9. Общая популярность ссылок сайта.

10. Спам ключевых слов.

Всего же факторов существенно больше. Для удобства в результатах опроса они были разбиты на "группы влияния". Первая группа — внутристраничные параметры, напрямую влияющие на ранжирование. Связано это с тем, что они сами являются частью процесса индексации и получения документа. К этим параметрам относятся и заголовок страницы, и уникальность текста, и возраст документа. Это факторы, оказывающие, по оценкам специалистов, наиболее высокое влияние на ранжирование. В той же группе параметров есть и иные, степень влияния которых меньше, например, заголовки разделов и длина документа, грамматика текста и аккуратность написания, частота опорных слов и иные.

Следующая группа факторов связана с сайтом в целом и оказывает влияние на все принадлежащие ему документы. К ним были отнесены тематическое значение сайта и популярность ссылок, количество документов и количество дефисов в доменном имени.

В отдельную группу были выделены факторы, оказывающие влияние на ценность ссылок — к примеру, оценивается текст, окружающий ссылку, местоположение страницы со ссылкой в структуре сайта и др. Оказывают влияние на ранжирование и чисто технические факторы. Это доступность сайта и динамические адреса, стабильность работы хостинга и длина доменного имени. Словом, количество факторов, учитываемых при ранжировании сайтов, очень велико и учесть влияние всех просто невозможно. К тому же, для разных поисковиков набор параметров, играющих решающую роль, будет различаться.

Также существуют факторы, играющие строго отрицательную роль в ранжировании. И, по оценке экспертов, наибольшее влияние на снижение рейтинга, оказывает спам ключевых слов (вставка, накопление или чрезмерное употребление ключевых слов в попытке выглядеть "релевантно" для определенных терминов или фраз). Хотя чрезмерное употребление может оказаться чревато для владельца сайта, но аккуратное размещение на странице важных для ее позиционирования слов необходимо. Плотность ключевых слов на странице учитывается большинством поисковиков, а определить это значение, а также содержание ключевых слов в различных тегах форматирования текста (strong, head, italic и др.), в заголовке страницы (title), а также мета-тегах (meta description, meta keywords) можно с помощью сервиса http://www.seotxt.com/.

Примечание. По мнению оптимизаторов, плотность ключевых слов на странице (отношение количества ключевых слов к количеству проиндексированных слов на странице) должна находиться в пределах от 2 до 8 %. Некоторые из них еще более снижают верхнюю границу, останавливаясь на значении 5 %.

При работе с ключевыми словами необходимо обращать внимание на то, в каких частях документа их следует размещать, и как это может повлиять на формирование сниппетов — кратких аннотаций, автоматически формируемых поисковыми машинами из фрагментов текста документа. Сниппет выводится в результатах поиска рядом со ссылкой на документ, а формируется различными поисковиками по-разному. Принципы их формирования лучше всего определить опытным путем, изучая результаты обработки запросов.

9.4.3. Рекомендации специалистов Яндекса.

Посмотрим, какие советы дают на этот счет специалисты поисковой системы Яндекс (http://webdesign.site3k.net/conjuncture/append/a/yandex3.html):

Вот что определяет положение сайта на первой странице поисковой системы при запросе по одному слову: • частотные характеристики: o частота слова в базе; O частота слова в документе; o размер базы; o размер документа. • привилегированное положение слова в документе (например, заголовок) и/или наличие его в списке ключевых слов: O присутствие слова в "авторитетных" ссылках на данный документ; O взвешенный индекс цитирования документа; О количество и ранг ("авторитетность") всех страниц сайта с этим словом.

Они же (специалисты Яндекса) предлагают и рекомендации, следование которым должно помочь найти ваш сайт:

□ задавайте уникальные заголовки документов, вкратце описывающие сайт и текущий документ (но не более 20–25 слов). Слова в заголовках имеют больший вес, чем остальные;

□ давайте каждому документу описание в теге description, например:

□ не забывайте о ключевых словах, по возможности уникальных для каждой страницы, например:

□ делайте подписи к картинкам в теге alt, например:

<img src="yalogo.gif" alt="Яндекс" width=364 height=45 BORDER=0>;

□ чем длиннее документ, тем менее заметны в нем будут слова, заданные в запросе, и следовательно, ваша страница будет ниже в результатах поиска при прочих равных условиях. Старайтесь разбивать длинные документы на более короткие;

□ Яндекс работает только с текстами и не умеет распознавать графические изображения. Поэтому, если название нарисовано, стоит продублировать его в текстовом виде;

□ соблюдайте правила оформления документов:

• не набирайте слова в разрядку, если хотите, чтобы документ искали по ним (используйте для этого style sheet);

• не набирайте слова большими буквами без необходимости, если это не аббревиатура;

• точки и запятые прижимайте к слову, за которым они стоят, после них ставьте пробел. Иначе Яндекс не распознает их как отдельные слова;

□ и, наконец, подумайте, по каким словам и фразам вы сами искали бы сайт вашей тематики. Если ваш сайт посвящен разведению кур, и вы не находите его по слову куроводство — значит, это слово мало используется в документах вашего сайта. Те, кто интересуется именно "куроводством", могут не найти ваш сайт. Давайте документам заголовки и редактируйте их текст соответственно тем запросам, по которым вы бы сами стали искать свой сайт.

9.4.5. Черное и белое.

Каждый владелец сайта хочет, чтобы именно его сайт по определенным запросам находился в числе первых. Способов, с помощью которых можно решить такую задачу, немало. Среди тех, кто занимается оптимизацией и раскруткой сайтов, все они делятся на три группы — "белые", "черные" и "серые". Такое разделение основано на том, как соотносятся способы продвижения с правилами поисковой системы.

"Белые" методы не нарушают лицензию использования поисковых систем и потому разрешены для использования. "Черные", как уже следует из названия, явным образом нарушают лицензионную политику поисковых систем и потому запрещены ими. Если поисковик обнаруживает сайт, раскрученный с помощью подобных методов, то исключает его из индекса и накладывает запрет на дальнейшую индексацию ("банит"). "Серые" методы не нарушают напрямую правил поисковых систем, хотя и находятся "на грани фола". Фактически, с помощью "серых" методов законным образом обходятся правила поисковиков. Такие методы также не приветствуются поисковиками, хотя реакция на их использование менее жесткая, чем на "черные" методы.

К "белым" методам относят работы, связанные, например, с оптимизацией структуры сайта для оптимального восприятия информации как поисковыми системами, так и посетителями, оптимизация использования разметки текста. Работа над ключевыми словами, реализация задач продвижения по высокочастотным и низкочастотным запросам. Здесь, помимо подбора ключевых слов и выражений, должна будет вестись работа и над структурой сайта. Например, для продвижения по высокочастотным запросам может потребоваться оптимизация главной страницы и некоторых страниц разделов сайта, напрямую связанных с ключевыми словами. При продвижении по низкочастотным запросам может потребоваться создать страницу, полностью посвященную раскрытию значения одного из ключевых слов. В этом случае целесообразно размещение ключевого слова как в тексте страницы, так и в ссылках, заголовках, иных элементах.

□ Высокочастотные запросы — это наиболее популярные запросы в поисковых системах, как правило, состоящие из 1–2 слов. По таким запросам (например, это может быть запрос B2B) "раскручивают" сайты многие и многие компании, используя наиболее эффективные методы оптимизации. Поэтому стоимость вывода сайта на первую страницу результатов получается наиболее высокой.

□ Иное дело — низкочастотные запросы. Продвижение по ним эффективно для привлечения профессиональной либо просто хорошо разбирающейся в проблеме аудитории. Это могут быть люди, изучающие конкретный вопрос истории общества, люди, которые ищут вполне определенный товар или услугу. Такие посетители, как правило, знают, что им нужно, поэтому запрос в поисковой системе формулируют предельно четко. С точки зрения владельца сайта, это наиболее целевая его аудитория.

Еще один способ "белого" продвижения сайта — размещение ссылок в различных каталогах, в том числе в Яндекс. Каталоге. (Но рассчитывать на то, что ссылку на ваш сайт поместят в этот каталог бесплатно, не надо — желающих значительно больше, чем ссылок, размещаемых в каталоге.).

Неплохой эффект дает размещение в тематических онлайновых изданиях публикаций, ссылки с которых ведут на ваш сайт. Это дает двойной эффект — во-первых, посетители тематического сайта могут прочитать ваш материал и перейти по ссылке, если информация их заинтересует. Во-вторых, ссылка с тематического сайта, к тому же, если этот сайт известен и имеет высокий индекс цитирования, даст дополнительные баллы при расчете поисковой системой ИЦ вашего сайта.

Перейдем теперь об "белого" к "серому". Какие методы продвижения относятся к этой группе? Это, например, одна из разновидностей дорвеев.

Примечание. Дорвей — в SEO, сайт или веб-страница, ориентированные на конкретный поисковый запрос (либо группу запросов) и созданные с целью занять высокое место среди результатов, генерируемых поисковыми системами по данным запросам, за счет повышенной плотности содержания ключевых слов и правильного использования, важных для ранжирования факторов. Частным примером дорвея является Гугл-бомба. (Википедия).

"Серый" дорвей отличается от "черного" тем, что не содержит принудительного перенаправления посетителей на целевой сайт. На такой странице, оптимизированной под определенный поисковый запрос, размещается явная ссылка, содержащая определенные ключевые слова и предлагающая посетителям перейти на целевой сайт.

Не считается незаконным, но и не добавляет положительного эффекта для продвижения сайта, размещение ссылок на любых проектах без учета их тематики и значимости. Размещение ссылок в каталогах на сайтах, где либо отсутствует модерирование, либо ведется прием ссылок любой тематики, превращает такие сайты в ссылочные "помойки". Поисковые системы зачастую ставят на подобные сайты фильтры ("непот-фильтр"), после чего ссылки с них перестают учитываться. Возможен и иной вариант реагирования поисковика на подобные ситуации — "склеивание" одинаковых ссылок на сайт. Вроде бы и не "банят", но и раскрутиться не позволяют. Подобный же обмен, но с тематическими сайтами или разделами модерируемых каталогов, к подобным ситуациям не приводит.

Еще один "серый" метод продвижения сайта основан на текстовом спаме в различных его вариациях. Это и спам ключевых слов, при котором мета-тег keywords "набивается" большим количеством слов, не имеющих никакого отношения к содержимому страницы. Это и спам заголовка страницы (включение в заголовок ключевых слов страницы). Это и злоупотребление форматированием текста, засорение его тегами заголовков (h1-h6), тегами выделения текста. Это и перенасыщенность страницы ключевыми словами, когда процент ключевого слова может достигать 40–50 %. Такой способ наносит серьезный ущерб читабельности текста и рассчитан явно не на посетителей.

И, наконец, "черные" методы раскрутки и продвижения сайтов. Это то, что при обнаружении приводит к немедленной ответной реакции поисковых систем, исключающих такие сайты из индекса. "Черных" методов существует довольно много. Назовем здесь лишь наиболее часто встречающиеся.

□ Во-первых, к ним относится использование "скрытого" текста. Это текст, цвет которого совпадает с цветом фона страницы, где он размещен, в результате чего пользователь текст не видит, а поисковый робот добросовестно индексирует. Помимо текста, скрытыми могут быть и ссылки.

□ Следующее название "черного" метода известно очень и очень многим — клоакинг. Так называют способ прямого обмана поисковой системы. Заключается он в том, что поисковым роботам выдается страница, существенно отличающаяся от того, что видит пользователь. Для этого поискового робота нужно найти, и один из способов определения поискового робота заключается в определении его IP-адреса. Сложность в том, что поисковики не разглашают адреса, на которых "живут" их поисковые роботы, к тому же эти адреса постоянно меняются. Этот же метод (определения IP-адреса посетителя и формирование соответствующей страницы) применяется и во вполне законных случаях, когда, к примеру, в зависимости от региона, к которому принадлежит IP-адрес, формируется страница с региональной или языковой направленностью. (Именно такая система формирования региональной информации существует и на Яндексе.).

□ Дорвеи — если они автоматически перекидывают пользователей на целевой сайт, не спрашивая их желания, то такие дорвеи относятся к "черным" методам раскрутки.

□ И еще один метод, очень близко граничащий с одним из "серых" методов. Это — ссылочный спам. Если нетематический обмен ссылками чаще всего не приводит к нежелательным последствиям, то использование для размещения и обмена ссылками специальных скриптов-линкаторов к таким последствиям привести может. Сайты-владельцы скриптов, называемые "сайтами-линкаторами" или "линк-фермами", предназначены для автоматического обмена ссылками, что является нарушением лицензии поисковой системы, в том числе и Яндекса.

Зачастую использование одних и тех же приемов при одних условиях относят к "белым" методам, при иных — к "черным" методам раскрутки. Например, использование RSS. Если вы создали на своем сайте RSS-рассылку, то это считается корректным способом и приносит вам дополнительные баллы. Но размещение на своем сайте чужой RSS-ленты к "белым" методам уже не относится.

Занимаясь продвижением сайта помните, о чем предупреждали авторы поисковой системы Яндекс еще несколько лет назад:

В связи с участившимися попытками накрутки индекса цитирования предупреждаем, что накрученный индекс нами безжалостно обнуляется. Решение о наличии накрутки принимается администрацией Яндекса на основании детального изучения ситуации".

Это заявление и сегодня не утратило актуальность и продолжает действовать.

Так же как и методы, разными бывают и оптимизаторы. Одни используют для продвижения сайтов законные способы, "белые", работая над структурой сайта, его контентом, ключевым словами и ссылками. Результат их работы появляется не сразу, но зато эффективнее в долгосрочном плане. Другие используют недопустимые методы, обещая "взлет ракеты", чуть ли не мгновенное повышение рейтинга. И сроки, за которые продвигаемый сайт станет узнаваем, значительно меньше, чем при использовании законных способов. Но велика вероятность попадания в "черные списки" поисковиков и выпадения из индекса навсегда.

Так что же остается делать владельцам сайтов? Создавать хороший проект с оригинальными материалами, регистрироваться в каталогах, размещать ссылки на свой сайт на известных тематических ресурсах, публиковать новости, вступать в веб-ринги тематических сайтов. Такие затраты усилий со временем окупятся и принесут свои плоды. Ну а если вы обращаетесь за услугами в компанию, занимающуюся продвижением сайтов, выясните, какие методы они используют, и принимайте решение в зависимости от этого.

Литература.

1. Алиев Т. А., Заболотская Т. А. Практическое руководство для студентов, магистрантов и аспирантов: http://www.phys.spbu.ru/Library/Method/AcademWork/index.html.

2. Красносельский К. К. Советы специалистов поисковой системы Яндекс: http://webdesign.site3k.net/conjuncture/append/a/yandex4.html.

3. Лицензия на использование поисковой системы Яндекса: http://rules.yandex.ru/termsofuse.xml.

4. Ранжирование документов в поисковых машинах: http://internet-busines.org.ua/raskrutka-articles/raskrutka-61.htm.

5. Что такое пессимизация, что такое "бан"? Признаки, порядок действия: http://www.seonews.ru/masterclass/9/34/

6. Chris Ridings. Растолкованный PageRank: http://www.searchenginesystems.net.

7. PageRank Calculator: http://www.webworkshop.net/.

8. Rand Fishkin. Факторы, влияющие на ранкинг в поисковой системе: http://www.master-x.com/articles/printmode.html?id=270.

Оглавление.