Издательский дом ООО "Гейм Лэнд"ЖУРНАЛ ХАКЕР 116, АВГУСТ 2008 г.

Сливаем трафик

Николай Байбородин (baiborodin@gmail.com)

Хакер, номер #116, стр. 116-094-1

Редирект глазами черного мага

Сегодня речь пойдет не о том, как замутить код реализации метода bablo.get(), а об одной серьезной проблеме, с которой приходится сталкиваться многим Black SEO. Самую суть этой проблемы можно выразить всего двумя словами: бан редиректа.

Классика редиректа

Как обычно, сначала краткое введение для самых маленьких. Ты уже знаешь, что такое «дор» и с чем его едят. На всякий случай напомню, – это страница, оптимизированная под конкретный поисковый запрос. Единственное назначение дора – выбиться в топ SERP’a. Чем выше позиция дора в выдаче, тем больше трафик. Вся соль в том, чтобы привлекая трафик, сливать его на другой ресурс, например, на одну из многочисленных партнерок.

Пользователь, зашедший на страницу дора через выдачу поисковика, должен быть автоматически переброшен на нужный нам сайт. Этот важный момент и осуществляется, как раз, с помощью редиректа.

Держу пари, что со словом «редирект» у большинства начинающих веб-мастеров и поисковых оптимизаторов ассоциируется сценарий на языке JavaScript, перенаправляющий браузер на другую страницу. Так вот, на деле, это всего лишь обертка для базовых механизмов редиректа, реализованных на уровне HTTP-протокола. На диске ты найдешь полный текст RFC 2068, в котором описан механизм редиректа. Согласно этому документу, для инициализации редиректа используются трехзначные коды, начинающиеся с тройки (3**). В текущей редакции протокола HTTP 1.1 определены следующие разновидности редиректа:

300 – «Multiple Choice»

301 – «Moved Permanently»

302 – «Found»

303 – «See other»

304 – «Not Modified»

305 – «Use Proxy»

306 – «(Unused)»

307 – «Temporary Redirect»

Основными здесь являются редиректы за номерами 301 и 302. Редирект 301 используется в том случае, если ты сменил своего хостера или поменял структуру проекта, в результате чего изменился адрес страницы, для которой оформляется редирект. Запомни, гринго, что единственная ситуация, в которой, будучи в трезвом уме и здравой памяти, можно использовать 301 – это изменение постоянного адреса страницы. В этом случае редирект позволяет сохранить нажитые непосильным трудом PR и ТИЦ. Можно сказать, это склейка старой страницы и нового адреса.

Из вышесказанного можно сделать вывод о том, когда нужно использовать 301 редирект:

  • для склейки доменных имен company.com и www.company.com;
  • при смене домена;
  • при изменении адресов страниц.

Редирект за номером 302, наоборот, используется в случае временного изменения адреса страницы. Тогда все пузомерки остаются на старом адресе и вместе со страницей не переносятся.

Техника классического редиректа сложностей не представляет. Всего существует четыре способа продать душу серфера на сторону: редирект через мета-тег «Refresh», редирект с помощью JavaScript, редирект средствами PHP и редирект через .htaccess. На врезке ты найдешь примеры всех типов редиректа.

Классический редирект

Редирект с использованием Refresh

<meta http-equiv=’Reftesh’ content=’0;

url=http://www.xakep.ru>

Редирект с помощью JavaScript

<script type="text/javascript">

<!--

window.location = "http://www.xakep.ru";

//-->

</script>

Редирект с помощью PHP

<?php

header("Location: http://www.xakep.ru", true, 301);

?>

Или

<?php

header("Location: http://www.xakep.ru", true, 302);

?>

Редирект через .htaccess

Redirect 301 / http://www.xakep.ru

Или

Redirect 302 / http://www.xakep.ru

Чуть было не забыл про один важный момент! Если ты используешь редирект на стороне клиента, и весь механизм редиректа находится в HTML-документе, то из списка разновидностей тебе доступен только 302 редирект.

SEO vs. SE. Раунд 1

Самый простой способ спрятать редирект – придать ему вид полезного javascript-сценария, добавив немного примитивной логики.

<script>

var1=1;

var2=var1;

if(var1==var2) document.location=

"http://www.xakep.ru";

</script>

Поисковый робот, индексируя страницу, анализирует ее по ряду параметров. Процесс включает в себя несколько этапов, – в зависимости от содержимого страницы и ряда других факторов. В частности, если робот встречает среди HTML-кода тег <SCRIPT>, то исследуется сценарий, следующий за этим тегом. В дискуссии, анализируют или нет поисковики JavaScript сценарии давно поставлена жирная точка – да, анализируют. Вопрос в том, как они это делают. Естественно, анализатор робота знаком с операторами и правилами построения JavaScript-выражений. И если ему встретится выражение типа document.location=http://www.xakep.ru, он сразу заподозрит, что что-то здесь не чисто.

Сам по себе редирект вполне безобиден, иначе DOM атрибут location не был бы доступен веб-программистам. В конце концов, мы можем перенаправлять посетителей на разные версии сайта в зависимости от языка браузера или IP-адреса. Мало ли подобных ситуаций! А раз так, то должна присутствовать некая логика – критерии, в соответствии с которыми редирект либо применяется, либо нет. Встретив на своем пути условный оператор, анализатор не в состоянии понять смысл проверяемого выражения. Единственный вывод, который может сделать анализатор JavaScript-сценария: то, что редирект срабатывает не всегда, а только при выполнении некоторого условия. Вот так, казалось бы, дубовый прием позволяет защитить редирект от бана.

Другой способ заключается в том, чтобы скрыть от поискового робота содержимое сценария, зашифровав его. Рассмотрим в качестве примера исходник HTML-формы, шифрующей JavaScript.

Шифруем JavaScript

<center><form name=conv_form>

<textarea name=src_text cols=80 rows=10

wrap=virtual></textarea><br>

<input type=button onclick="Paste();

" value="вставить из буфера ↑">

<input type=button onclick="Code();

return 0;" value="зашифровать ↓">

<input type=button onclick="Copy();

" value="копировать ↓">

<input type=button onclick="ClearForm();

return 0;" value="очистить ↓↑"><br>

<textarea name=dest_text cols=80 rows=10 wrap=virtual></textarea></form></center>

<script LANGUAGE="JavaScript">

function ClearForm()

{

document.conv_form.dest_text.value="";

document.conv_form.src_text.value="";

document.conv_form.src_text.focus();

}

function Paste() //вставка в форму из буфера

{

document.conv_form.src_text.

createTextRange().execCommand("Paste");

document.conv_form.src_text.

focus();

}

function Copy() //копирование из формы

{

document.conv_form.dest_text.

createTextRange().execCommand("Copy");

document.conv_form.dest_text.focus();

}

function Code()

{

var temp="",i,l,c=0,out="";

var str=document.conv_form.src_text.value;

l=0;

if(str=="")return;

while(l<=str.length-1)

{

out=out+str.charCodeAt(l)+'!';

l++;

}

document.conv_form.dest_text.value=

"<script>var temp="",i,c=0,out=""; var str=""+out+"";l=str.length;while(c<=str.length-1){while(str.charAt(c)!='!')temp=

temp+str.charAt(c++);c++; out=

out+String.fromCharCode(temp);temp="";}

document.write(out);</script>";

}

</SCRIPT>

Ни в коем случае не стоит этот прием считать полноценным шифрованием! Мы всего лишь заменяем каждый символ сценария соответствующим ему числовым значением из текущей кодовой страницы.

Теперь о грустном. Перечисленные выше способы сокрытия редиректа, мягко говоря, не идеальны. Прежде всего, это связано с тем, что поисковые системы постоянно развиваются. Мир жесток, гринго – сегодня поисковики не только анализируют сценарии, но и исполняют их, моделируя стандартное окружение веб-браузера. А посему, вся наша притянутая за уши программная логика и, особенно, кодирование сценария, идут лесом. Аминь.

SEO vs. SE. Раунд 2

Поисковики объявили войну быстрому редиректу. Не остается ничего, кроме как принять вызов. В качестве ответного хода напрашивается фильтрация поискового трафика. Пользователям, зашедшим по ссылке с поисковой выдачи, мы будем показывать контент без редиректа, а тех, кто пришел через ссылки, которыми мы проспамили гостевухи, форумы, блоги, – безжалостно редиректим.

Реализовать такую логику на JavaScript – как два байта об асфальт!

Создаем массив с перечислением всех известных поисковых систем. Затем в DOM-структуре читаем свойство document.referrer – определяем, откуда к нам пришел пользователь. Прогоняя через цикл наш массив, сравниваем его элементы с текущим значением document.referrer. Все, теперь осталось только разрулить поисковый и ссылочный трафик. Как это может быть реализовано, смотри ниже:

<script>

var ref; var i; var is_se;

var se = new Array('google','msn','yahoo','yandex',

'rambler','aport','mail','km.ru','meta','all.by',

'tut.by','online.ua','nigma');

if(document.referrer)ref=document.referrer;

else ref="";

for(i=0;i<13;i++)

{if(ref.indexOf(se[i])>=0){урл для поискового трафа;}}

if(is_se==0){location.replace

("урл для слива левого трафа");}

</script>

А как насчет идеи замутить редирект на CSS? Большинство поисковиков игнорируют элементы оформления страницы, обращая внимание только на контент.

Идея проста до безобразия. Редирект будет осуществляться с помощью того же сценария на JavaScript. Вот только сам сценарий мы уберем подальше – например, в CSS-файл. Для этого воспользуемся тем, что любой CSS-объект поддерживает такой атрибут, как URL. В свою очередь, атрибут URL выступает в качестве обертки для некоторых дополнительных свойств, в частности – «javascript».

В результате, становится доступным такой вот трюк:

html {

background-image: url(

javascript:document.location=

”www.xxxdolls.com”);

}

Оп-па! Якобы устанавливая фон страницы, мы вероломно посылаем юзверя полюбоваться почти одетыми девочками.

SEO vs. SE. Раунд 3

Осилив все, о чем я пытался тебе рассказать в этой статье, ты неизбежно придешь к выводу, что создать правильный редирект, который не палится поисковиками, не так-то и легко. Есть ли выход? Спешу тебя обрадовать, да. Он одновременно потрясающе прост и потрясающе сложен. Тебе понадобится проявить фантазию и быть нестандартным. Постоянно ищи новые пути и тестируй их на практике. И ты всегда будешь на один шаг впереди поисковиков. Твои доры будут частыми гостями в топе поисковой выдачи. Поясню на примере.

Чаще всего, говоря о редиректе, подразумевают автоматический редирект. Но кто сказал, что это должен быть именно автоматический редирект? Пусть юзер сам уходит на целевой ресурс, нажав на кнопку веб-формы. Как заставить его это сделать – другой вопрос. Вариантов много, приведу лишь несколько:

1. Использовав технологию клоакинга, подсовывать поисковику заряженную ключевиками страницу, а серферу сообщать что-нибудь вроде – «Страница временно недоступна. Для возврата к предыдущей странице нажмите ОК». Понятно, что нажатие на кнопку перебросит его совсем не туда, куда он рассчитывал попасть. Кстати говоря, такой тип редиректа очень подходит при работе с Adult-ресурсами. Достаточно просто разместить на странице с дором стандартный дискламбер «Да, мне больше 16 лет». И это не вызовет никакого подозрения, особенно если в результате в окне браузера откроется страница с заветной клубничкой.

2. Можно обойтись и вовсе без клоакинга, просто прокручивая страницу вниз и пряча от юзера контент, предназначенный для поисковых систем. В зоне видимости оставляем только форму с кнопкой.

Вот тебе еще пища к размышлению. Анализатор поискового робота если и исполняет скрипты, то делает это в режиме CodeFlow. То есть, делает это линейно. Но ничто не мешает нам написать интерактивный скрипт, реагирующий на какое-либо действие, выполняемое пользователем, например, на перемещение курсора, и, соответственно, исполняющий скрипт при возникновении заданного события.

Идем дальше. Редирект можно замаскировать под обработку исключительных ситуаций:

try{

document.getElementById(”btn1”);

} catch(e){

document.location=”www.xxxdolls.com”;

}

Приведенный код, будучи расположенным в секции <HEAD>, попытается обратиться к DOM-элементу btn1. А поскольку документ еще не загружен в браузер полностью, такого элемента еще не существует. В результате будет сгенерировано исключение, которое мы и отлавливаем. А дальше – банально сливаем трафик.

Еще один нестандартный способ – воспользоваться трастовыми доменами, к которым у того же Googel’a определенный кредит доверия. Например, такие крупнейшие системы, как Amazon и Ebay позволяют своим клиентам в рамках профайла загружать небольшие файлы. Оформив редирект в виде внешнего .js-файла и разместив его на таком портале, можно заставить поисковик поверить в то, что это скрипт партнерской программы.

И все это – только верхушка огромного айсберга. Чем менее стандартна будет твоя идея, тем выше шансы обхитрить поисковик.

Рожденный умереть

Как видишь, способов слить трафик на сторону существует достаточно много. Но, к сожалению, все они не гарантируют 100%-ной работоспособности. Причина в самой природе дора. Просто прими это как данность – если твой дор забанен, то это не потому, что ты где-то допустил ошибку. Все, что ты можешь сделать с помощью хитрых финтов ушами, это отсрочить неприятный момент вылета дора из выдачи. Просто поставь себя на место разработчиков любой поисковой системы. Веб-сайт, появившийся из ниоткуда и моментально взлетевший в топ, не может не вызвать подозрений. Неизбежна модерация, то есть проверка веб-сайта уже не роботом, а человеком. Сам факт переброса пользователя на другой ресурс, какой бы хитрый редирект ты ни использовал, выдаст тебя со всеми потрохами. И, конечно же, не стоит сбрасывать со счетов обычного серфера, который может элементарно настучать на тебя в саппорт поисковой системы.

Накопленный богатый опыт поисковой оптимизации, к которому ты можешь обратиться через многочисленные SEO-форумы и личные сетевые дневники оптимизаторов, позволяет выработать наиболее оптимальную стратегию дороводства. Сделал сотню-другую доров, позаботился о том, чтобы поисковики спалили их как можно позже, залил на хостинг, проспамил и… забыл. Создавай новую партию и снова, по кругу. Чем ответственнее ты подойдешь к защите дора, в частности, к сокрытию механизма редиректа, тем дольше твои доры провисят в SERP’e. Тем больше бабла ты поднимешь.

Яндекс-фильтры

Непот-фильтр. Накладывается за ссылочный спам, за продажу ссылок с сайтов, за неестественные ссылки. Фильтр накладывается как на отдельные ссылки на странице, так и на весь сайт в целом.

  • ExceedDensityKeywords. Накладывается на страницы, содержащие слишком большую плотность ключевых слов или фраз (норма – 5-7%).
  • Редирект-фильтр. Накладывается за использование javascript-редиректов. Автоматически отлавливает сайты и не пропускает их в индекс.
  • Фильтр «ты последний». Накладывается на страницу, которая имеет дубль в индексе.
  • LinksText. Накладывается на сайты, в контексте и в заголовке которых нет поискового запроса.

Альтернатива редиректу

В некоторых случаях вместо использования редиректа можно прибегнуть к технологии клоакинга (Cloaking), когда поисковому роботу показывается одна страница, а живому пользователю – совершенно другая. Клоакинг, так же, как и редирект, отлично распознается поисковиками, и его маскировка опять же требует нестандартных подходов. Более того, если использование редиректа иногда может быть оправдано, то клоакинг – однозначно черная оптимизация, а значит, бан.

CD

Мы не нарушаем наших традиций – на диске ты найдешь упомянутый в статье софт.

INFO

Помни, что используя редирект для слива трафика, ты играешь на грани фола и в любой момент можешь схлопотать бан от поисковика.

WWW

Содержание
ttfb: 11.572122573853 ms