Издательский дом ООО "Гейм Лэнд"ЖУРНАЛ ХАКЕР 116, АВГУСТ 2008 г.

Сливаем трафик

Николай Байбородин (baiborodin@gmail.com)

Хакер, номер #116, стр. 116-094-1

Редирект глазами черного мага

Сегодня речь пойдет не о том, как замутить код реализации метода bablo.get(), а об одной серьезной проблеме, с которой приходится сталкиваться многим Black SEO. Самую суть этой проблемы можно выразить всего двумя словами: бан редиректа.

Классика редиректа

Как обычно, сначала краткое введение для самых маленьких. Ты уже знаешь, что такое «дор» и с чем его едят. На всякий случай напомню, – это страница, оптимизированная под конкретный поисковый запрос. Единственное назначение дора – выбиться в топ SERP’a. Чем выше позиция дора в выдаче, тем больше трафик. Вся соль в том, чтобы привлекая трафик, сливать его на другой ресурс, например, на одну из многочисленных партнерок.

Пользователь, зашедший на страницу дора через выдачу поисковика, должен быть автоматически переброшен на нужный нам сайт. Этот важный момент и осуществляется, как раз, с помощью редиректа.

Держу пари, что со словом «редирект» у большинства начинающих веб-мастеров и поисковых оптимизаторов ассоциируется сценарий на языке JavaScript, перенаправляющий браузер на другую страницу. Так вот, на деле, это всего лишь обертка для базовых механизмов редиректа, реализованных на уровне HTTP-протокола. На диске ты найдешь полный текст RFC 2068, в котором описан механизм редиректа. Согласно этому документу, для инициализации редиректа используются трехзначные коды, начинающиеся с тройки (3**). В текущей редакции протокола HTTP 1.1 определены следующие разновидности редиректа:

300 – «Multiple Choice»

301 – «Moved Permanently»

302 – «Found»

303 – «See other»

304 – «Not Modified»

305 – «Use Proxy»

306 – «(Unused)»

307 – «Temporary Redirect»

Основными здесь являются редиректы за номерами 301 и 302. Редирект 301 используется в том случае, если ты сменил своего хостера или поменял структуру проекта, в результате чего изменился адрес страницы, для которой оформляется редирект. Запомни, гринго, что единственная ситуация, в которой, будучи в трезвом уме и здравой памяти, можно использовать 301 – это изменение постоянного адреса страницы. В этом случае редирект позволяет сохранить нажитые непосильным трудом PR и ТИЦ. Можно сказать, это склейка старой страницы и нового адреса.

Из вышесказанного можно сделать вывод о том, когда нужно использовать 301 редирект:

  • для склейки доменных имен company.com и www.company.com;
  • при смене домена;
  • при изменении адресов страниц.

Редирект за номером 302, наоборот, используется в случае временного изменения адреса страницы. Тогда все пузомерки остаются на старом адресе и вместе со страницей не переносятся.

Техника классического редиректа сложностей не представляет. Всего существует четыре способа продать душу серфера на сторону: редирект через мета-тег «Refresh», редирект с помощью JavaScript, редирект средствами PHP и редирект через .htaccess. На врезке ты найдешь примеры всех типов редиректа.

Классический редирект

Редирект с использованием Refresh

<meta http-equiv=’Reftesh’ content=’0;

url=http://www.xakep.ru>

Редирект с помощью JavaScript

<script type="text/javascript">

<!--

window.location = "http://www.xakep.ru";

//-->

</script>

Редирект с помощью PHP

<?php

header("Location: http://www.xakep.ru", true, 301);

?>

Или

<?php

header("Location: http://www.xakep.ru", true, 302);

?>

Редирект через .htaccess

Redirect 301 / http://www.xakep.ru

Или

Redirect 302 / http://www.xakep.ru

Чуть было не забыл про один важный момент! Если ты используешь редирект на стороне клиента, и весь механизм редиректа находится в HTML-документе, то из списка разновидностей тебе доступен только 302 редирект.

SEO vs. SE. Раунд 1

Самый простой способ спрятать редирект – придать ему вид полезного javascript-сценария, добавив немного примитивной логики.

<script>

var1=1;

var2=var1;

if(var1==var2) document.location=

"http://www.xakep.ru";

</script>

Поисковый робот, индексируя страницу, анализирует ее по ряду параметров. Процесс включает в себя несколько этапов, – в зависимости от содержимого страницы и ряда других факторов. В частности, если робот встречает среди HTML-кода тег <SCRIPT>, то исследуется сценарий, следующий за этим тегом. В дискуссии, анализируют или нет поисковики JavaScript сценарии давно поставлена жирная точка – да, анализируют. Вопрос в том, как они это делают. Естественно, анализатор робота знаком с операторами и правилами построения JavaScript-выражений. И если ему встретится выражение типа document.location=http://www.xakep.ru, он сразу заподозрит, что что-то здесь не чисто.

Сам по себе редирект вполне безобиден, иначе DOM атрибут location не был бы доступен веб-программистам. В конце концов, мы можем перенаправлять посетителей на разные версии сайта в зависимости от языка браузера или IP-адреса. Мало ли подобных ситуаций! А раз так, то должна присутствовать некая логика – критерии, в соответствии с которыми редирект либо применяется, либо нет. Встретив на своем пути условный оператор, анализатор не в состоянии понять смысл проверяемого выражения. Единственный вывод, который может сделать анализатор JavaScript-сценария: то, что редирект срабатывает не всегда, а только при выполнении некоторого условия. Вот так, казалось бы, дубовый прием позволяет защитить редирект от бана.

Другой способ заключается в том, чтобы скрыть от поискового робота содержимое сценария, зашифровав его. Рассмотрим в качестве примера исходник HTML-формы, шифрующей JavaScript.

Шифруем JavaScript

<center><form name=conv_form>

<textarea name=src_text cols=80 rows=10

wrap=virtual></textarea><br>

<input type=button onclick="Paste();

" value="вставить из буфера ↑">

<input type=button onclick="Code();

return 0;" value="зашифровать ↓">

<input type=button onclick="Copy();

" value="копировать ↓">

<input type=button onclick="ClearForm();

return 0;" value="очистить ↓↑"><br>

<textarea name=dest_text cols=80 rows=10 wrap=virtual></textarea></form></center>

<script LANGUAGE="JavaScript">

function ClearForm()

{

document.conv_form.dest_text.value="";

document.conv_form.src_text.value="";

document.conv_form.src_text.focus();

}

function Paste() //вставка в форму из буфера

{

document.conv_form.src_text.

createTextRange().execCommand("Paste");

document.conv_form.src_text.

focus();

}

function Copy() //копирование из формы

{

document.conv_form.dest_text.

createTextRange().execCommand("Copy");

document.conv_form.dest_text.focus();

}

function Code()

{

var temp="",i,l,c=0,out="";

var str=document.conv_form.src_text.value;

l=0;

if(str=="")return;

while(l<=str.length-1)

{

out=out+str.charCodeAt(l)+'!';

l++;

}

document.conv_form.dest_text.value=

"<script>var temp=\"\",i,c=0,out=\"\"; var str=\""+out+"\";l=str.length;while(c<=str.length-1){while(str.charAt(c)!=\'!\')temp=

temp+str.charAt(c++);c++; out=

out+String.fromCharCode(temp);temp=\"\";}

document.write(out);<\/script>";

}

</SCRIPT>

Ни в коем случае не стоит этот прием считать полноценным шифрованием! Мы всего лишь заменяем каждый символ сценария соответствующим ему числовым значением из текущей кодовой страницы.

Теперь о грустном. Перечисленные выше способы сокрытия редиректа, мягко говоря, не идеальны. Прежде всего, это связано с тем, что поисковые системы постоянно развиваются. Мир жесток, гринго – сегодня поисковики не только анализируют сценарии, но и исполняют их, моделируя стандартное окружение веб-браузера. А посему, вся наша притянутая за уши программная логика и, особенно, кодирование сценария, идут лесом. Аминь.

SEO vs. SE. Раунд 2

Поисковики объявили войну быстрому редиректу. Не остается ничего, кроме как принять вызов. В качестве ответного хода напрашивается фильтрация поискового трафика. Пользователям, зашедшим по ссылке с поисковой выдачи, мы будем показывать контент без редиректа, а тех, кто пришел через ссылки, которыми мы проспамили гостевухи, форумы, блоги, – безжалостно редиректим.

Реализовать такую логику на JavaScript – как два байта об асфальт!

Создаем массив с перечислением всех известных поисковых систем. Затем в DOM-структуре читаем свойство document.referrer – определяем, откуда к нам пришел пользователь. Прогоняя через цикл наш массив, сравниваем его элементы с текущим значением document.referrer. Все, теперь осталось только разрулить поисковый и ссылочный трафик. Как это может быть реализовано, смотри ниже:

<script>

var ref; var i; var is_se;

var se = new Array('google','msn','yahoo','yandex',

'rambler','aport','mail','km.ru','meta','all.by',

'tut.by','online.ua','nigma');

if(document.referrer)ref=document.referrer;

else ref="";

for(i=0;i<13;i++)

{if(ref.indexOf(se[i])>=0){урл для поискового трафа;}}

if(is_se==0){location.replace

("урл для слива левого трафа");}

</script>

А как насчет идеи замутить редирект на CSS? Большинство поисковиков игнорируют элементы оформления страницы, обращая внимание только на контент.

Идея проста до безобразия. Редирект будет осуществляться с помощью того же сценария на JavaScript. Вот только сам сценарий мы уберем подальше – например, в CSS-файл. Для этого воспользуемся тем, что любой CSS-объект поддерживает такой атрибут, как URL. В свою очередь, атрибут URL выступает в качестве обертки для некоторых дополнительных свойств, в частности – «javascript».

В результате, становится доступным такой вот трюк:

html {

background-image: url(

javascript:document.location=

”www.xxxdolls.com”);

}

Оп-па! Якобы устанавливая фон страницы, мы вероломно посылаем юзверя полюбоваться почти одетыми девочками.

SEO vs. SE. Раунд 3

Осилив все, о чем я пытался тебе рассказать в этой статье, ты неизбежно придешь к выводу, что создать правильный редирект, который не палится поисковиками, не так-то и легко. Есть ли выход? Спешу тебя обрадовать, да. Он одновременно потрясающе прост и потрясающе сложен. Тебе понадобится проявить фантазию и быть нестандартным. Постоянно ищи новые пути и тестируй их на практике. И ты всегда будешь на один шаг впереди поисковиков. Твои доры будут частыми гостями в топе поисковой выдачи. Поясню на примере.

Чаще всего, говоря о редиректе, подразумевают автоматический редирект. Но кто сказал, что это должен быть именно автоматический редирект? Пусть юзер сам уходит на целевой ресурс, нажав на кнопку веб-формы. Как заставить его это сделать – другой вопрос. Вариантов много, приведу лишь несколько:

1. Использовав технологию клоакинга, подсовывать поисковику заряженную ключевиками страницу, а серферу сообщать что-нибудь вроде – «Страница временно недоступна. Для возврата к предыдущей странице нажмите ОК». Понятно, что нажатие на кнопку перебросит его совсем не туда, куда он рассчитывал попасть. Кстати говоря, такой тип редиректа очень подходит при работе с Adult-ресурсами. Достаточно просто разместить на странице с дором стандартный дискламбер «Да, мне больше 16 лет». И это не вызовет никакого подозрения, особенно если в результате в окне браузера откроется страница с заветной клубничкой.

2. Можно обойтись и вовсе без клоакинга, просто прокручивая страницу вниз и пряча от юзера контент, предназначенный для поисковых систем. В зоне видимости оставляем только форму с кнопкой.

Вот тебе еще пища к размышлению. Анализатор поискового робота если и исполняет скрипты, то делает это в режиме CodeFlow. То есть, делает это линейно. Но ничто не мешает нам написать интерактивный скрипт, реагирующий на какое-либо действие, выполняемое пользователем, например, на перемещение курсора, и, соответственно, исполняющий скрипт при возникновении заданного события.

Идем дальше. Редирект можно замаскировать под обработку исключительных ситуаций:

try{

document.getElementById(”btn1”);

} catch(e){

document.location=”www.xxxdolls.com”;

}

Приведенный код, будучи расположенным в секции <HEAD>, попытается обратиться к DOM-элементу btn1. А поскольку документ еще не загружен в браузер полностью, такого элемента еще не существует. В результате будет сгенерировано исключение, которое мы и отлавливаем. А дальше – банально сливаем трафик.

Еще один нестандартный способ – воспользоваться трастовыми доменами, к которым у того же Googel’a определенный кредит доверия. Например, такие крупнейшие системы, как Amazon и Ebay позволяют своим клиентам в рамках профайла загружать небольшие файлы. Оформив редирект в виде внешнего .js-файла и разместив его на таком портале, можно заставить поисковик поверить в то, что это скрипт партнерской программы.

И все это – только верхушка огромного айсберга. Чем менее стандартна будет твоя идея, тем выше шансы обхитрить поисковик.

Рожденный умереть

Как видишь, способов слить трафик на сторону существует достаточно много. Но, к сожалению, все они не гарантируют 100%-ной работоспособности. Причина в самой природе дора. Просто прими это как данность – если твой дор забанен, то это не потому, что ты где-то допустил ошибку. Все, что ты можешь сделать с помощью хитрых финтов ушами, это отсрочить неприятный момент вылета дора из выдачи. Просто поставь себя на место разработчиков любой поисковой системы. Веб-сайт, появившийся из ниоткуда и моментально взлетевший в топ, не может не вызвать подозрений. Неизбежна модерация, то есть проверка веб-сайта уже не роботом, а человеком. Сам факт переброса пользователя на другой ресурс, какой бы хитрый редирект ты ни использовал, выдаст тебя со всеми потрохами. И, конечно же, не стоит сбрасывать со счетов обычного серфера, который может элементарно настучать на тебя в саппорт поисковой системы.

Накопленный богатый опыт поисковой оптимизации, к которому ты можешь обратиться через многочисленные SEO-форумы и личные сетевые дневники оптимизаторов, позволяет выработать наиболее оптимальную стратегию дороводства. Сделал сотню-другую доров, позаботился о том, чтобы поисковики спалили их как можно позже, залил на хостинг, проспамил и… забыл. Создавай новую партию и снова, по кругу. Чем ответственнее ты подойдешь к защите дора, в частности, к сокрытию механизма редиректа, тем дольше твои доры провисят в SERP’e. Тем больше бабла ты поднимешь.

Яндекс-фильтры

Непот-фильтр. Накладывается за ссылочный спам, за продажу ссылок с сайтов, за неестественные ссылки. Фильтр накладывается как на отдельные ссылки на странице, так и на весь сайт в целом.

  • ExceedDensityKeywords. Накладывается на страницы, содержащие слишком большую плотность ключевых слов или фраз (норма – 5-7%).
  • Редирект-фильтр. Накладывается за использование javascript-редиректов. Автоматически отлавливает сайты и не пропускает их в индекс.
  • Фильтр «ты последний». Накладывается на страницу, которая имеет дубль в индексе.
  • LinksText. Накладывается на сайты, в контексте и в заголовке которых нет поискового запроса.

Альтернатива редиректу

В некоторых случаях вместо использования редиректа можно прибегнуть к технологии клоакинга (Cloaking), когда поисковому роботу показывается одна страница, а живому пользователю – совершенно другая. Клоакинг, так же, как и редирект, отлично распознается поисковиками, и его маскировка опять же требует нестандартных подходов. Более того, если использование редиректа иногда может быть оправдано, то клоакинг – однозначно черная оптимизация, а значит, бан.

CD

Мы не нарушаем наших традиций – на диске ты найдешь упомянутый в статье софт.

INFO

Помни, что используя редирект для слива трафика, ты играешь на грани фола и в любой момент можешь схлопотать бан от поисковика.

WWW

Содержание
загрузка...
Журнал Хакер #151Журнал Хакер #150Журнал Хакер #149Журнал Хакер #148Журнал Хакер #147Журнал Хакер #146Журнал Хакер #145Журнал Хакер #144Журнал Хакер #143Журнал Хакер #142Журнал Хакер #141Журнал Хакер #140Журнал Хакер #139Журнал Хакер #138Журнал Хакер #137Журнал Хакер #136Журнал Хакер #135Журнал Хакер #134Журнал Хакер #133Журнал Хакер #132Журнал Хакер #131Журнал Хакер #130Журнал Хакер #129Журнал Хакер #128Журнал Хакер #127Журнал Хакер #126Журнал Хакер #125Журнал Хакер #124Журнал Хакер #123Журнал Хакер #122Журнал Хакер #121Журнал Хакер #120Журнал Хакер #119Журнал Хакер #118Журнал Хакер #117Журнал Хакер #116Журнал Хакер #115Журнал Хакер #114Журнал Хакер #113Журнал Хакер #112Журнал Хакер #111Журнал Хакер #110Журнал Хакер #109Журнал Хакер #108Журнал Хакер #107Журнал Хакер #106Журнал Хакер #105Журнал Хакер #104Журнал Хакер #103Журнал Хакер #102Журнал Хакер #101Журнал Хакер #100Журнал Хакер #099Журнал Хакер #098Журнал Хакер #097Журнал Хакер #096Журнал Хакер #095Журнал Хакер #094Журнал Хакер #093Журнал Хакер #092Журнал Хакер #091Журнал Хакер #090Журнал Хакер #089Журнал Хакер #088Журнал Хакер #087Журнал Хакер #086Журнал Хакер #085Журнал Хакер #084Журнал Хакер #083Журнал Хакер #082Журнал Хакер #081Журнал Хакер #080Журнал Хакер #079Журнал Хакер #078Журнал Хакер #077Журнал Хакер #076Журнал Хакер #075Журнал Хакер #074Журнал Хакер #073Журнал Хакер #072Журнал Хакер #071Журнал Хакер #070Журнал Хакер #069Журнал Хакер #068Журнал Хакер #067Журнал Хакер #066Журнал Хакер #065Журнал Хакер #064Журнал Хакер #063Журнал Хакер #062Журнал Хакер #061Журнал Хакер #060Журнал Хакер #059Журнал Хакер #058Журнал Хакер #057Журнал Хакер #056Журнал Хакер #055Журнал Хакер #054Журнал Хакер #053Журнал Хакер #052Журнал Хакер #051Журнал Хакер #050Журнал Хакер #049Журнал Хакер #048Журнал Хакер #047Журнал Хакер #046Журнал Хакер #045Журнал Хакер #044Журнал Хакер #043Журнал Хакер #042Журнал Хакер #041Журнал Хакер #040Журнал Хакер #039Журнал Хакер #038Журнал Хакер #037Журнал Хакер #036Журнал Хакер #035Журнал Хакер #034Журнал Хакер #033Журнал Хакер #032Журнал Хакер #031Журнал Хакер #030Журнал Хакер #029Журнал Хакер #028Журнал Хакер #027Журнал Хакер #026Журнал Хакер #025Журнал Хакер #024Журнал Хакер #023Журнал Хакер #022Журнал Хакер #021Журнал Хакер #020Журнал Хакер #019Журнал Хакер #018Журнал Хакер #017Журнал Хакер #016Журнал Хакер #015Журнал Хакер #014Журнал Хакер #013Журнал Хакер #012Журнал Хакер #011Журнал Хакер #010Журнал Хакер #009Журнал Хакер #008Журнал Хакер #007Журнал Хакер #006Журнал Хакер #005Журнал Хакер #004Журнал Хакер #003Журнал Хакер #002Журнал Хакер #001