Вообще то это уже четвёртый дорвей, но второй на отдельном домене и не моей собственной площадке. Ещё два дорвея расположены на бесплатных хостингах, один из них на народе и по моему мнению именно он принёс ту двадцатку с топкеша. Кеи на второй огромный дор я заготовил ещё давно их около 90000 фраз, домен тоже был куплен вместе с первым. Генерить начал как и в прошлый раз переделанным генератором дорвеев Red.Button. Для дорвея я немного подправил шаблон, взял вторую половину моих кеев и начал генерить. После окончания получится около 90000 страниц, собственно примерно столько же, сколько и на первом дорвее. Тематика всё та же, это русский adult. Следующий дорвей я планирую сделать под англоязычные запросы для буржуев, посмотрим как там с этим делом обстоят дела. Завтра я думаю закону генерить свой второй огромный дорвей исразу залью его на свою площадку. Посмотрим как не него отреагируют поисковики. Дальше - больше...
Ну вот и пошол понемногу первый трафик с первого дорвея. Переходы идут с рамблера, в него попало всего 1139 страниц, надеюсь это не предел. Яша и гугл были на сайте, но потом происходили с сайтом небольшие метаморфозы, он то пропадал, то вместо него отображалась дебильная надпись Apache is functioning normally (всё от того что с суппорте где у меня vds сидят омули, которые видимо особо в не волокут в администрировании, и приходилось возникающие проблемы решать самостоятельно и пришлось углублять повышать знания в области администрирования unix`ов). В общем буду ждать когдаж яша с гуглом посетят мой прекрасный дорвей.
До нового года думаю слепить и закинуть ещё одни такой же по размеру дорвейв сеть. И начну подумывать над дорвеями расчитаные на англоязычую часть интернета.
И так процесс сканирования кеев ещё не закончен, а в базе уже более 250000 фраз. Вообще после окончания сканирования получиться не менее полу миллиона фраз. Но пока я решил не дожидаться финала, а начать понемногу генерить дорвеи.
Для начала я решил сделать два дорвея. Отобрал 180000 кеев с частотой зарпоса каждой фразы не более 100 в месяц по яндексу. Разделил их на две части. Решил пока не заморачиваться со своим генератором, взял красную кнопку и начал пробывать генерить. Пришлось конечно внести некоторые изменения в скрипт, это в основном связано с перенаправлением, так как скрипт вставлял какую то ненужныю мне лабуду в конечные файлы, ну и по мелочам немного. На малых количествах фраз дорвеи только успевали отлетать. Но когда я подкинул ему базу на 80 тыщ фраз, то генератор мягко сказать обосрался. За ночь он сгенерил статичных страниц около 1500. Понятно что чтобы сгенерить все 90000 ему бы пришлось потеть не одну неделю.
Я пошёл другим путём. Переписал красную кнопку под запуск из командной строки, разбил обе части ключевиков ещё на восемь частей. В итоге получится два дорвея, каждый из который будет иметь по примерно 10000 страниц на доменах второго уровня и 8 доменов третьего уровня, каждый из которых так же содержит примерно по 10000 страниц. Получается те же 90000 страниц на дорвей. На самом мощном компе, который у меня есть, я запустил сразу восемь девять скриптов из командной строки (дабы избежать ненужных зависаний и глюков от web сервера) которые генерят сразу в девять папок страницы, которые я в дальнейшем соединю в один дорвей. Разумеется что поддомены и домен будут перелинкованы между собой. Потом все этиже процессы я произведу для создания второго дорвея, под который как и для первого уже куплены домены.
Всего на генерацию каждого дорвея уйдёт примерно по 16 часов. Размер дорвея напрямую зависит от количества ключевых фраз создаваемых страниц. К примеру дорвей на 80 страниц создаётся за 12 секунд. Вообще я подозреваю что можно оптимизировать код красной кнопки, чтоб процес генерации шол по веселее быстрее.
Под дорвеи на своей площадке я на всякий случай (чтоб белые сайты на этой же площадке не попали под фильтры поисковиков по ip) подзамутил второй ip.
Loading ...