Вообще то это уже четвёртый дорвей, но второй на отдельном домене и не моей собственной площадке. Ещё два дорвея расположены на бесплатных хостингах, один из них на народе и по моему мнению именно он принёс ту двадцатку с топкеша. Кеи на второй огромный дор я заготовил ещё давно их около 90000 фраз, домен тоже был куплен вместе с первым. Генерить начал как и в прошлый раз переделанным генератором дорвеев Red.Button. Для дорвея я немного подправил шаблон, взял вторую половину моих кеев и начал генерить. После окончания получится около 90000 страниц, собственно примерно столько же, сколько и на первом дорвее. Тематика всё та же, это русский adult. Следующий дорвей я планирую сделать под англоязычные запросы для буржуев, посмотрим как там с этим делом обстоят дела. Завтра я думаю закону генерить свой второй огромный дорвей исразу залью его на свою площадку. Посмотрим как не него отреагируют поисковики. Дальше - больше...
Ну вот и пошол понемногу первый трафик с первого дорвея. Переходы идут с рамблера, в него попало всего 1139 страниц, надеюсь это не предел. Яша и гугл были на сайте, но потом происходили с сайтом небольшие метаморфозы, он то пропадал, то вместо него отображалась дебильная надпись Apache is functioning normally (всё от того что с суппорте где у меня vds сидят омули, которые видимо особо в не волокут в администрировании, и приходилось возникающие проблемы решать самостоятельно и пришлось углублять повышать знания в области администрирования unix`ов). В общем буду ждать когдаж яша с гуглом посетят мой прекрасный дорвей.
До нового года думаю слепить и закинуть ещё одни такой же по размеру дорвейв сеть. И начну подумывать над дорвеями расчитаные на англоязычую часть интернета.
И так процесс сканирования кеев ещё не закончен, а в базе уже более 250000 фраз. Вообще после окончания сканирования получиться не менее полу миллиона фраз. Но пока я решил не дожидаться финала, а начать понемногу генерить дорвеи.
Для начала я решил сделать два дорвея. Отобрал 180000 кеев с частотой зарпоса каждой фразы не более 100 в месяц по яндексу. Разделил их на две части. Решил пока не заморачиваться со своим генератором, взял красную кнопку и начал пробывать генерить. Пришлось конечно внести некоторые изменения в скрипт, это в основном связано с перенаправлением, так как скрипт вставлял какую то ненужныю мне лабуду в конечные файлы, ну и по мелочам немного. На малых количествах фраз дорвеи только успевали отлетать. Но когда я подкинул ему базу на 80 тыщ фраз, то генератор мягко сказать обосрался. За ночь он сгенерил статичных страниц около 1500. Понятно что чтобы сгенерить все 90000 ему бы пришлось потеть не одну неделю.
Я пошёл другим путём. Переписал красную кнопку под запуск из командной строки, разбил обе части ключевиков ещё на восемь частей. В итоге получится два дорвея, каждый из который будет иметь по примерно 10000 страниц на доменах второго уровня и 8 доменов третьего уровня, каждый из которых так же содержит примерно по 10000 страниц. Получается те же 90000 страниц на дорвей. На самом мощном компе, который у меня есть, я запустил сразу восемь девять скриптов из командной строки (дабы избежать ненужных зависаний и глюков от web сервера) которые генерят сразу в девять папок страницы, которые я в дальнейшем соединю в один дорвей. Разумеется что поддомены и домен будут перелинкованы между собой. Потом все этиже процессы я произведу для создания второго дорвея, под который как и для первого уже куплены домены.
Всего на генерацию каждого дорвея уйдёт примерно по 16 часов. Размер дорвея напрямую зависит от количества ключевых фраз создаваемых страниц. К примеру дорвей на 80 страниц создаётся за 12 секунд. Вообще я подозреваю что можно оптимизировать код красной кнопки, чтоб процес генерации шол по веселее быстрее.
Под дорвеи на своей площадке я на всякий случай (чтоб белые сайты на этой же площадке не попали под фильтры поисковиков по ip) подзамутил второй ip.
Вот уже несколько дней время от времени я запускаю Магадан и собираю ключевики, прога работает без проскей, поэтому получается не очень быстро. Однако я уже преодолел предел в 200 тыщ. Ключевики идут вплоть до 5-6 слов и запросами по 5-50 в месяц, ну бывает и меньше и больше. Потом загоню всю базу в MySQL и фильтрону на шляпу и ВЧ запросы, благо додумался до начала сборов включить галку сохранять вместе с количеством запросов. Думаю пол миллиона я в состоянии напарсить, не кислые будут получаться доры))
Только вот с текстами для доров пока не очень понятно, думаю не буду запариваться сдирать уникальный контент для каждого ключевика, иначе это затянеться не на один месяц(( Долгостроев у меня и так хватает (это отложенные проекты по разным причинам на неопределённое время, так сказать до лучших времён). Нашёл многу тексту, точнее рассказов, которые думаю напарсить собрать в один, и мешаю слова и предложения по алгоритму цепей Маркова, генерить уникальный текст для каждого ключевика. Хорошо бы ещё картинок напарсить и подмешивать в текст, ну так для разнообразия, хотя многие говорят что и не стоит так запариваться.
Вообщем пока собирал слова своим парсером, нашёл клёвую утилиту под названием Магадан 1.1 .
Поставил, попробывал, понравилась. Автору за4ёт. Двадцать пять метров потраченого трафа и 50000 слов в кармане. Я его ещё не отклоючил, так что посмотрим может и тыщ сто соберу, чего мелочится то...
Базу собираю для русского адалта. Думаю здесь мне быстрее всего получиться подзаработать, блаог партнёрок на эту тему навалом. После того как Магадан соберёт базу, я загоню её в базу mysql, отсортирую поколичествам запросов и награблю для каждого тексту, прогоняя тексты через алгоритм цепей Маркова. А дальше имея базу с ключевикими и текстами, останется дело за малым, сгенерить на основе всего этого и какого нить шаблона мой первый путёвый дорвей, но об этом позже...
Скачивайте Магадан 1.1 и не запаривайтесь над своими парсерами, нового ничего не изобретёте. Магадан бесплатен, да и работает шустренько.
Вообщем свой путь к дорвеям я начал со сбора своей базы ключевых слов. Разумеется начал с яндекса и его сервисом по определению частоты запросов. За час набросал скрипт на который собирает фразы в базу вместе с количеством, потом будет проще отобрать низкочастотные запросы. Понемногу граблю яндекс, хотя он сопротивляется, ip проксе через которые ведётся граб постоянно банятся.
На данный момент собрано около 3500 запросов, я конечно понимаю что это очень мало, поэтому думаю подсобрать базу хотя бы из 50000 тысяч запросов и начну делать свой первый дорвей.
Теперь когда у меня уже почти есть база ключевиков, осталось то:
1. Напарсить тексту из поисковиков по собраным запросам и пройтись по нему скриптом который пересортирует слова по алгоритмам цепей Маркова
2. Сгенерить, на основе полученных текстов и ключевиков, страницы
3. Разместить дорвей и перенаправить всех на мой TDS, а далее уже буду искать куда пристраивать трафик, если он конечно будет.
И так, всё идет своим чередом, ссылки продаются, сайты понемногу переношу на свой VDS, пришло время освоить дорвеи. К дореям я пришёл когда начал вникать в суть вопроса о заработках на партнёрках. Нужет трафик, который гонится на партнёрские программы,а его или покупать и получать своими силами.
Из всех способов получения трафика решено для начала опробовать дорвеи. И так с чего я начал...
Качнул генератор дорвеевred.Button, пока это единственно что удалось найти из того что обычно рекомендуют. Ну для начал я думаю хватит.
Далее я качнул TDS, не стал особо выбирать, взял первую попавшёюся платную версию, раззендел её, убрал ограничения и вуаля... у меня крутой маршрутизатор трафика нахаляву)
Теперь дело за дореями, которые будут сливать весь трафик на мою TDS а делее по партнёрским програмам.
С красной кнопкой я особо не разбирался, но понял одно, что дорген мне придётся писать самому... А так не хочется. В любом случае начать стоит с того что подсабрать нужные базы по ключевым фразам. Думаю написать свой парсер, хотя тоже не хочеться, начну думаю с готовых. Вообщем первые дорвеи я думаю всё таки сделать на том что есть в сети. А далее по мере необходимости допишу своего софта.
Loading ...
