И так процесс сканирования кеев ещё не закончен, а в базе уже более 250000 фраз. Вообще после окончания сканирования получиться не менее полу миллиона фраз. Но пока я решил не дожидаться финала, а начать понемногу генерить дорвеи.
Для начала я решил сделать два дорвея. Отобрал 180000 кеев с частотой зарпоса каждой фразы не более 100 в месяц по яндексу. Разделил их на две части. Решил пока не заморачиваться со своим генератором, взял красную кнопку и начал пробывать генерить. Пришлось конечно внести некоторые изменения в скрипт, это в основном связано с перенаправлением, так как скрипт вставлял какую то ненужныю мне лабуду в конечные файлы, ну и по мелочам немного. На малых количествах фраз дорвеи только успевали отлетать. Но когда я подкинул ему базу на 80 тыщ фраз, то генератор мягко сказать обосрался. За ночь он сгенерил статичных страниц около 1500. Понятно что чтобы сгенерить все 90000 ему бы пришлось потеть не одну неделю.
Я пошёл другим путём. Переписал красную кнопку под запуск из командной строки, разбил обе части ключевиков ещё на восемь частей. В итоге получится два дорвея, каждый из который будет иметь по примерно 10000 страниц на доменах второго уровня и 8 доменов третьего уровня, каждый из которых так же содержит примерно по 10000 страниц. Получается те же 90000 страниц на дорвей. На самом мощном компе, который у меня есть, я запустил сразу восемь девять скриптов из командной строки (дабы избежать ненужных зависаний и глюков от web сервера) которые генерят сразу в девять папок страницы, которые я в дальнейшем соединю в один дорвей. Разумеется что поддомены и домен будут перелинкованы между собой. Потом все этиже процессы я произведу для создания второго дорвея, под который как и для первого уже куплены домены.
Всего на генерацию каждого дорвея уйдёт примерно по 16 часов. Размер дорвея напрямую зависит от количества ключевых фраз создаваемых страниц. К примеру дорвей на 80 страниц создаётся за 12 секунд. Вообще я подозреваю что можно оптимизировать код красной кнопки, чтоб процес генерации шол по веселее быстрее.
Под дорвеи на своей площадке я на всякий случай (чтоб белые сайты на этой же площадке не попали под фильтры поисковиков по ip) подзамутил второй ip.
Еще нет комментариев.