Наконец то я нашёл применение для домена http://тула.su . Домен был отдан под Тульский блог, и его уже начали по немногу оформлять. Автором в блоге может стать любой желающий. Разумеется посты будут публиковатся только после одобрения модераторами. В Туле у нас народ активный, поэтому думаю будут активно участвовать в развитии ресурса. Сейчас в блоге в основном видео посты, интересными сюжетами на около Тульские темы.
Вообще думал прикупить отдельный домен типа blogtula.ru и поставить на него WP MU для организации сервиса блогов. Для того чтобы Туляки смогли создавать и вести свои блоги, и чтобы в их названиях фигурировал их любимый город.
Сегодня даже телевидениедвинула тему про байкот одной из известных социальных сетей. То оно (телевидение) даёт нормальную рекламы этой сети, то топит ведя пропаганду байкота.
Я и так то редко посещаю данный сайт, а в связи с таким нагляжом, что брать бабосы за регистрацию аккаунтов, я в несколько раз сокращу своё посещение данного ресурса. На самом деле достойных альтернатив одноклассникам очень много, я думаю кому надо найдут, чтоб без рекламы обойтись.
Ну вот и пошол понемногу первый трафик с первого дорвея. Переходы идут с рамблера, в него попало всего 1139 страниц, надеюсь это не предел. Яша и гугл были на сайте, но потом происходили с сайтом небольшие метаморфозы, он то пропадал, то вместо него отображалась дебильная надпись Apache is functioning normally (всё от того что с суппорте где у меня vds сидят омули, которые видимо особо в не волокут в администрировании, и приходилось возникающие проблемы решать самостоятельно и пришлось углублять повышать знания в области администрирования unix`ов). В общем буду ждать когдаж яша с гуглом посетят мой прекрасный дорвей.
До нового года думаю слепить и закинуть ещё одни такой же по размеру дорвейв сеть. И начну подумывать над дорвеями расчитаные на англоязычую часть интернета.
Всё таки я собрался силами и перенёс сайт города Тула с локального сервера на внешку. Теперь я точно знаю что сайт весит больше гига. На локальном сервере было оооочень много папок и точно определить какие из них относятся к сайту, а какие нет не было времени. Ну вот потратил два дня и сайт города Тула на внешке. Надеюсь теперь доступ к сайту для поисковиков будет постабильнее и в выдачах появятся все страницы с портала. По моим прикидкам их не менее 50000, щас в выдаче яндекса 6991 а в гугле 4010. В рамблере хоть и больше всего страниц, это коло 11000, но с него идёт меньше всего народу. При таких выдачай , щас около 800 человек в день.
После переноса прикупил немного ссылок чтобы двинуть сайт по запросу Тула. Оптимизировал несколько страниц. Подремонтировал некоторые разделы. Переделал полностью скин для сайта. Ну и много чего ещё сделал. Надеюсь после того как доверие поисковиков вернётся, после затяжной разрухи на сайте, народ попрёт с потоком не меньше 1000-1500 человек в сутки. К тому же количество ссылок в выдаче яндекса напрямую влияет на мой заработок. Щас сайт приносит около 3,5$ в день, следовательно ~105$ в месяц, посмотрим как потраченные два дня скажутся на заработках.
В помощь порталу я решил определить имеющийся у меня доментула.su. Думаю подзамутить на нём Тульский блог или даже службу блогов рассчитаную на Тульскую аудиторию. Вообщем пока весь в раздумьях.
И так процесс сканирования кеев ещё не закончен, а в базе уже более 250000 фраз. Вообще после окончания сканирования получиться не менее полу миллиона фраз. Но пока я решил не дожидаться финала, а начать понемногу генерить дорвеи.
Для начала я решил сделать два дорвея. Отобрал 180000 кеев с частотой зарпоса каждой фразы не более 100 в месяц по яндексу. Разделил их на две части. Решил пока не заморачиваться со своим генератором, взял красную кнопку и начал пробывать генерить. Пришлось конечно внести некоторые изменения в скрипт, это в основном связано с перенаправлением, так как скрипт вставлял какую то ненужныю мне лабуду в конечные файлы, ну и по мелочам немного. На малых количествах фраз дорвеи только успевали отлетать. Но когда я подкинул ему базу на 80 тыщ фраз, то генератор мягко сказать обосрался. За ночь он сгенерил статичных страниц около 1500. Понятно что чтобы сгенерить все 90000 ему бы пришлось потеть не одну неделю.
Я пошёл другим путём. Переписал красную кнопку под запуск из командной строки, разбил обе части ключевиков ещё на восемь частей. В итоге получится два дорвея, каждый из который будет иметь по примерно 10000 страниц на доменах второго уровня и 8 доменов третьего уровня, каждый из которых так же содержит примерно по 10000 страниц. Получается те же 90000 страниц на дорвей. На самом мощном компе, который у меня есть, я запустил сразу восемь девять скриптов из командной строки (дабы избежать ненужных зависаний и глюков от web сервера) которые генерят сразу в девять папок страницы, которые я в дальнейшем соединю в один дорвей. Разумеется что поддомены и домен будут перелинкованы между собой. Потом все этиже процессы я произведу для создания второго дорвея, под который как и для первого уже куплены домены.
Всего на генерацию каждого дорвея уйдёт примерно по 16 часов. Размер дорвея напрямую зависит от количества ключевых фраз создаваемых страниц. К примеру дорвей на 80 страниц создаётся за 12 секунд. Вообще я подозреваю что можно оптимизировать код красной кнопки, чтоб процес генерации шол по веселее быстрее.
Под дорвеи на своей площадке я на всякий случай (чтоб белые сайты на этой же площадке не попали под фильтры поисковиков по ip) подзамутил второй ip.
Сегодня ДР у вещи которую я продержал в руках больше пол жизни. И так. это ... да, да, обычная компьютерная мышь. Первым изобретателем принято считать Дугласа Энгельбарта. Воплотил же его идею в жизнь, его друг и коллега - Билл Инглиш. Первая мышь была деревянненькой и похожа на мыльницу. Вместо шарика были задействованы два колёсика. Одно из них отвечало за контроль перемещения по вертикали, второе соответственно по горизонтали. Одновременно оба колесика работать не могли. Официально первая мышка называлась XY Position Indicator for a Display System (Индикатор положения X-Y для системы отображения), но разработчики между собой ее называли «мышь», за провод, напоминающий мышиный хвост. Конечно же, не обошлось без кнопки: на спине у девайса красовалась маленькая красная кнопочка.
Сейчас Дуглас Энгельбарт мог бы быть богаче и известней Билла Гейтса, но он сознательно "ушёл в тень" и о нём мало кто вспоминает. В 68-м он получил от работодателей за своё изобретение чек на $10 тысяч и весь гонорар внёс в качестве первого вклада за скромный загородный домик.
Впрочем, 1 декабря 2000 года Дуглас Энгельбарт был награждён Медалью технологий (National Medal of Technology) — высшей наградой правительства США. Так Белый дом оценил все технологические достижения учёного, включая изобретение компьютерной мыши.
Столкнулся с такой проблемой как отсутсвие нормальной статистики на своём VDS для размещённых на нём доменов. Захотелось поставить поставить AwStats. Оказалось не всё так сложно:
1) заходим в панель Directadmin'а под admin'ом
2) переходим в раздел Менеджер плагинов(Plugin Manager)
3) вводим в поле URL для загрузки адрес плагина: http://www.fusion-ict.nl/da_plugin/awstats.tar.gz а
4) в поле Password вводим админовский пароль
5) заходим в терминал через ssh (например putty) под рутом
6) выполняем /usr/local/directadmin/plugins/awstats/update/update.sh для обновления AwStats до последней актуальной версии
7) выполняем /usr/local/directadmin/plugins/awstats/hooks/alldomains.php для генерирования конфигурационных файлов для всех существующих в панели управления доменов. открываем редактором vi файл крона выполнив команду: vi /etc/cron.d/directadmin_cron
9) для вставки текста жмём i и вводим в конец файла с новой строки 0 1 * * * root /usr/local/directadmin/plugins/awstats/hooks/cgi-bin/awstats_updateall.pl now -awstatsprog=/usr/local/directadmin/plugins/awstats/hooks/cgi-bin/awstats.pl
10) для сохранения и выхода нажмите ESC, а затем наберите :wq (для выхода из vi без сохранения изменений нажмите ESC, а затем наберите :q!)
11) даем команду демону crond перечитать свои конфиги выполнив команду: service crond reload
Выполнив эти нехитрые одиннадцать пунктов мы получаем крутую статистику по адресу http://ваш.домен/awstats/
Вот уже несколько дней время от времени я запускаю Магадан и собираю ключевики, прога работает без проскей, поэтому получается не очень быстро. Однако я уже преодолел предел в 200 тыщ. Ключевики идут вплоть до 5-6 слов и запросами по 5-50 в месяц, ну бывает и меньше и больше. Потом загоню всю базу в MySQL и фильтрону на шляпу и ВЧ запросы, благо додумался до начала сборов включить галку сохранять вместе с количеством запросов. Думаю пол миллиона я в состоянии напарсить, не кислые будут получаться доры))
Только вот с текстами для доров пока не очень понятно, думаю не буду запариваться сдирать уникальный контент для каждого ключевика, иначе это затянеться не на один месяц(( Долгостроев у меня и так хватает (это отложенные проекты по разным причинам на неопределённое время, так сказать до лучших времён). Нашёл многу тексту, точнее рассказов, которые думаю напарсить собрать в один, и мешаю слова и предложения по алгоритму цепей Маркова, генерить уникальный текст для каждого ключевика. Хорошо бы ещё картинок напарсить и подмешивать в текст, ну так для разнообразия, хотя многие говорят что и не стоит так запариваться.
открываем редактором vi файл крона выполнив команду: vi /etc/cron.d/directadmin_cron