Собираем базу кейвордов

Автор: gregor от 27 ноября 2008 в категории Мой миллион

Вообщем свой путь к дорвеям я начал со сбора своей базы ключевых слов. Разумеется начал с яндекса и его сервисом по определению частоты запросов. За час набросал скрипт на который собирает фразы в базу вместе с количеством, потом будет проще отобрать низкочастотные запросы. Понемногу граблю яндекс, хотя он сопротивляется, ip проксе через которые ведётся граб постоянно банятся.

На данный момент собрано около 3500 запросов, я конечно понимаю что это очень мало, поэтому думаю подсобрать базу хотя бы из 50000 тысяч запросов и начну делать свой первый дорвей.

Теперь когда у меня уже почти есть база ключевиков, осталось то:
1. Напарсить тексту из поисковиков по собраным запросам и пройтись по нему скриптом который пересортирует слова по алгоритмам цепей Маркова
2. Сгенерить, на основе полученных текстов и ключевиков, страницы
3. Разместить дорвей и перенаправить всех на мой TDS, а далее уже буду искать куда пристраивать трафик, если он конечно будет.

Далее... далее...

Tags: дорвеи, Дорвей, парсер яндекса

Цепи Маркова на PHP

Автор: gregor от 27 ноября 2008 в категории Мой миллион, Пишем на PHP

Пришёл к тому что надо собирать свою базу запросов, грабить и можернизировать тексты, и на основе своей базы делать дорвеи.

Во время поиска полезной информации о дорвеях, набрёл на скрипт который генерирует текст по алгоритму цепей Маркова.

Вот он:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

Class MarkovChains{

var $prepared = array();

function MarkovChains($source){

$source = strtolower($source);

$source = str_replace(array ("? ", "! "), ".", $source);

$source = str_replace(array (" -", "- ", "\t", "\r", "\n", "|", "&amp;", '\', '/', " :", " ;", "©", "•"), ' ', $source);

$source = str_replace(array (")", "(", "]", "[", "'", "\"", '*', '•', '~', '{', '}'), '', $source);

$source = str_replace(" ,", ",", $source);

$source = preg_replace("~(\s+\d{1,2}\s+)|(\w*\.\w+)~", " ", $source);

$source = preg_replace("~\s+~", " ", $source);$sentens = explode('. ', $source);

$count_sentens = count($sentens);

for ($j=0; $j&lt;$count_sentens; ++$j){

$sentens[$j] = explode(' ', $sentens[$j]);

$count_words = count($sentens[$j]) - 1;

for ($i=0; $i &lt; $count_words; ++$i){

$prefix = $sentens[$j][$i];

$this-&gt;prepared[$prefix][] = $sentens[$j][$i+1];

}

}

$keys = array_keys($this-&gt;prepared);

foreach ($keys as $key){

$this-&gt;prepared[$key] = array_unique($this-&gt;prepared[$key]);

}

}

function GenerateText($size){

$result_count = 0;

for ($j=0; $result_count &lt; $size; ++$j){

$prev = array_rand($this-&gt;prepared);

$num = mt_rand(5, 12);

for ($i=0; $i&lt;$num; ++$i){

$sents[$j][$i] = $prev;

++$result_count;

$p = $this-&gt;prepared[$prev][mt_rand(0, count($this-&gt;prepared[$prev]) - 1)];

if ($p == '') $p = array_rand($this-&gt;prepared);

$prev = $p;

if ($prev == '') break 2;

}

}

foreach ($sents as $sent){

$count_word=count($sent);

if ($count_word&lt;=2) continue;

if (strlen($sent[$count_word-1]) &lt; 4) unset($sent[$count_word-1]);

$sent[$count_word-2] = rtrim($sent[$count_word-2], ",:;");

$sent[$count_word-1] = rtrim($sent[$count_word-1], ",:;");

$output .= ucfirst(implode(' ', $sent)).'. ';

}

$output = str_replace(' .', '.', $output);

return $output;

}

}

?&gt;

Скачать скрипт на php для генерирования текста по правилам цепей Маркова

Цепи Маркова (782 байт, Скачено: 1,351)

Пример использования

1
2
3
4
5

$source = "тут текст";

//file_get_contents("text.txt");

$markov = new MarkovChains($source);

$result = $markov-&gt;GenerateText(500);

echo $result;

Tags: php, непрерывные цепи маркова, Цепи Маркова, цепи маркова генератор

Страница 1 из 1 1

Календарь

Активный месяц

Copyright © 2008 - 2012 Гришкин SEO Блог. Тема от WebGO. Карта сайта. Каталог ссылок.