Автоматическое создание меток в теме на основе морфологического анализа сообщений темы для vB3.8.x (версия для vB4.0.x смотреть в этой теме)
Версия: 1.5
Описание:
Этот продукт позволяет автоматически создавать метки в темах, используя морфологический
анализ сообщений с помощью библиотеки морфологического анализа phpMorphy (http://phpmorphy.sourceforge.net/dokuwiki/).
При включенном продукте, все сообщения на форуме будут проанализированы и в случае
наличия повторяющихся слов в тексте сообщения, они будут добавлены в метки темы.
Метки в тему добавляются в нормализованном виде.
Опции:

1. Поддержка функциональности UTF8.
2. Минимальная длинна слова.
3. Возможность занесения слов из темы сообщения без расчета вхождений.
4. Возможность определить список частей речи разрешенных для меток.
5. Автоматический расчет минимального количества вхождений слова в текст сообщения для занесения его в список меток. Возможно отключение, при этом можно указать минимальное количество вхождений слова.
6. Обработка сообщений в автоматическом режиме средствами cron. Для старых сообщений присутствует возможность постепенной автоматической обработки.
7. Включение и отключение словарей из настроек.
8. Список игнорирования разделов.
9. Стратегия игнорирования разделов. Игнорирование указанных разделов или игнорирование всех разделов кроме указанных разделов.
10. Возможность создавать свои пары слов для замены (например "укртелек => укртелеком", "максик => максим").
11. Список слов для которых будет игнорироваться расчет количества вхождений.

Установка:

1. Загрузить файлы из каталога "upload_to_ftp" в корневой каталог форума.
2. Загрузить файлы словарей. Вы можете использовать любой каталог для хранения словарей, каталог хранения вы можете указать в настройках продукта.
   По умолчанию используется каталог forum/includes/phpmorphy/dicts.
   Набор словарей по умолчанию Русский, Украинский, Английский.
3. Установить продукт.
4. Указать в настройках место хранения словарей.
5. Установить ID администратора от имени которого будут запускаться задачи cron.
6. Сделать настройки разрешенных частей речи.
7. Включить продукт.

Словари:
Русский, Украинский, Английский
Обязательно в своей кодировке!!!
Описание настроек

При переходе с версии 1.0-1.5:

1. Загрузить новые файлы из каталога "upload_to_ftp" в корневой каталог форума.
2. Установить продукт.При установке разрешить перезапись.
3. Установить ID администратора от имени которого будут запускаться задачи cron.

История версий:
Изменения в версии 1.5

Обновлен файл функций. Решена проблема с неправильной работой строковой функции перевода регистров. Обновлена библиотека морфологического анализа до версии 0.3.7.

Изменения в версии 1.4.1

Исправлены ошибки.

Изменения в версии 1.4

Добавлена стратегия игнорирования разделов. Игнорирование указанных разделов или игнорирование всех разделов кроме указанных разделов.
Добавлен список слов для которых будет игнорироваться расчет количества вхождений.

Изменения в версии 1.3

Добавлен список игнорирования разделов.
Добавлена возможность создавать свои пары слов для замены.

Изменения в версии 1.2

Добавлена настройка включения отключения словарей из административного меню.
Изменения в файлах cron. Восстановление пользователя и его прав после выполнения задачи.
Автоматическое отчистка от указателей на удаленные сообщения.

Изменения в версии 1.1

Исправление ошибки при автоматической обработке сообщений.
Добавлены новые настройки (ID администратора, значение битового поля прав).
Небольшие изменения во фразах.

В связи с тем, что это мой первый более менее сложный продукт, то рад буду выслушать ваши пожелания и критику.
ВНИМАНИЕ!
Обязательно прочесть! Про настройку исключений

Мне часто задают вопрос, почему "стратегия исключений". Почему так называется?
Дело в том, что эта настройка не включает или отключает исключения, а именно определяет как исключения будут работать.
Рассмотрим 2 варианта

1. Первый вариант - когда есть несколько разделов, например с оффтопом и мусором, в которых мы не хотим создавать метки. А во всех остальных разделах мы хотим, что бы метки создавались. Тогда нам надо оставить значение "Да" и вписать в список исключения эти несколько разделов.
2. Второй вариант - прямо противоположен первому. Мы в общем то не хотим создавать метки везде. Но у нас есть пару разделов с важной информацией и именно там нам метки нужны. То в этом случае нам надо выставить в стратегии "Нет" и в список исключений вписать разделы в которых метки будут создаваться.

Выглядит это немного странно, но вероятность того, что кому то будет нужен первый вариант, а комуто второй равна 50/50. Именно потому и возникло такое решение.
Еще раз! Исключение работает постоянно! Можно переключить только стратегию!

Списки замен по темам

Это не обязательные замены, рекомендуется применять в случае необходимости.

Общие темы

переменный => переменная,
машин => машина,
укртелек => укртелеком,

Формула 1

mcla => mclaren, 
toyo => toyota, 
конвь => конвей,
берня => берни,
монтедземолый => монтедземоло,
масти => мосли,
кий => кими,
алонсый => алонсо,
глка => глок,
грассить => грасси,
трулль => трулли,
фелип => фелипе,
campo => campos,
william => williams,

Список стоп слов

Это не обязательные список, рекомендуется применять в случае необходимости.

doubleclick http feed feedad feedburner phpclasses-xml --------- мень

Продукт выложен в 2 архивах в связи с тем, что архив весит больше чем разрешено для размещения вложения.
auto_morphy_tag_post_v1.5_vB3.8.x.rar на http://turbobit.net

При создании новой темы выдает следующую ошибку

PHP Code:

Warning: fopen() [function.fopen]: open_basedir restriction in effect. File(/home/users/public_html/includes/phpmorphy/dicts/common_aut.ru_ru.bin) is not within the allowed path(s): (/home/shuist/:/usr/lib/php:/usr/local/lib/php:/tmp) in [path]/includes/phpmorphy/storage.php on line 111

Warning: fopen(/home/users/public_html/includes/phpmorphy/dicts/common_aut.ru_ru.bin) [function.fopen]: failed to open stream: Operation not permitted in [path]/includes/phpmorphy/storage.php on line 111
Error occured while creating phpMorphy instance: Can`t open /home/users/public_html/includes/phpmorphy/dicts/common_aut.ru_ru.bin file 


А при запуске запленированной задачи amtp_cron

PHP Code:

Ошибка базы данных в vBulletin 3.8.1:

Invalid SQL:

        SELECT vb_post.postid, vb_
            post.threadid, vb_post.title, vb_
            post.pagetext, vb_post.dateline, vb_
            thread.forumid, vb_thread.taglist, vb_thread.postuserid
        FROM vb_post
        INNER JOIN vb_thread ON vb_post.threadid = vb_thread.threadid
        WHERE vb_post.postid NOT IN (0) AND vb_post.dateline >= 1256191409
        GROUP BY postid
        ORDER BY postid DESC;

Ошибка MySQL     : You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '.threadid, vb_post.title, vb_
            post.pagetext, vb_post.dateline, vb_
 ' at line 2
Номер ошибки     : 1064
Дата запроса     : Thursday, October 22nd 2009 @ 10:03:28 AM
Дата ошибки      : Thursday, October 22nd 2009 @ 10:03:28 AM
Скрипт           : http://ххх.ru/admin/cronadmin.php?do=runcron&cronid=50
Реферрер         : http://xxx.ru/admin/cronadmin.php?do=modify
IP адрес         : xxx
Имя пользователя : Дядюшка Дэн
Имя класса       : vB_Database
Версия MySQL     : 5.0.81-community 


Originally Posted by Дядюшка Дэн

А при запуске запленированной задачи amtp_cron

ну естессно...

PHP Code:

$threads = $vbulletin->db->query_read("
        SELECT " . TABLE_PREFIX . "post.postid, " . TABLE_PREFIX . "
            post.threadid, " . TABLE_PREFIX . "post.title, " . TABLE_PREFIX . "
            post.pagetext, " . TABLE_PREFIX . "post.dateline, " . TABLE_PREFIX . "
            thread.forumid, " . TABLE_PREFIX . "thread.taglist, " . TABLE_PREFIX . "thread.postuserid
        FROM " . TABLE_PREFIX . "post
        INNER JOIN " . TABLE_PREFIX . "thread ON " . TABLE_PREFIX . "post.threadid = " . TABLE_PREFIX . "thread.threadid
        WHERE " . TABLE_PREFIX . "post.postid NOT IN (" . $notpostidstr . ") AND " . TABLE_PREFIX . "post.dateline < " . $last_date . "
        GROUP BY postid
        ORDER BY postid DESC
        LIMIT " . $ending . ""
        ); 


переносы строк там, где их быть не должно =)
в обеих файлах крона этого продукта
для тех, у кого нет префиксов, это не критично, ну а кто заморочался с ними, то просто исправить код
разрыва/переноса строки быть не должно, пример правильно:
" . TABLE_PREFIX . "post.dateline
не правильно
" . TABLE_PREFIX . "
post.dateline

Дядюшка Дэн,
поменяй этот запрос в файле крона на

PHP Code:

  $threads = $vbulletin->db->query_read("

        SELECT " . TABLE_PREFIX . "post.postid, 

        " . TABLE_PREFIX . "post.threadid, " . TABLE_PREFIX . "post.title, 

        " . TABLE_PREFIX . "post.pagetext, " . TABLE_PREFIX . "post.dateline, 

        " . TABLE_PREFIX . "thread.forumid, " . TABLE_PREFIX . "thread.taglist, 

        " . TABLE_PREFIX . "thread.postuserid

        FROM " . TABLE_PREFIX . "post

        INNER JOIN " . TABLE_PREFIX . "thread ON " . TABLE_PREFIX . "post.threadid = " . TABLE_PREFIX . "thread.threadid

        WHERE " . TABLE_PREFIX . "post.postid NOT IN (" . $notpostidstr . ") AND " . TABLE_PREFIX . "post.dateline >= " . $last_date . "

        GROUP BY postid

        ORDER BY postid DESC"

        ); 


(пробелы у него не так расставлены между " . TABLE_PREFIX . " и названием базы не должно быть разрывов)


Хотя вообще и просто

PHP Code:

  $threads = $vbulletin->db->query_read("

        SELECT `post.postid`,`post.threadid`,`post.title`, `post.pagetext`,`post.dateline`, `thread.forumid`,`thread.taglist`, `thread.postuserid`
 FROM " . TABLE_PREFIX . "post AS post
INNER JOIN " . TABLE_PREFIX . "thread AS thread ON   `post.threadid` = `thread.threadid`

        WHERE  `post.postid` NOT IN (" . $notpostidstr . ") AND  `post.dateline` >= " . $last_date . "

        GROUP BY `post.postid`

        ORDER BY `post.postid` DESC"

        ); 


должно нормально работать

если продукт действительно совпадает описание, то это здоровский продукт =)

С запланированной задачей-разобрался(все работает),как с созданием тем?

Дядюшка Дэн добавил 22.10.2009 в 10:40
Рано радовался- стала появляться ошибка как при создании темы

Ну вот, а я только хотел скачать хак.
Теперь будем ждать, когда хак перейдет с бета версии на голд!

Ура!Скачал архив со словарем в кодировке utf-8 и все заработало

Originally Posted by Дядюшка Дэн

А при запуске запленированной задачи amtp_cron

Originally Posted by kerk

переносы строк там, где их быть не должно =)

Originally Posted by Cybermama

(пробелы у него не так расставлены между " . TABLE_PREFIX . " и названием базы не должно быть разрывов)

Исправил и перезалил в первое сообщение. Спасибо.

SMak044 добавил 22.10.2009 в 15:31

Originally Posted by Дядюшка Дэн

Ура!Скачал архив со словарем в кодировке utf-8 и все заработало

Так вроде там и был русский в utf... В первом сообщении переделал ссылку на файловое хранилище при библиотеке phpMorphy. Спасибо. Не подумал, что словари то тоже в кодировках разных.

SMak044, врубил запланированную задачу, вродеб как обработалось часть тем, но дальше ошибка:

PHP Code:

Warning: sort() expects parameter 1 to be array, null given in [path]/includes/functions_amtp.php on line 523

Warning: Invalid argument supplied for foreach() in [path]/includes/functions_amtp.php on line 527