форум vBSupport.ru > vBSupport.ru > How-Tos, Hints & Tips > Статьи, обзоры, каталоги
Register Меню vBsupport Изображения Files Manager О рекламе Today's Posts Search
  • Родная гавань
  • Блок РКН снят
  • Premoderation
  • For English speaking users
  • Каталог Фрилансеров
  • If you want to buy some product or script
  • Администраторам
VBsupport перешел с домена .ORG на родной .RU Ура! Пожалуйста, обновите свои закладки - VBsupport.ru
Блок РКН снят, форум доступен на всей территории России, включая новые терртории, без VPN
На форуме введена премодерация ВСЕХ новых пользователей

Почта с временных сервисов, типа mailinator.com, gawab.com и/или прочих, которые предоставляют временный почтовый ящик без регистрации и/или почтовый ящик для рассылки спама, отслеживается и блокируется, а так же заносится в спам-блок форума, аккаунты удаляются
for English speaking users:
You may be surprised with restriction of access to the attachments of the forum. The reason is the recent change in vbsupport.org strategy:

- users with reputation < 10 belong to "simple_users" users' group
- if your reputation > 10 then administrator (kerk, Luvilla) can decide to move you into an "improved" group, but only manually

Main idea is to increase motivation of community members to share their ideas and willingness to support to each other. You may write an article for the subject where you are good enough, you may answer questions, you may share vbulletin.com/org content with vbsupport.org users, receiving "thanks" equal your reputation points. We should not only consume, we should produce something.

- you may:
* increase your reputation (doing something useful for another members of community) and being improved
* purchase temporary access to the improved category:
10 $ for 3 months. - this group can download attachments, reputation/posts do not matter.
20 $ for 3 months. - this group can download attachments, reputation/posts do not matter + adds eliminated + Inbox capacity increased + files manager increased permissions.

Please contact kerk or Luvilla regarding payments.

Important!:
- if your reputation will become less then 0, you will be moved into "simple_users" users' group automatically.*
*for temporary groups (pre-paid for 3 months) reputation/posts do not matter.
Уважаемые пользователи!

На форуме открыт новый раздел "Каталог фрилансеров"

и отдельный раздел для платных заказов "Куплю/Закажу"

Если вы хотите приобрести какой то скрипт/продукт/хак из каталогов перечисленных ниже:
Каталог модулей/хаков
Ещё раз обращаем Ваше внимание: всё, что Вы скачиваете и устанавливаете на свой форум, Вы устанавливаете исключительно на свой страх и риск.
Сообщество vBSupport'а физически не в состоянии проверять все стили, хаки и нули, выкладываемые пользователями.
Помните: безопасность Вашего проекта - Ваша забота.
Убедительная просьба: при обнаружении уязвимостей или сомнительных кодов обязательно отписывайтесь в теме хака/стиля
Спасибо за понимание
 
 
 
 
vosur
Продвинутый
Default Очистка постов от лишнего bb кода после конвертирования с phpbb 3
7

После конвертации в vBulletin с других платформ, каждый сталкивается с какой-нибудь проблемой, а бывает и не с одной.
Сконвертировав базу данных с phpbb 3, а точнее, с phpbbex (Форк phpBB с новыми возможностями, не существующими в виде модов), я пришел в ужас, увидев в каждом сообщении, оформленном при помощи bb кодов, вот такой вот ужас:


Так получается, потому что в phpbb 3 bb коды создаются по алгоритму

Code:
[b:$uid]Жирный шрифт[/b:$uid]
где $uid - это какой-то произвольный набор символов, который в каждом посте разный.

Сначала я поискал решение проблемы на этом форуме, потом в интернете, но ничего не нашел. Понимая, что руками перебрать 13000 сообщений я не смогу, сначала я обратился на форум, а потом к своему знакомому программисту и, посидев с ним пол часа, мы написали небольшой программный код, который может решить эту проблему.
ВАЖНО! Перед выполнением следующих операций, настоятельно рекомендую сделать бекап базы данных.
  1. Для решения этой проблемы нам потребуется бесплатная программа LINQPad. Скачиваем программу и устанавливаем.
  2. Установив программу и запустив ее, нажимаем «Add connetion»
    Click image for larger version

Name:	image001.png
Views:	29
Size:	26.6 KB
ID:	28473
  3. Откроется новое окно «Choose Data Context», где в левом нижнем углу нужно нажать «View more drivers» и скачать самый первый драйвер, который называется «IQ Driver - for MySQL, SQlite, Oracle»
    Click image for larger version

Name:	image003.png
Views:	21
Size:	136.3 KB
ID:	28471
  4. После установки и скачивания драйвера, мы сможем выбрать его из списка и нажать «Next»
  5. В открывшемся окне «IQ Connection», нужно ввести данные для подключения к Вашей базе данных. Эти данные можно посмотреть на странице вашего хостинга , чаще всего.
  6. Подключившись к базе данных, в списке подключений надо выбрать сервер базы данных, чтобы программа подключилась к БД.
    Click image for larger version

Name:	image009.png
Views:	14
Size:	104.1 KB
ID:	28465
  7. Убедившись, что программа подключена к базе данных, в поле ввода нужно вставить этот код. !Обратите внимание на комментарий внутри кода. Вам нужно будет убрать пробел после слеша, чтобы строка выглядела так:
    text = text.Replace("[/list:u]", "[/list]");
    а так же, удалите пробелы перед словами video, чтобы строки выглядели так:
    text = text.Replace("[media]", "[video]");
    text = text.Replace("[/media]", "[/video]");
    Code:
    void Main()
    {     
           var posts = Posts;
           var total = posts.Count();
           var ind = 0;
           foreach(var p in posts.AsParallel())
    
           {     
                 p.Pagetext= ReplaceMediaVideo(RemoveUPD(ProcessSize(ProcessAttachements(Process(p.Pagetext)))));                    
                 ind ++;            
                 string.Format("{0} from {1}", ind, total).Dump();
           }     
           SubmitChanges();   
    }
    
    // Убираем &uid для темы
    // затираем [/*], который в vBulletin не требуется для списков
    // правим[/list:u]  ==>  [/ list] !ВНИМАНИЕ! Уберите пробел после слеша в закрывающем bb коде list
    // в строке text = text.Replace("[/list:u]", "[/ list]"); 
    // и уберите пробел перед словами video в строках
    // text = text.Replace("[media]", "[ video]");
    // text = text.Replace("[/media]", "[/ video]");
    
    string Process (string text)
    
    {
           var regex = new Regex(@":(m:)?[^]]{8}]");     
           text = regex.Replace(text, "]");
           text = text.Replace("[/*]", string.Empty);
           text = text.Replace("[/list:u]", "[/ list]"); 
           return text;
    }
    
    // Затираем все аттачменты в тексте поста(не путайте с вложениями, которые прикреплены под постом)
    
    string ProcessAttachements(string text)
    {
           var regex = new Regex(@"\[attachment[^]\]+][^[]+\[/attachment\]");
           text = regex.Replace(text, string.Empty);
           return text;
    }
    
    
    
    // уменьшаем размеры шрифтов
    
    string ProcessSize(string text)
    {
           var dict = Enumerable.Range(1, 7).Select(x=>new {f= string.Format("[size={0}]",x),
           t=string.Format("[size={0}]", x/2+1)});
           foreach(var d in dict)
           {
                 text  = text.Replace(d.f, d.t);
           }     
           return text;
    }
    string RemoveUPD (string text)
    {
      var regex = new Regex(@"\[upd=[0-9]+\]\[/upd\]"); 
      text = regex.Replace(text, string.Empty); 
      return text;
    }
    string ReplaceMediaVideo (string text)
    {
      text = text.Replace("[media]", "[ video]");
      text = text.Replace("[/media]", "[/ video]");
      return text;
    }
  8. Вставив код, еще раз убеждаемся, что программа подключена к базе данных и нажимаем кнопку «Execute» или F5.
    Click image for larger version

Name:	image010.png
Views:	16
Size:	195.0 KB
ID:	28464
  9. Узнать, что программа выполнила все операции можно по надписи «Query successful»
    Click image for larger version

Name:	image012.png
Views:	13
Size:	197.0 KB
ID:	28462

Вот и всё. Программа сделала всё, что нам было нужно и теперь страница выглядит намного приятней, а мне не пришлось перебирать все сообщения руками.
Click image for larger version

Name:	image013.png
Views:	32
Size:	30.2 KB
ID:	28474

Last edited by vosur : 07-18-2015 at 07:18 PM. Reason: Дополнил статью программным кодом для удаления bb кода upd и замены bb кода [media] на bb код [video]
Bot
Yandex Bot Yandex Bot is online now
 
Join Date: 05.05.2005
Реклама на форуме А что у нас тут интересного? =)
 
 
Core dumped
Продвинутый
 
Core dumped's Avatar
Default
1

В общем случае это чуть-чуть неверный подход, так bbcode от не-bbcode в обычно отличается именно по признаку наличия закрывающего элемента, а в данном варианте какой-нибудь CoOlClan*[Battle:MegaTEam]* тоже падет жертвой регулярки, хоть для большинства случаев это особого значения и не имеет.
А так ещё один камень в огород ущербности BBCode. Стопроцентно железобетонная замена в данном случае возможна только при полноценном разборе с использованием парсера, который уже сам превратит пары [][/] в токены, тем самым оставив возможность отделить мух от котлет.

Last edited by Core dumped : 07-15-2015 at 12:04 AM.
 
 
vosur
Продвинутый
Default
1

Quote:
Originally Posted by Core dumped View Post
а в данном варианте какой-нибудь CoOlClan*[Battle:MegaTEam]* тоже падет жертвой регулярки
Согласен. Что-то может и падёт жертвой регулярки, но если оно будет иметь двоеточие и после этого самого двоеточия 8 символов. Интересно, сколько из 13000 сообщений будет таких совпадений?) Думаю, что не очень много. В любом случае, каждый переходящий на другую платформу человек, должен понимать, что его ждёт. Перед покупкой лицензии я уже морально себя подготовил к тому, что часть информации я потеряю при конвертации.
Итого: пользователи не потеряны, посты не потеряны. Потерялись только вложения, и то из 2030, я посеял всего лишь 58, что является не большой проблемой, если сравнивать с тем, что я готов был руками все 13000 сообщений переносить...
 
 
Luvilla
Гость
Default

@Андрей Русов, статья готова?
 
 
vosur
Продвинутый
Default
0

Luvilla, да. Подправил ее еще раз.
 
 
Luvilla
Гость
Default

@Андрей Русов, ОК, статья принимается
 
 
vosur
Продвинутый
Default
1

Дополнил статью программным кодом для удаления bb кода upd и замены bb кода [media] на bb код [video]
 
 
gap
Знаток
 
gap's Avatar
Default
4

Добавлю сюда, на мой взгляд в статье сложный способ.
Тоже сталкивался с подобной проблемой, но писал небольшой скриптик, как добавку к импексу. Для работы, соответственно, надо переписать содержимое архива в корень импекса и запускать от туда.
Естественно исправляем ББкоды после конвертации самого форума, дампы отдельно сохранять не надо, но бэекап все же лучше сделать =)
Attached Files
File Type: rar bbcode_replace.rar (1.7 KB, 5 views)
 


Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off




All times are GMT +4. The time now is 07:41 PM.


Powered by vBulletin® Version VipeR Edition
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.