VBsupport перешел с домена .ORG на родной .RU
Ура!
Пожалуйста, обновите свои закладки - VBsupport.ru
Блок РКН снят, форум доступен на всей территории России, включая новые терртории, без VPN
На форуме введена премодерация ВСЕХ новых пользователей
Почта с временных сервисов, типа mailinator.com, gawab.com и/или прочих, которые предоставляют временный почтовый ящик без регистрации и/или почтовый ящик для рассылки спама, отслеживается и блокируется, а так же заносится в спам-блок форума, аккаунты удаляются
Если вы хотите приобрести какой то скрипт/продукт/хак из каталогов перечисленных ниже: Каталог модулей/хаков
Ещё раз обращаем Ваше внимание: всё, что Вы скачиваете и устанавливаете на свой форум, Вы устанавливаете исключительно на свой страх и риск.
Сообщество vBSupport'а физически не в состоянии проверять все стили, хаки и нули, выкладываемые пользователями.
Помните: безопасность Вашего проекта - Ваша забота. Убедительная просьба: при обнаружении уязвимостей или сомнительных кодов обязательно отписывайтесь в теме хака/стиля
Спасибо за понимание
Очистка постов от лишнего bb кода после конвертирования с phpbb 3
7
После конвертации в vBulletin с других платформ, каждый сталкивается с какой-нибудь проблемой, а бывает и не с одной.
Сконвертировав базу данных с phpbb 3, а точнее, с phpbbex (Форк phpBB с новыми возможностями, не существующими в виде модов), я пришел в ужас, увидев в каждом сообщении, оформленном при помощи bb кодов, вот такой вот ужас:
Так получается, потому что в phpbb 3 bb коды создаются по алгоритму
Code:
[b:$uid]Жирный шрифт[/b:$uid]
где $uid - это какой-то произвольный набор символов, который в каждом посте разный.
Сначала я поискал решение проблемы на этом форуме, потом в интернете, но ничего не нашел. Понимая, что руками перебрать 13000 сообщений я не смогу, сначала я обратился на форум, а потом к своему знакомому программисту и, посидев с ним пол часа, мы написали небольшой программный код, который может решить эту проблему. ВАЖНО! Перед выполнением следующих операций, настоятельно рекомендую сделать бекап базы данных.
Для решения этой проблемы нам потребуется бесплатная программа LINQPad. Скачиваем программу и устанавливаем.
Установив программу и запустив ее, нажимаем «Add connetion»
Откроется новое окно «Choose Data Context», где в левом нижнем углу нужно нажать «View more drivers» и скачать самый первый драйвер, который называется «IQ Driver - for MySQL, SQlite, Oracle»
После установки и скачивания драйвера, мы сможем выбрать его из списка и нажать «Next»
В открывшемся окне «IQ Connection», нужно ввести данные для подключения к Вашей базе данных. Эти данные можно посмотреть на странице вашего хостинга , чаще всего.
Подключившись к базе данных, в списке подключений надо выбрать сервер базы данных, чтобы программа подключилась к БД.
Убедившись, что программа подключена к базе данных, в поле ввода нужно вставить этот код. !Обратите внимание на комментарий внутри кода. Вам нужно будет убрать пробел после слеша, чтобы строка выглядела так:
text = text.Replace("[/list:u]", "[/list]");
а так же, удалите пробелы перед словами video, чтобы строки выглядели так:
text = text.Replace("[media]", "[video]");
text = text.Replace("[/media]", "[/video]");
Code:
void Main()
{
var posts = Posts;
var total = posts.Count();
var ind = 0;
foreach(var p in posts.AsParallel())
{
p.Pagetext= ReplaceMediaVideo(RemoveUPD(ProcessSize(ProcessAttachements(Process(p.Pagetext)))));
ind ++;
string.Format("{0} from {1}", ind, total).Dump();
}
SubmitChanges();
}
// Убираем &uid для темы
// затираем [/*], который в vBulletin не требуется для списков
// правим[/list:u] ==> [/ list] !ВНИМАНИЕ! Уберите пробел после слеша в закрывающем bb коде list
// в строке text = text.Replace("[/list:u]", "[/ list]");
// и уберите пробел перед словами video в строках
// text = text.Replace("[media]", "[ video]");
// text = text.Replace("[/media]", "[/ video]");
string Process (string text)
{
var regex = new Regex(@":(m:)?[^]]{8}]");
text = regex.Replace(text, "]");
text = text.Replace("[/*]", string.Empty);
text = text.Replace("[/list:u]", "[/ list]");
return text;
}
// Затираем все аттачменты в тексте поста(не путайте с вложениями, которые прикреплены под постом)
string ProcessAttachements(string text)
{
var regex = new Regex(@"\[attachment[^]\]+][^[]+\[/attachment\]");
text = regex.Replace(text, string.Empty);
return text;
}
// уменьшаем размеры шрифтов
string ProcessSize(string text)
{
var dict = Enumerable.Range(1, 7).Select(x=>new {f= string.Format("[size={0}]",x),
t=string.Format("[size={0}]", x/2+1)});
foreach(var d in dict)
{
text = text.Replace(d.f, d.t);
}
return text;
}
string RemoveUPD (string text)
{
var regex = new Regex(@"\[upd=[0-9]+\]\[/upd\]");
text = regex.Replace(text, string.Empty);
return text;
}
string ReplaceMediaVideo (string text)
{
text = text.Replace("[media]", "[ video]");
text = text.Replace("[/media]", "[/ video]");
return text;
}
Вставив код, еще раз убеждаемся, что программа подключена к базе данных и нажимаем кнопку «Execute» или F5.
Узнать, что программа выполнила все операции можно по надписи «Query successful»
Вот и всё. Программа сделала всё, что нам было нужно и теперь страница выглядит намного приятней, а мне не пришлось перебирать все сообщения руками.
Last edited by vosur : 07-18-2015 at 07:18 PM.
Reason: Дополнил статью программным кодом для удаления bb кода upd и замены bb кода [media] на bb код [video]
В общем случае это чуть-чуть неверный подход, так bbcode от не-bbcode в обычно отличается именно по признаку наличия закрывающего элемента, а в данном варианте какой-нибудь CoOlClan*[Battle:MegaTEam]* тоже падет жертвой регулярки, хоть для большинства случаев это особого значения и не имеет.
А так ещё один камень в огород ущербности BBCode. Стопроцентно железобетонная замена в данном случае возможна только при полноценном разборе с использованием парсера, который уже сам превратит пары [][/] в токены, тем самым оставив возможность отделить мух от котлет.
Last edited by Core dumped : 07-15-2015 at 12:04 AM.
@vosur
Продвинутый
Join Date: Jun 2015
Location: Московская область
Posts: 71
Версия vB: 4.2.х
Пол:
Reputation:
Опытный 17
Репутация в разделе: 12
1
Quote:
Originally Posted by Core dumped
а в данном варианте какой-нибудь CoOlClan*[Battle:MegaTEam]* тоже падет жертвой регулярки
Согласен. Что-то может и падёт жертвой регулярки, но если оно будет иметь двоеточие и после этого самого двоеточия 8 символов. Интересно, сколько из 13000 сообщений будет таких совпадений?) Думаю, что не очень много. В любом случае, каждый переходящий на другую платформу человек, должен понимать, что его ждёт. Перед покупкой лицензии я уже морально себя подготовил к тому, что часть информации я потеряю при конвертации.
Итого: пользователи не потеряны, посты не потеряны. Потерялись только вложения, и то из 2030, я посеял всего лишь 58, что является не большой проблемой, если сравнивать с тем, что я готов был руками все 13000 сообщений переносить...
Luvilla
Гость
Posts: n/a
@Андрей Русов, статья готова?
@vosur
Продвинутый
Join Date: Jun 2015
Location: Московская область
Posts: 71
Версия vB: 4.2.х
Пол:
Reputation:
Опытный 17
Репутация в разделе: 12
0
Luvilla, да. Подправил ее еще раз.
Luvilla
Гость
Posts: n/a
@Андрей Русов, ОК, статья принимается
@vosur
Продвинутый
Join Date: Jun 2015
Location: Московская область
Posts: 71
Версия vB: 4.2.х
Пол:
Reputation:
Опытный 17
Репутация в разделе: 12
1
Дополнил статью программным кодом для удаления bb кода upd и замены bb кода [media] на bb код [video]
gap
Знаток
Join Date: Sep 2013
Posts: 151
Версия vB: 3.8.7
Пол:
Reputation:
Knowing 201
Репутация в разделе: 87
4
Добавлю сюда, на мой взгляд в статье сложный способ.
Тоже сталкивался с подобной проблемой, но писал небольшой скриптик, как добавку к импексу. Для работы, соответственно, надо переписать содержимое архива в корень импекса и запускать от туда.
Естественно исправляем ББкоды после конвертации самого форума, дампы отдельно сохранять не надо, но бэекап все же лучше сделать =)