UTF-8 Реальность или Миф?

04-22-2008, 04:32 PM

Заметил на офф'e что внизу форума у них "Переключение кодировки языка"
и там присутствует UTF-8 TEST

кто нить может подсказать почему test? и что это значит..

ну и попутно спрошу сразу. насколько реально перевести полностью рабочий форум в UTF-8 ? а не в cp1251...

04-22-2008, 09:12 PM

zar,
пишешь "на орге", а ссылка на офсайт...

04-23-2008, 04:14 AM

ац... задумался когда писал... ^^" всмысле на офф сайте внизу на их форуме.
офф

04-23-2008, 06:47 AM

Quote:

Originally Posted by zar

ну и попутно спрошу сразу. насколько реально перевести полностью рабочий форум в UTF-8 ? а не в cp1251...

Реально. Я перевел. С пол-пинка, конечно, не вышло - сначала часа три отработывал схему, потом dump со спасительным ключом --hex-blob, конвертация в базы в utf-8, замена дефолтной кодировки mysql-сервера, restore + небольшие настройки в админке. Downtime занял около 20 минут.

04-23-2008, 04:40 PM

jaymay,
Слушай. убил пол дня на то чтоб переконвертировать... итог не обнадеживающий...
вообщем в кратце.
(картинки выгружены в папки, в базе вроде только текст)

в консоле(FreeBSD62, консоль в utf8) делаем дамп базы:

Code:

mysqldump -p testimirk -u testimirk > sqldumimirk20080423.sql               
mysqldump --hex-blob -p testimirk -u testimirk > sqldumimirk20080423_hx.sql

в консоле дамп просматривается

Code:

àòåëåé, íå íàõîäÿùèõñÿ â âàøåì

дальше делаю в консоле

Code:

iconv -f CP1251 -t UTF-8 sqldumpimirk20080423.sql

итог:

Code:

ВёГђВїГђВѕ Г‘ВЏ ГђВµГ‘вЂ°ГђВµ ГђВё ГђВІ Г‘в‚¬ГђВ°ГђВ·ГђВЅГ‘вЂ№Г‘вЂ¦ ГђВєГђВ°ГђВЅГђВ°ГђВ»ГђВ°Г‘вЂ¦ ГђВјГ
,'ГРR',')) ;)'),(99,1,'Zar',3,0,'2008-03-27 18:38:54','ГРR','Г‘ВЏ Г‘вЂљГђВµГђВ±ГђВµ Г‘Ж’ГђВ¶ГђВµ ГђВіГђ
iconv: sqldumpimirk20080423.sql:236:8635: cannot convert

cспособ 2

дамп тот же.
копирую в винду
пробую - Блокнот - неканает все видет почти также как и выше текст.
Браузеры - вешаются (дамп ~50мб)
Блокнот++ - криво отображает кодировку, подобрать не может...

что делаю не так? ...

04-23-2008, 09:11 PM

Quote:

Originally Posted by zar

пробую - Блокнот - неканает все видет почти также как и выше текст.
Браузеры - вешаются (дамп ~50мб)
Блокнот++ - криво отображает кодировку, подобрать не может...

"Бредом" пробовал?

04-24-2008, 12:07 AM

Я так дампил:

Code:

#!/bin/sh
mysqldump --hex-blob --skip-set-charset my_forum  | \
    sed -e 's/latin1/utf8/g' | \
    sed -e 's/cp1251/utf8/g' | \
    iconv -f cp1251 -t utf-8 > vbdump.sql

У тебя дамп точно в cp1251, не koi8-r? Все символы должны нормально сконвертироваться, без добавления -c к iconv.

04-24-2008, 01:53 PM

OldEr, что это такое?

jaymay,

Code:

#!/bin/sh

mysqldump --hex-blob --skip-set-charset -u mirk -p mirk  | \
sed -e 's/latin1/utf8/g' | \
sed -e 's/cp1251/utf8/g' | \
iconv -f cp1251 -t utf-8 > vbdump.sql

Code:

iconv: (stdin):231:9067: cannot convert
mysqldump: Got errno 32 on write

Code:

 ГђВё ГђВІ Г‘в‚¬ГђВ°ГђВ·ГђВЅГ‘вЂ№Г‘вЂ¦ ГђВєГђВ°ГђВЅГђВ°ГђВ»ГђВ°Г‘вЂ¦ ГђВјГђВѕГђВіГ‘Ж’...'),(98,1,'Zar',3,0,'2008-03-27 18:38:46',0xC3D00E52,')) ;)'),(99,1,'Z
ar',3,0,'2008-03-27 18:38:54',0xC3D00E52,'Г‘ВЏ Г‘вЂљГђВµГђВ±ГђВµ Г‘Ж’ГђВ¶ГђВµ ГђВіГђВѕГђВІГђВѕГ‘в‚¬ГђВёГђВ» Г‘вЂЎГ‘вЂљГђВѕ Г‘вЂљГ‘вЂ№ ГђвЂ

вот на чем обрывается файл дампа...

а как узнать в чем дамп?

Добавлено через 14 минут
Попробывал сделать так:

Code:

mysqldump --user=username --password=password --default-character-set=latin1 --skip-set-charset dbname > dump.sql
chgrep latin1 utf8 dump.sql
mysql --user=username --password=password --execute="DROP DATABASE dbname; CREATE DATABASE dbname CHARACTER SET utf8 COLLATE utf8_general_ci;"
mysql --user=username --password=password --default-character-set=utf8 dbname < dump.sql


Елси у вас нет команды chgrep то можно использовать

sed -i "" 's/latin1/utf8/g' dump.sql

sed 's/latin1/utf8/g' dump.sql > dump_utf.sql

так все проходит без ошибок....
но все равно в консоле все просматривается на "сербохарваццком"
новую БД в UTF8 создавал...
и все равно все криво...

04-25-2008, 10:16 AM

Quote:

Originally Posted by zar

Code:

 ГђВё ГђВІ Г‘в‚¬ГђВ°ГђВ·ГђВЅГ‘вЂ№Г‘вЂ¦ ГђВєГђВ°ГђВЅГђВ°ГђВ»ГђВ°Г‘вЂ¦ ГђВјГђВѕГђВіГ‘Ж’...'),(98,1,'Zar',3,0,'2008-03-27 18:38:46',0xC3D00E52,')) ;)'),(99,1,'Z
ar',3,0,'2008-03-27 18:38:54',0xC3D00E52,'Г‘ВЏ Г‘вЂљГђВµГђВ±ГђВµ Г‘Ж’ГђВ¶ГђВµ ГђВіГђВѕГђВІГђВѕГ‘в‚¬ГђВёГђВ» Г‘вЂЎГ‘вЂљГђВѕ Г‘вЂљГ‘вЂ№ ГђвЂ

вот на чем обрывается файл дампа...

Сначала разберись, в какой кодировке у тебя дамп. Если он в UTF-8, то iconv, разумеется, не нужен.

10-02-2008, 08:13 PM

доберман сосёт болт у чеченов