BattleCaseкомпьютерная помощь

Изменение кодировки строки php

Внезапно перестал работать простой скрипт. Задача скрипта - получение HTML-страницы (из браузерной игры) и выборка данных с помощью регулярных выражений. У меня как у новичка это событие вызвало недоумение и легкую панику: ведь все еще вчера работало! В чем же дело?

Изменение кодировки строки php

Пришлось досконально разбираться в работе некоторых PHP-функций.

Код был достаточно примитивным:

$pattern

=

$url

=

"

"

$html

=

file_get_contents

($url

preg_match

($pattern

$html

$matches

if

(isset

($matches

[

echo

$matches

[

else

echo

"не найдено"

$pattern = "#Написать письмо(.*)Боевой уровень#is";

$url = "

$html = file_get_contents($url);

preg_match($pattern, $html, $matches);

if (isset($matches))

echo $matches;

else

echo "не найдено";

Получение данных и разбор с помощью простого регулярного выражения.

Надо сказать, что этот код - результат легкой модификации. В исходном варианте регулярка искала по HTML-тэгам. Но вот мне понадобилось найти кусочек между двумя словосочетаниями на русском языке. Я добавила в шаблон поиска русские слова, и именно это изменение стало критичным.

А теперь по порядку.

Сайт игры www.heroeswm.ru выдает страницы в кодировке win-1251

. У меня на сервере кодировка UTF-8

, поэтому все скрипты - в UTF-8

Без BOM.

Исходный скрипт с поиском по HTML-тэгам работал корректно, несмотря на различие кодировок, но когда в шаблон поиска я добавила символы кириллицы, искать и находить перестал. В моей задаче бы очень просто отмахнуться от проблемы и подобрать другой шаблон - без русских слов, но в большинстве случаев это невозможно. Поэтому я решила разобраться досконально: в чем принципиальная разница кодировок

, почему она вызывает некорректную работу регулярных выражений

, а заодно - какие функции страдают

Из-за различия кодировок, и как это обходить.

Для получения данных я использовала функцию file_get_contents() , которая имеет такой синтаксис:

string

file_get_contents( string

$filename) , где $filename - имя читаемого файла.

Возвращает строку или bool(false) - в случае неудачи при получении данных.

Самое очевидное различие кодировок win-1251

И UTF-8

- это количество символов, которые можно с их помощью закодировать. Первой (и всем подобным ей) подвластны лишь 255, так как каждый символ кодируется одним байтом.

С помощью второй можно передать поистине огромный набор символов, в том числе буквы национальных алфавитов, арабские буквы и иероглифы. Достигается такое расширение набора знаков за счет того, что кодируются символы уже не одним, а двумя (для большинства символов) и более (до четырех) байтами. Поэтому кодировку UTF-8

(и подобные ей) называют много- или мультибайтной, в отличие от однобайтных, таких как win-1251

Имея такой обширный набор знаков, UTF-8

Не только позволит использовать на одном сайте буквы разных алфавитов, но и даст некую гарантию того, что русскоязычный сайт будет корректно отображаться даже там, где о существовании кодировок с поддержкой кириллицы ( win-1251

, KOI8-R

, CP866

, ISO 8859-5

И др.) даже не подозревают: в Японии, Корее, арабских странах и т.п. Платой за такую универсальность станет несколько больший вес символов при хранении и соответственно большее время их обработки строковыми функциями PHP

. Они, кстати, в большинстве случаев будут работать некорректно. Именно с этой проблемой я и столкнулась: регулярка скрипта, записанного в UTF-8

, просто не могла правильно найти нужную мне подстроку, включающую знаки кириллицы, на странице, полученной с сайта в Windows-1251

Логично предположить, что сайтам, на которых будут использовать только кириллицу и латиницу, UTF-8

Ни к чему, да и рассматриваемому простому парсеру вполне неплохо "жилось" в win-1251

, но бывают ситуации, когда от необходимости подружить эти кодировки и использовать строковые функции PHP

Просто не отвертеться, например, при разработке проекта в UTF-8

Чем вызвано некорректное поведение строковых функций?

Как уже говорила, главное различие кодировок - это длина символов. Поэтому и проблемы возникают при использовании функций, в которых с символами работают, как с байтами, и значения возвращают тоже в байтах (для однобайтной кодировки это справедливо: один символ равен одному байту).

Например, функция

substr

("Проверка"

// текст в кодировке UTF-8

substr("Проверка", 0, 5); // текст в кодировке UTF-8

Вернет "Пр�" вместо ожидаемого "Прове": в UTF-8

Символы кириллицы кодируются двумя байтами, вследствие чего мы и видим "кракозябр" - только первый байт символа "о".

Таким образом, в большинстве случаев для работы со строками в UTF-8

Потребуется применение специальных функций (например, из расширения PHP mbstring

), а иногда и использование обеих (например, для передачи размера строки в байтах в заголовок HTTP нужно будет оставить strlen() , а для подсчета количества символов придется добавить mb_strlen()).

Синтаксис часто используемых функций, которым может потребоваться замена функциями из расширения PHP mbString

int

strlen( string

$string) - возвращает длину строки или 0, если строка пуста.

int

strpos( string

$haystack , mixed

$needle) - возвращает позицию первого вхождения строки $needle в подстроку $haystack или FALSE

, если не найдено.

stripos аналогична предыдущей функции, только поиск регистронезависимый.

string

substr( string

$string , int

$start [, int $length ]

) - позволяет выбрать подстроку, начиная с указанной позиции символа, и при указании третьего параметра - определенной длины.

Для работы в многобайтных кодировках предназначены их аналоги: mb_strlen , mb_strpos , mb_stripos и mb_substr .

Конечно, функций для работы с текстом гораздо больше. Я привела лишь самые популярные.

Особняком стоят функции для работы с регулярными выражениями, предназначенные для поиска подстроки (подстрок), совпадающей с маской, заданной регулярным выражением.

int

preg_match( string

$pattern , string

$subject , array

&$matches)

int

preg_match_all( string

$pattern , string

$subject array

&$matches) .

В тексте $subject ищутся совпадения с шаблоном $pattern , заданным регулярным выражением. Результат поиска записывается в переменную $matches . Функция возвращает количество найденных совпадений с шаблоном, в случае ошибки вернет FALSE

Чтобы в многобайтных кодировках для поиска по шаблону использовать регулярные выражения, в них понадобится добавлять модификатор /u , либо использовать группу функций mb_ereg* .

Что делать?

Пришедшее первым решение - перекодировать в UTF-8

Получаемые в win-1251

Данные - показалось неудобным. Ведь вслед за перекодировкой все обычные функции придется заменять специальными для работы с UTF-8

, или пытаться использовать модификатор /u (забегая вперед, скажу, что он позволяет работать со строками в однобайтных кодировках, "как со строками UTF-8

", но не годится для строк в UTF-8

). В моем примере лишь одна preg_match() , но на практике так бывает редко.

Поэтому "переворачиваю" задачу: я хочу использовать обычные функции preg_match() , а для этого я буду перекодировать не входящую строку, а шаблон поиска, используя iconv() .

Синтаксис функции:

string

iconv($in_charset, $out_charset, $str) - Конвертирует строку $str из кодировки $in_charset в кодировку $out_charset. Возвращает перекодированный текст, не затрагивая исходную переменную.

Функция возвращает строку в новой кодировке

, но не изменяет кодировку самой строки. Поэтому

$pattern = "#Написать письмо(.*)Боевой уровень#is";

iconv("UTF-8", "WINDOWS-1251", $pattern); // $pattern остался в исходной кодировке

preg_match($pattern, $html, $matches);

Работать не будет - $pattern осталась в исходной кодировке UTF-8

. Необходимо результат работы iconv присвоить переменной:

$pattern

=

"#Написать письмо(.*)Боевой уровень#is"

$pattern

=

iconv

("UTF-8"

"WINDOWS-1251"

$pattern

preg_match

($pattern

$html

$matches

$pattern = "#Написать письмо(.*)Боевой уровень#is";

$pattern = iconv("UTF-8", "WINDOWS-1251", $pattern);

preg_match($pattern, $html, $matches);

Теперь поиск работает корректно, да только в браузер отдает сплошные кракозябры. Ну, тут уже знаю, что делать: нужно результат перекодировать в рабочую кодировку UTF-8

. И тут всплыл второй момент, который для меня не был очевиден, хотя имей я больше опыта, наверняка бы затруднений не вызвал: почему iconv() одни переменные перекодирует, а другие - нет?

<?php

$matches = iconv("WINDOWS-1251", "UTF-8", $matches);

?>

Переменная $matches представляет собой массив, а я попыталась отделаться одной перекодировкой iconv($matches) . Еще раз смотрю описание синтаксиса функций: ну конечно, все параметры должны быть строками, а никак не массивами. То есть необходимо перебрать все значения массива, нуждающиеся в перекодировке, и перевести их в нужную кодировку. В своем примере перебором массива я не занималась, поскольку меня интересовало одно значение, а не весь массив. Его я и указала в качестве параметра функции iconv() .

Вот что у меня получилось в окончательном варианте:

<?php

// устанавливаем кодировку по умолчанию

setlocale

(LC_ALL,

"ru_RU.UTF-8"

header

( "Content-type: text/html; charset=UTF-8"

$pattern

=

"#Написать письмо(.*)Боевой уровень#is"

$pattern

=

iconv

("UTF-8"

"WINDOWS-1251"

$pattern

$url

=

"

$html

=

file_get_contents

($url

preg_match

($pattern

$html

$matches

if

(isset

($matches

[

echo

$matches

[

=

iconv

("WINDOWS-1251"

"UTF-8"

$matches

[

else

echo

"не найдено"

?>

<?php

// устанавливаем кодировку по умолчанию

setlocale (LC_ALL, "ru_RU.UTF-8");

header("Content-type: text/html; charset=UTF-8");

$pattern = "#Написать письмо(.*)Боевой уровень#is";

$pattern = iconv("UTF-8", "WINDOWS-1251", $pattern);

$url = "

$html = file_get_contents($url);

preg_match($pattern, $html, $matches);

if (isset($matches))

echo $matches = iconv("WINDOWS-1251", "UTF-8", $matches);

else

echo "не найдено";

?>

Статья написана моей хорошей знакомой. Она занимается написанием и проверкой текстов, программирование на PHP - больше ее хобби. В моем блоге она корректирует все публикации, а эта - стала ее подарком мне к двухлетию блога.

Похожих публикаций не найдено.

Вернемся к нашей HTML-странице, которую мы создавали в предыдущих уроках и сейчас выставим кодировку, в которой будет храниться ее текст.

Я хотел бы рассказать о двух способах, как можно поменять кодировку текста. Как правило, я пользуюсь ими на практике и они хорошо себе зарекомендовали.

Самым надежным способом изменить кодировку текста является способ с помощью программы Notepad++. Как правило, этот способ всегда надежно работает и с его помощью можно решить самые тяжелые проблемы.

1 способ. С помощью программы Notepad++

Итак, для того, чтобы сменить кодировку текста нам понадобиться специальный текстовый редактор, который называется notepad++.

Он бесплатный и скачать его можно с этого сайта:

Открываем HTML-страницу с помощью этой программы и переходим в главное меню "Кодировки".

Выбираем ту кодировку, в которую нужно выполнить преобразование и сохраняем файл.

Вот и вся процедура. Программа очень хорошая и в отличии от других альтернатив, меняет кодировку безотказно.

2 способ. С помощью универсального редактора кода Dreamweaver.

Если вы работаете в универсальном редакторе кода Dreamweaver, там тоже есть возможность указать кодировку, в которой будет представлен текст.

Сделать это можно также с помощью главного меню "Изменить - Свойства страницы".

Далее в категории "Название/кодировка" выбираем ту кодировку, которая вам необходима. Чаще всего это будет кодировка Юникод (UTF-8).

При создании нового html-документа, этот способ работает отлично, но если вы меняете кодировку уже существующего файла, то лучше воспользоваться первым способом. В этом случае он работает лучше.

Сделайте эту операцию у себя на компьютере.

Но, указав кодировку текста для html-страницы еще не достаточно. Для нормальной ее работы нужно сделать еще одно действие: подсказать браузеру, в какой кодировке написан текст.

Столкнулся с задачей - автоопределение кодировки страницы/текста/чего угодно. Задача не нова, и велосипедов понапридумано уже много. В статье небольшой обзор найденного в сети - плюс предложение своего, как мне кажется, достойного решения.

1. Почему не mb_detect_encoding() ?

Если кратко - он не работает.

Давайте смотреть:

// На входе - русский текст в кодировке CP1251

$string = iconv("UTF-8", "Windows-1251", "Он подошел к Анне Павловне, поцеловал ее руку, подставив ей свою надушенную и сияющую лысину, и покойно уселся на диване.");

// Посмотрим, что нам выдает md_detect_encoding(). Сначала $strict = FALSE

var_dump(mb_detect_encoding($string, array("UTF-8")));

// UTF-8

var_dump(mb_detect_encoding($string, array("UTF-8", "Windows-1251")));

// Windows-1251

var_dump(mb_detect_encoding($string, array("UTF-8", "KOI8-R")));

// KOI8-R

var_dump(mb_detect_encoding($string, array("UTF-8", "Windows-1251", "KOI8-R")));

// FALSE

var_dump(mb_detect_encoding($string, array("UTF-8", "ISO-8859-5")));

// ISO-8859-5

var_dump(mb_detect_encoding($string, array("UTF-8", "Windows-1251", "KOI8-R", "ISO-8859-5")));

// ISO-8859-5

// Теперь $strict = TRUE

var_dump(mb_detect_encoding($string, array("UTF-8"), TRUE));

// FALSE

var_dump(mb_detect_encoding($string, array("UTF-8", "Windows-1251"), TRUE));

// FALSE

var_dump(mb_detect_encoding($string, array("UTF-8", "KOI8-R"), TRUE));

// FALSE

var_dump(mb_detect_encoding($string, array("UTF-8", "Windows-1251", "KOI8-R"), TRUE));

// FALSE

var_dump(mb_detect_encoding($string, array("UTF-8", "ISO-8859-5"), TRUE));

// ISO-8859-5

var_dump(mb_detect_encoding($string, array("UTF-8", "Windows-1251", "KOI8-R", "ISO-8859-5"), TRUE));

// ISO-8859-5

Как видим, на выходе - полная каша. Что мы делаем, когда непонятно почему так себя ведет функция? Правильно, гуглим. Нашел замечательный ответ .

Чтобы окончательно развеять все надежды на использование mb_detect_encoding(), надо залезть в исходники расширения mbstring. Итак, закатали рукава, поехали:

// ext/mbstring/mbstring.c:2629

// строка 2703

ret = mbfl_identify_encoding_name(&string, elist, size, strict);

Ctrl + клик:

// ext/mbstring/libmbfl/mbfl/mbfilter.c:643

const char*

mbfl_identify_encoding_name(mbfl_string *string, enum mbfl_no_encoding *elist, int elistsz, int strict)

const mbfl_encoding *encoding;

encoding = mbfl_identify_encoding(string, elist, elistsz, strict);

Ctrl + клик:

// ext/mbstring/libmbfl/mbfl/mbfilter.c:557

/*

* identify encoding

*/

const mbfl_encoding *

mbfl_identify_encoding(mbfl_string *string, enum mbfl_no_encoding *elist, int elistsz, int strict)

Постить полный текст метода не буду, чтобы не засорять статью лишними исходниками. Кому это интересно посмотрят сами. Нас истересует строка под номером 593, где собственно и происходит проверка того, подходит ли символ под кодировку:

// ext/mbstring/libmbfl/mbfl/mbfilter.c:593

(*filter->filter_function)(*p, filter);

if (filter->flag) {

bad++;

Вот основные фильтры для однобайтовой кириллицы:

Windows-1251 (оригинальные комментарии сохранены)

// ext/mbstring/libmbfl/filters/mbfilter_cp1251.c:142

/* all of this is so ugly now! */

static int mbfl_filt_ident_cp1251(int c, mbfl_identify_filter *filter)

if (c >= 0x80 && c < 0xff)

filter->flag = 0;

else

filter->

KOI8-R

// ext/mbstring/libmbfl/filters/mbfilter_koi8r.c:142

static int mbfl_filt_ident_koi8r(int c, mbfl_identify_filter *filter)

if (c >= 0x80 && c < 0xff)

filter->flag = 0;

else

filter->flag = 1; /* not it */

return c;

ISO-8859-5 (тут вообще все весело)

// ext/mbstring/libmbfl/mbfl/mbfl_ident.c:248

int mbfl_filt_ident_true(int c, mbfl_identify_filter *filter)

return c;

Как видим, ISO-8859-5 всегда возвращает TRUE (чтобы вернуть FALSE, нужно выставить filter->flag = 1).

Когда посмотрели фильтры, все встало на свои места. CP1251 от KOI8-R не отличить никак. ISO-8859-5 вообще если есть в списке кодировок - будет всегда детектиться как верная.

В общем, fail. Оно и понятно - только по кодам символов нельзя в общем случае узнать кодировку, так как эти коды пересекаются в разных кодировках.

2. Что выдает гугл

А гугл выдает всякие убожества. Даже не буду постить сюда исходники, сами посмотрите, если захотите (уберите пробел после не знаю я как показать текст не ссылкой):

Http://

http://

3. Поиск по хабру

1) опять коды символов:

2) на мой взгляд, очень интересное решение:

Минусы и плюсы в комменте по ссылке. Лично я считаю, что только для детекта кодировки это решение избыточно - слишком мощно получается. Определение кодировки в нем - как побочный эффект).

4. Собственно, мое решение

Идея возникла во время просмотра второй ссылки из прошлого раздела. Идея следующая: берем большой русский текст, замеряем частоты разных букв, по этим частотам детектим кодировку. Забегая вперед, сразу скажу - будут проблемы с большими и маленькими буквами. Поэтому выкладываю примеры частот букв (назовем это - "спектр") как с учетом регистра, так и без (во втором случае к маленькой букве добавлял еще большую с такой же частотой, а большие все удалял). В этих "спектрах" вырезаны все буквы, имеющие частоты меньше 0,001 и пробел. Вот, что у меня получилось после обработки "Войны и Мира":

Регистрозависимый "спектр":

array ("о" => 0.095249209893009,

"и" => 0.055995027400041,

"н" => 0.052242744063325,

"э" => 0.002252892226507,

"Н" => 0.0021318391371162,

"ф" => 0.0015961610948418,

"В" => 0.0014044332975731,

"А" => 0.0012623590130186,

"М" => 0.001061932790165,)

Регистронезависимый:

array ("О" => 0.095249209893009,

"о" => 0.095249209893009,

"И" => 0.055995027400041,

"и" => 0.055995027400041,

"щ" => 0.0024649163501406,

"Щ" => 0.0024649163501406,

"Э" => 0.002252892226507,

"э" => 0.002252892226507,

"Ф" => 0.0015961610948418,

"ф" => 0.0015961610948418,)

Спектры в разных кодировках (ключи массива - коды соответствующих символов в соответствующей кодировке):

Далее. Берем текст неизвестной кодировки, для каждой проверяемой кодировки находим частоту текущего символа и прибавляем к "рейтингу" этой кодировки. Кодировка с бОльшим рейтингом и есть, скорее всего, кодировка текста.

$encodings = array("cp1251" => require "specter_cp1251.php",

"koi8r" => require "specter_koi8r.php",

"iso88595" => require "specter_iso88595.php");

$enc_rates = array();

for ($i = 0; $i < len($str); ++$i)

foreach ($encodings as $encoding => $char_specter)

$enc_rates[$encoding] += $char_specter)];

var_dump($enc_rates);

Даже не пытайтесь выполнить этот код у себя - он не заработает. Можете считать это псевдокодом - я опустил детали, чтобы не загромождать статью. $char_specter - это как раз те массивы, на которые стоят ссылки на pastebin.

Результаты

Строки таблицы - кодировка текста, столбцы - содержимое массива $enc_rates.

1) $str = "Русский текст";

0.441 | 0.020 | 0.085 | Windows-1251

0.049 | 0.441 | 0.166 | KOI8-R

0.133 | 0.092 | 0.441 | ISO-8859-5

Все отлично. Реальная кодировка имеет уже в 4 раза бОльший рейтинг, чем остальные - это на таком коротком тексте. На более длинных текстах соотношение будет примерно таким же.

cp1251 | koi8r | iso88595 |

0.013 | 0.705 | 0.331 | Windows-1251

0.649 | 0.013 | 0.201 | KOI8-R

0.007 | 0.392 | 0.013 | ISO-8859-5

У-упс! Полная каша. А потому что большие буквы в CP1251 обычно соответствуют маленьким в KOI8-R. А маленькие буквы используются в свою очередь намного чаще, чем большие. Вот и определяем строку капсом в CP1251 как KOI8-R.

Пробуем делать без учета регистра ("спектры" case insensitive)

1) $str = "Русский текст";

cp1251 | koi8r | iso88595 |

0.477 | 0.342 | 0.085 | Windows-1251

0.315 | 0.477 | 0.207 | KOI8-R

0.216 | 0.321 | 0.477 | ISO-8859-5

2) $str = " СТРОКА КАПСОМ РУССКИЙ ТЕКСТ";

cp1251 | koi8r | iso88595 |

1.074 | 0.705 | 0.465 | Windows-1251

0.649 | 1.074 | 0.201 | KOI8-R

0.331 | 0.392 | 1.074 | ISO-8859-5

Как видим, верная кодировка стабильно лидирует и с регистрозависимыми "спектрами" (если строка содержит небольшое количество заглавных букв), и с регистронезависимыми. Во втором случае, с регистронезависимыми, лидирует не так уверенно, конечно, но вполне стабильно даже на маленьких строках. Можно поиграться еще с весами букв - сделать их нелинейными относительно частоты, например.

5. Заключение

В топике не расмотрена работа с UTF-8 - тут никакий принципиальной разницы нету, разве что получение кодов символов и разбиение строки на символы будет несколько длиннее/сложнее.

Эти идеи можно распространить не только на кириллические кодировки, конечно - вопрос только в "спектрах" соответствующих языков/кодировок.

P.S. Если будет очень нужно/интересно - потом выложу второй частью полностью работающую библиотеку на GitHub. Хотя я считаю, что данных в посте вполне достаточно для быстрого написания такой библиотеки и самому под свои нужды - "спектр" для русского языка выложен, его можно без труда перенести на все нужные кодировки.

Рубрика: Новичкам и программирование

Похожие статьи