BattleCaseкомпьютерная помощь

Что такое php парсер. Пишем парсер контента на PHP

Чтобы написать хороший и работоспособный скрипт для парсинга контента нужно потратить немало времени. А подходить к сайту-донору, в большинстве случаев, стоит индивидуально, так как есть масса нюансов, которые могут усложнить решение нашей задачи.

Что такое php парсер. Пишем парсер контента на PHP
Содержание
  1. Пишем скрипт парсера
  2. Парсим категории и товары с сайта
  3. Получение страниц сайтов с помощью file_get_contents
  4. Парсинг с помощью регулярных выражений
  5. Подводные камни
  6. Попробуем разобрать теги
  7. Получение блока по id
  8. Проблема вложенных блоков
  9. Вытягиваем заданные блоки
  10. Кодировка документа
  11. Что вам делать дальше
  12. Последние темы блога
  13. Шаг 1. Подготовка
  14. Шаг 2. Основы парсинга
  15. Шаг 3. Пример из реального мира
  16. Title
  17. Шаг 4. Начало функции парсинга
  18. Шаг 5. Находим ту информацию, которая нам нужна
  19. Шаг 6, Работа со страницами
  20. Шаг 7. Вывод результатов
  21. Шаг 8. Заключение

Если вы попали на эту статью из поиска, то перед вами, наверняка, стоит конкретная задача и вы еще не задумывались над тем, для чего ещё вам может пригодится парсер. Поэтому, перед тем как вдаваться в теорию и непосредственно в код, предлагаю прочесть предыдущею статью - , где был рассмотрен один из простых вариантов, да и я буду периодически ссылаться на неё.

CURL - это программа командной строки, позволяющая нам общаться с серверами используя для этого различные протоколы, в нашем случаи HTTP и HTTPS. Для работы с CURL в PHP есть библиотека libcurl, функции которой мы и будем использовать для отправки запросов и получения ответов от сервера.

Как можно увидеть из скриншота все категории находятся в ненумерованном списке, а подкатегории:

Внутри отельного элемента списка в таком же ненумерованном. Структура несложная, осталось только её получить. Товары мы возьмем из раздела "Все телефоны":

На странице получается 24 товара, у каждого мы вытянем: картинку, название, ссылку на товар, характеристики и цену.

Пишем скрипт парсера

Если вы уже прочли предыдущею статью, то из неё можно было подчеркнуть, что процесс и скрипт парсинга сайта состоит из двух частей:

  1. Нужно получить HTML код страницы, которой нам необходим;
  2. Разбор полученного кода с сохранением данных и дальнейшей обработки их (как и в первой статье по парсингу мы будем использовать phpQuery, в ней же вы найдете, как установить её через composer).

Для решения первого пункта мы напишем простой класс с одним статическим методом, который будет оберткой над CURL. Так код можно будет использовать в дальнейшем и, если необходимо, модифицировать его. Первое, с чем нам нужно определиться - как будет называться класс и метод и какие будут у него обязательные параметры:

Class Parser{

public static function getPage($params = ){

if($params){

if(!empty($params["url"])){

$url = $params["url"];

// Остальной код пишем тут

return false;

Основной метод, который у нас будет - это getPage() и у него всего один обязательный параметр URL страницы, которой мы будем парсить. Что ещё будет уметь наш замечательный метод, и какие значения мы будем обрабатывать в нем:

  • $useragent - нам важно иметь возможность устанавливать заголовок User-Agent, так мы сможем сделать наши обращения к серверу похожими на обращения из браузера;
  • $timeout - будет отвечать за время выполнения запроса на сервер;
  • $connecttimeout - так же важно указывать время ожидания соединения;
  • $head - если нам потребуется проверить только заголовки, которые отдаёт сервер на наш запрос этот параметр нам просто будет необходим;
  • $cookie_file - тут всё просто: файл, в который будут записывать куки нашего донора контента и при обращении передаваться;
  • $cookie_session - иногда может быть необходимо, запрещать передачу сессионных кук;
  • $proxy_ip - параметр говорящий, IP прокси-сервера, мы сегодня спарсим пару страниц, но если необходимо несколько тысяч, то без проксей никак;
  • $proxy_port - соответственно порт прокси-сервера;
  • $proxy_type - тип прокси CURLPROXY_HTTP, CURLPROXY_SOCKS4, CURLPROXY_SOCKS5, CURLPROXY_SOCKS4A или CURLPROXY_SOCKS5_HOSTNAME;
  • $headers - выше мы указали параметр, отвечающий за заголовок User-Agent, но иногда нужно передать помимо его и другие, для это нам потребуется массив заголовков;
  • $post - для отправки POST запроса.

Конечно, обрабатываемых значений много и не всё мы будем использовать для нашей сегодняшней задачи, но разобрать их стоит, так как при парсинге больше одной страницы многое выше описанное пригодится. И так добавим их в наш скрипт:

$useragent = !empty($params["useragent"]) ? $params["useragent"] : "Mozilla/5.0 (Windows NT 6.3; W...) Gecko/20100101 Firefox/57.0";

$timeout = !empty($params["timeout"]) ? $params["timeout"] : 5;

$connecttimeout = !empty($params["connecttimeout"]) ? $params["connecttimeout"] : 5;

$head = !empty($params["head"]) ? $params["head"] : false;

$cookie_file = !empty($params["cookie"]["file"]) ? $params["cookie"]["file"] : false;

$cookie_session = !empty($params["cookie"]["session"]) ? $params["cookie"]["session"] : false;

$proxy_ip = !empty($params["proxy"]["ip"]) ? $params["proxy"]["ip"] : false;

$proxy_port = !empty($params["proxy"]["port"]) ? $params["proxy"]["port"] : false;

$proxy_type = !empty($params["proxy"]["type"]) ? $params["proxy"]["type"] : false;

$headers = !empty($params["headers"]) ? $params["headers"] : false;

$post = !empty($params["post"]) ? $params["post"] : false;

Как видите, у всех параметров есть значения по умолчанию. Двигаемся дальше и следующей строчкой напишем кусок кода, который будет очищать файл с куками при запросе:

If($cookie_file){

file_put_contents(__DIR__."/".$cookie_file, "");

Так мы обезопасим себя от ситуации, когда по какой-либо причине не создался файл.

Для работы с CURL нам необходимо вначале инициализировать сеанс, а по завершению работы его закрыть, также при работе важно учесть возможные ошибки, которые наверняка появятся, а при успешном получении ответа вернуть результат, сделаем мы это таким образам:

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $url);

// Далее продолжаем кодить тут

curl_setopt($ch, CURLINFO_HEADER_OUT, true);

$content = curl_exec($ch);

$info = curl_getinfo($ch);

$error = false;

if($content === false){

$data = false;

$error["message"] = curl_error($ch);

$error["code"] = self::$error_codes[

curl_errno($ch)

}else{

$data["content"] = $content;

$data["info"] = $info;

curl_close($ch);

return [

"data" => $data,

"error" => $error

Первое, что вы могли заметить - это статическое свойство $error_codes, к которому мы обращаемся, но при этом его ещё не описали. Это массив с расшифровкой кодов функции curl_errno(), давайте его добавим, а потом разберем, что происходит выше.

Private static $error_codes = [

"CURLE_UNSUPPORTED_PROTOCOL",

"CURLE_FAILED_INIT",

// Тут более 60 элементов, в архиве вы найдете весь список

"CURLE_FTP_BAD_FILE_LIST",

"CURLE_CHUNK_FAILED"

После того, как мы инициализировали соединения через функцию curl_setopt(), установим несколько параметров для текущего сеанса:

  • CURLOPT_URL - первый и обязательный - это адрес, на который мы обращаемся;
  • CURLINFO_HEADER_OUT -массив с информацией о текущем соединении.

Используя функцию curl_exec(), мы осуществляем непосредственно запрос при помощи CURL, а результат сохраняем в переменную $content, по умолчанию после успешной отработки результат отобразиться на экране, а в $content упадет true. Отследить попутную информацию при запросе нам поможет функция curl_getinfo().

Также важно, если произойдет ошибка - результат общения будет false, поэтому, ниже по коду мы используем строгое равенство с учетом типов. Осталось рассмотреть ещё две функции это curl_error() - вернёт сообщение об ошибке, и curl_errno() - код ошибки. Результатом работы метода getPage() будет массив, а чтобы его увидеть давайте им воспользуемся, а для теста сделаем запрос на сервис httpbin

Для получения своего IP.

Кстати очень удобный сервис, позволяющий отладить обращения к серверу. Так как, например, для того что бы узнать свой IP или заголовки отправляемые через CURL, нам бы пришлось бы писать костыль.

$html = Parser::getPage([

"url" => "

Если вывести на экран, то у вас должна быть похожая картина:

Если произойдет ошибка, то результат будет выглядеть так:

При успешном запросе мы получаем заполненную ячейку массива data с контентом и информацией о запросе, при ошибке заполняется ячейка error. Из первого скриншота вы могли заметить первую неприятность, о которой я выше писал контент сохранился не в переменную, а отрисовался на странице. Чтобы решить это, нам нужно добавить ещё один параметр сеанса CURLOPT_RETURNTRANSFER.

Curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

Обращаясь к страницам, мы можем обнаружить, что они осуществляют редирект на другие, чтобы получить конечный результат добавляем:

Curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

Теперь можно увидеть более приятную картину:

Curl_setopt($ch, CURLOPT_USERAGENT, $useragent);

curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $connecttimeout);

Для того, чтобы получить заголовки ответа, нам потребуется добавить следующий код:

If($head){

curl_setopt($ch, CURLOPT_HEADER, true);

curl_setopt($ch, CURLOPT_NOBODY, true);

Мы отключили вывод тела документа и включили вывод шапки в результате:

If(strpos($url, "https") !== false){

curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, true);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, true);

Уже получается весьма неплохой скрипт парсера контента, мы добрались до кук и тут - частая проблема, когда они не сохраняются. Одной из основных причин может быть указание относительного пути, поэтому нам стоит это учесть и написать следующие строки:

If($cookie_file){

curl_setopt($ch, CURLOPT_COOKIEJAR, __DIR__."/".$cookie_file);

curl_setopt($ch, CURLOPT_COOKIEFILE, __DIR__."/".$cookie_file);

if($cookie_session){

curl_setopt($ch, CURLOPT_COOKIESESSION, true);

Предлагаю проверить, а для этого я попробую вытянуть куки со своего сайта:

If($proxy_ip && $proxy_port && $proxy_type){

curl_setopt($ch, CURLOPT_PROXY, $proxy_ip.":".$proxy_port);

curl_setopt($ch, CURLOPT_PROXYTYPE, $proxy_type);

if($headers){

curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

if($post){

curl_setopt($ch, CURLOPT_POSTFIELDS, $post);

Это малая доля параметров, с которыми можно работать, все остальные находятся в официальной документации PHP

. Вот мы завершили с нашей оберткой, и пришло время, что-нибудь спарсить!

Парсим категории и товары с сайта

Теперь, при помощи нашего класса Parser, мы можем сделать запрос и получить страницу с контентом. Давайте и поступим:

$html = Parser::getPage([

"url" => "

Следующим шагом разбираем пришедший ответ и сохраняем название и ссылку категории в результирующий массив:

If(!empty($html["data"])){

$content = $html["data"]["content"];

phpQuery::newDocument($content);

$categories = pq(".b-category-menu")->find(".b-category-menu__link");

$tmp = ;

foreach($categories as $key => $category){

$category = pq($category);

$tmp[$key] = [

"text" => trim($category->text()),

"url" => trim($category->attr("href"))

$submenu = $category->next(".b-category-submenu")->find(".b-category-submenu__link");

foreach($submenu as $submen){

$submen = pq($submen);

$tmp[$key]["submenu"] = [

"text" => trim($submen->text()),

"url" => trim($submen->attr("href"))

phpQuery::unloadDocuments();

Чуть более подробно работу с phpQuery я разобрал в первой статье по парсингу контента. Если вкратце, то мы пробегаемся по DOM дереву и вытягиваем нужные нам данные, их я решил протримить, чтобы убрать лишние пробелы. А теперь выведем категории на экран:

  • " target="_blank"> <?php echo($value["text"]); ?>
      <? if(!empty($value["submenu"])): ?> <?php foreach($value["submenu"] as $val): ?>
    • " target="_blank"> <?php echo($val["text"]); ?>

    $html = Parser::getPage([

    "url" => "

    "timeout" => 10

    Получаем страницу, тут я увеличил время соединения, так как 5 секунд не хватило, и разбираем её, парся необходимый контент:

    If(!empty($html["data"])){

    $content = $html["data"]["content"];

    phpQuery::newDocument($content);

    $products = pq(".b-listing__generated-container")->find(".b-product-block .b-product-block__content");

    $tmp = ;

    foreach($products as $key => $product){

    $product = pq($product);

    $tmp = [

    "name" => trim($product->find(".b-product-block__name")->text()),

    "image" => trim($product->find(".b-product-block__image img")->attr("data-original")),

    "price" => trim($product->find(".b-product-block__misc .b-product-block__visible-price")->text()),

    "url" => trim($product->find(".b-product-block__info .b-product-block__main-link")->attr("href"))

    $chars = $product->find(".b-product-block__info .b-product-block__tech-chars li");

    foreach($chars as $char){

    $tmp[$key]["chars"] = pq($char)->text();

    phpQuery::unloadDocuments();

    Теперь проверим, что у нас получилось, и выведем на экран:

    " alt="<?php echo($value["name"]); ?>" />

    • <?php echo($val); ?>

    Вот мы и написали парсер контента PHP, как видите, нет нечего сложного, при помощи этого скрипта можно легко спарсить страницы любого сайта, но перед тем, как заканчивать статью, хотелось пояснить некоторые моменты.

    Во-первых, если вы хотите парсить более одной страницы, то не стоит забывать, что сам процесс парсинга ресурса затратная операция, поэтому в идеале лучше, чтобы скрипт был вынесен на отдельный сервер, где и будет запускаться по крону.

    Ещё один момент - к каждому донору стоит подходить индивидуально, так как, во-первых: у них разный HTML код и он, с течением времени, может меняться, во-вторых: могут быть различные защиты от парсинга и проверки, поэтому для подбора необходимого набора заголовков и параметров может потребоваться отладочный прокси (я пользуюсь Fiddler).

    И последние, что я добавлю - используйте для парсинга прокси и чем больше, тем лучше, так как, когда на сервер донора полетят тысячи запросов, то неизбежно IP, с которого осуществляется обращение будет забанен, поэтому стоит прогонять свои запросы через прокси-сервера.

    Полный пример с библеотекай phpQuery вы найдете на github

    Отличная статья. Спасибо. Как раз сейчас разбираю пхп и тему парсеров.

    Рад, что статья вам понравилась. В одной из следующих расскажу об уже готовых решениях для парсинга сайтов.

    Часто бывает такое, что нужно вытащить определенную информацию с какого-либо сайта, а еще лучше, чтобы эта информация сразу же добавилась в базу данных или каким-либо другим образом была выведена уже на вашем ресурсе.

    Способов сделать это существует уйма - например, имеется мощная программа, предназначение которой парсить сайты, называется content downloader

    . Среди минусов ее то, что она десктопная, то есть, работать с ней придется либо со своего компьютера, либо с удаленного сервера. Само собой программа платная, так что придется еще и заплатить какую-то сумму денег, чтобы использовать ее (имеется несколько типов лицензий).

    Кроме того существует еще ZennoPoster

    , который обладает более широкими возможностями, так как может симулировать работу человека в браузере, однако и недостатков у него предостаточно.

    Наконец, написать парсер можно на специальных скриптовых языках, вроде iMacros , однако это не всегда удобно, да и возможности таких языков сильно ограничены.

    Самый лучший вариант - написать php скрипт

    , который будет подключаться с удаленного хостинга через прокси, например, к нужному ресурсу, и сразу же добавлять спарсенную информацию в базу данных.

    Что для этого требуется? Основные знания php, то есть умение работать с данными, хорошее владение синтаксисом, и опыт работы с библиотекой cURL .

    Как же выдрать нужные данные со страницы? Сначала обязательно следует скачать саму страницу, например, с помощью библиотеки cURL, хотя можно воспользоваться и стандартной функцией file_get_contents, если хостинг поддерживает удаленное подключение через fopen. cURL к слову очень мощный инструмент для составления POST, GET запросов, использования прокси и вообще всего, чего только душе угодно, плюс установлен на любом хостинге практически.

    Теперь данные нужно обработать, тут следует выбрать, каким образом выдирать информацию со страницы. Можно воспользоваться стандартными функциями php, вроде strpos, substr и т.д., но это настолько криво, что лучше об этом даже не думать.

    Вторая мысль приходит - использовать регулярные выражения для этих целей. И правда, регулярные выражения - отличный вариант для нахождения той или иной информации на странице, однако есть одно но, вам придется много писать, возможно, придется написать целую библиотеку, прежде чем вы приведете код к более или менее читаемому виду, без снижения гибкости и функционала. Иными словами регулярные выражения - хорошо, но не в данном случае.

    Благо, что существуют уже готовые библиотеки, которые позволяют сосредоточиться непосредственно на работе со страницей, как с DOM (Document Object Model).

    $doc = new DOMDocument();

    $doc->loadHTML ($data);

    Первая строчка создает объект, а вторая создает из обычных string данных (в которых должно находиться содержимое страницы) создает DOM.

    $searchNodes = $doc->getElementsByTagName("a");

    Теперь в переменной $searchNodes находится массив из найденных тегов "a".

    Foreach ($searchNodes as $cur) {

    echo $cur->getAttribute("href");

    А этот код выведет все значения полей href (обычно это адрес, куда попадает пользователь после нажатия на ссылку).

    Более подробно с данной мощной библиотекой можно ознакомиться в официальной документации.

    Но если вы хотите еще проще и удобней, то обратите внимание на библиотеку PHP Simple HTML DOM Parser. Она очень удобна и проста в освоении, разобраться, что к чему можно буквально за 10-15 минут, однако, с некоторыми типами данных она работает не слишком хорошо.

    Существуют еще библиотеки, но эти две наиболее удобны и просты в освоении.

    Для того, чтобы спарсить страницу сайта (то есть разобрать ее HTML код),

    Ее для начала следует получить. А затем уже полученный код можно

    Разобрать с помощью регулярных выражений и, либо каким-то образом его проанализировать,

    Либо сохранить в базу данных, либо и то, и другое.

    Получение страниц сайтов с помощью file_get_contents

    Итак, для начала давайте поучимся получать страницы сайтов

    В переменную PHP. Это делается с помощью функции file_get_contents

    Которая чаще всего используется для получения данных из файла,

    Однако, может быть использована для получения страницы сайта - если передать

    Ей параметром не путь к файлу, а url страницы сайта.

    Учтите, что эта функция не идеальна и существует более мощный аналог -

    Библиотека CURL

    , которая позволяет работать с куками, с заголовками,

    Позволяет отправлять формы и переходить по редиректам. Все это file_get_contents

    Делать не умеет, однако для начала нам сойдет и она, а работу с CURL

    Мы разберем в следующем уроке.

    Итак, давайте для примера получим главную страницу моего сайта и выведем ее на экран

    (сделайте это):

    <?php

    echo file_get_contents("

    ?>

    Что вы получите в результате: у себя на экране

    Вы увидите страницу моего сайта, однако, скорее всего без CSS стилей и картинок

    (будут ли работать CSS и картинки - зависит от сайта, почему так - разберем попозже).

    Давайте теперь выведем не страницу сайта, а ее исходный код.

    Запишем его в переменную $str

    И выведем на экран с помощью var_dump

    <?php

    $str = file_get_contents("

    var_dump($str);

    ?>

    Учтите, что var_dump

    Должен быть настроен корректно в конфигурации PHP

    (см. Предыдущий урок для этого). Корректно - это значит вы должны видеть теги

    И не должно быть ограничения на длину строки (код страницы сайта может быть очень большим и

    Желательно видеть его весь).

    Итак, если все сделано хорошо, и вы видите исходный код страницы сайта -

    Самое время приступить к его парсингу с помощью регулярных выражений

    Если вы не знаете регулярных выражений или сомневаетесь

    В своих знаниях - самое время

    Изучить учебник по регулярным выражениям ,

    А затем вернутся к изучению данного руководства по парсингу.

    Должна быть включена директива allow_url_fopen

    Парсинг с помощью регулярных выражений

    При попытке разобрать HTML код с помощью регулярных выражений

    Вас будут ждать некоторые подводные камни. Их наличие чаще всего

    Связано с тем, что регулярные выражения не предназначены

    Для разбора тегов - для этого есть более продвинутые инструменты, например

    Библиотека phpQuery, которую мы будем разбирать в следующих уроках.

    Однако, уметь использовать регулярные выражения для парсинга

    Тоже важно -

    Во-первых, регулярки это простой (если вы их уже знаете - то простой) и популярный инструмент для парсинга,

    Во-вторых, регулярки работают на порядок быстрее, чем любые библиотеки (часто это критично),

    Ну, и в-третьих, даже при использовании специальных библиотек нужда в регулярках

    Все равно есть.

    Подводные камни

    Первая

    Неожиданность, которая ожидает вас при использовании

    preg_match

    И preg_match_all

    - это то, что они

    Работают только для тегов, целиком расположенных на одной строке (то есть, в них нету нажатого энтера).

    Если попытаться спарсить многострочный тег - у вас ничего не получится,

    Пока вы не включите однострочный режим

    С помощью модификатора s

    Вот таким образом:

    <?php

    preg_match_all("#регулярка# s ", $str, $res);

    var_dump($res);

    ?>

    Вторая

    Неожиданность ждет вас, когда вы попробуете поработать

    С кириллицей - в этом случае нужно не забыть написать модификатор u

    (u маленькое, не путать с большим), вот так:

    <?php

    preg_match_all("#регулярка# u ", $str, $res);

    var_dump($res);

    ?>

    <?php

    preg_match_all("#регулярка# su ", $str, $res);

    var_dump($res);

    ?>

    Какие еще подводные камни вас ждут - будем разбирать постепенно

    В течении данного урока.

    Попробуем разобрать теги

    Пусть мы каким-то образом (например, через file_get_contents

    ) получили HTML код сайта.

    Вот он:

    <title>Это заголовок тайтл</title>

    Это основное содержимое страницы.

    Давайте займемся его разбором. Для начала давайте получим

    Содержимое тега <title>, тега <head>, и тега <body>.

    Итак, получим содержимое тега <title>

    (в переменной $str

    Хранится HTML код, который мы разбираем):

    <?php

    preg_match_all("#<title>(.+?)</title>#su", $str, $res);

    var_dump($res);

    ?>

    Содержимое <head>:

    <?php

    preg_match_all("#<head>(.+?)<link type="image/svg+xml" " rel="icon">

    </head>#su", $str, $res);

    var_dump($res);

    ?>

    Содержимое <body>:

    <?php

    preg_match_all("#<body>(.+?)</body>#su", $str, $res);

    var_dump($res);

    ?>

    В общем-то ничего сложного нет, только обратите внимание на то, что как уголки

    Тегов, так и слеш от закрывающего тега экранировать не надо (последнее верно,

    Если ограничителем регулярки является не слеш /, а, например, решетка #, как у нас сейчас).

    Однако, на самом деле наши регулярки не идеальны. При некоторых условиях

    Они просто откажутся работать

    . Вы должны быть готовы к этому - сайты, которые вы будете

    Парсить - разные (часто они еще и устаревшие),

    И то, что хорошо работает на одном сайте, вполне может перестать работать

    На другом.

    Что же у нас не так? На самом деле тег <body> - такой же тег, как и остальные

    И в нем вполне могут быть атрибуты. Чаще всего это атрибут class ,

    Но могут быть и другие (например, onload

    Для выполнения JavaScript).

    Итак, перепишем регулярку с учетом атрибутов:

    <?php

    preg_match_all("#<body.+>(.+?)</body>#su", $str, $res);

    var_dump($res);

    ?>

    Но и здесь мы ошиблись, при чем ошибок несколько.

    Первая

    - следует ставить не плюс +

    , а звездочку *

    Так как плюс предполагает наличия хотя бы одного символа

    - но ведь

    Атрибутов в теге может и не быть - и в этом случае между названием тега body

    И уголком не будет никаких символов - и наша регулярка спасует (не понятно, что

    Я тут написал - учите регулярки).

    Поправим эту проблему и вернемся к дальнейшему обсуждению:

    <?php

    preg_match_all("#<body.*>(.+?)</body>#su", $str, $res);

    var_dump($res);

    ?>

    Вторая

    Проблема следующая: если внутри <body> будут

    Другие теги (а так оно и будет в реальной жизни) - то наша регулярка

    <body.*> зацепит лишнего. Например, рассмотрим такой код:

    <title>Это заголовок тайтл</title>

    Регулярка <body.*> найдет не <body class="www">

    , как ожидалось,

    А <body class="www">

    Абзац{

    } - потому что мы не ограничили

    Ей жадность. Сделаем это: место <body.*> напишем <body.*?> - в этом случае будет все хорошо.

    Но более хорошим вариантом будет написать вместо точки конструкцию [^>]

    ( не закрывающий уголок

    Вот так - <body[^>]*?> - в этом случае мы полностью застрахуем себя от проблем такого рода,

    Так как регулярка никогда не сможет выйти за тег.

    Получение блока по id

    Давайте рассмотрим следующий код:

    <title>Это заголовок тайтл</title>

    Контент

    Еще див

    Напишем регулярку, которая получит содержимое блока с id, равным content

    Итак, попытка номер один (не совсем корректная):

    #

    (.+?)

    #su

    Что здесь не так? Проблема с пробелами - ведь между названием тега

    И атрибутом может быть сколько угодно пробелов, так же, как и вокруг

    Равно в атрибутах.

    Все проблемы такого рода существенны - даже если ваша регулярка

    Разбирает одну страницу сайта - это не значит, что она разберет другую

    Подобную страницу: на ней вполне вокруг равно в атрибуте id могли поставить

    Пробелы - и тут ваша регулярка спасует.

    Поэтому, регулярки парсера нужно строить так,

    Чтобы они обходили как можно больше проблем

    - в этом случае ваш парсер

    Будет работать максимально корректно на всех страницах сайта, а не только на тех,

    Которые вы проверили.

    Давайте поправим нашу регулярку:

    #

    (.+?)

    #su

    Обратите внимание на то, что вокруг равно пробелы могут быть, а могут и не быть,

    Поэтому там стоит оператор повторения звездочка *

    Кроме того, перед закрывающем уголком тега тоже могут быть пробелы (а могут и не быть)

    - учтем и это:

    #

    (.+?)

    #su

    Итак, уже лучше, но еще далеко не идеал - ведь вокруг атрибута

    id могут быть и другие атрибуты, например так:

    В этом случае наша регулярка спасует. Давайте укажем, что могут быть еще

    И другие атрибуты:

    #

    (.+?)

    #su

    Обратите внимание, что после

    Стоит регулярка .*?

    - это не ошибка, так и задумано,

    Ведь после

    Может вообще не быть других атрибутов (кроме нашего id) и пробела тоже

    Может не быть.

    Регулярка стала еще более хорошей, но есть проблема: лучше не использовать точку

    В блоках типа .*?

    - мы вполне можем хватануть лишнего выйдя за наш тег

    (помните пример выше с body?). Лучше все-таки использовать [^>]

    - это гарантия

    Безопасности:

    #

    ]+? id\s*?=\s*?"content" [^>]*? >(.+?)

    #su

    Следующая проблема: кавычки-то в атрибутах могут быть как одинарными,

    Так и двойными (их даже может вообще не быть, если значение атрибута - одно слово,

    Но этот случай редкий - не будем его учитывать, если вам встретится такой сайт - проще написать

    Регулярку специально для него). Итак, учтем это:

    #

    ]+?id\s*?=\s*? ["\"] content ["\"] [^>]*?>(.+?)

    #su

    Обратите внимание на то, что одинарная кавычка заэкранирована -

    Мы это делаем, так как внешние кавычки от строки PHP у нас тоже одинарные, вот тут:

    <?php

    preg_match_all("#кавычка внутри экранируется \" - вот так#su", $str, $res);

    ?>

    В общем-то регулярка достаточно хороша, но иногда идут дальше и делают

    Так, чтобы первая кавычка от тега совпадала со второй

    (исключаем вариант id="content"). В этом случае делают так - первая кавычка ложится

    В карман, а вторая кавычка указывается карманом, чтобы совпадала с первой:

    #

    ]+?id\s*?=\s*? (["\"]) content \1 [^>]*?>(.+?)

    #su

    Для нашей задачи это особо не нужно (можно быть точно уверенным, что такое id="content" - врядли где-то будет),

    Но есть атрибуты, где это существенно. Например, в таком случае:

    - в атрибуте title вполне может затесаться

    Одинарная кавычка и регулярка title\s*?=\s*?["\"](.+?)["\"]

    Вытянет текст " Рассказ о д

    " -

    Потому что поиск ведется до первой кавычки.

    А вот регулярка title\s*?=\s*?(["\"])(.+?)\1

    Будет корректно обрабатывать

    И даже

    Проблема вложенных блоков

    В нашей регулярке есть еще одна проблема - она не может работать

    С вложенными блоками. Например, если внутри дива #content

    Есть еще один див - регулярка найдет текст до первого закрывающего

    А не для закрывающего дива для #content. Пример проблемного кода:

    <title>Это заголовок тайтл</title>

    Див внутри контента

    Контент

    Футер

    Наша регулярка вытянет только

    Див внутри контента

    - остановится

    На первом же

    . Что делать в этом случае?

    Что делать в этом случае? Во-первых, к этому случаю всегда нужно быть готовым - даже

    Если на исследуемых страницах сайта нет вложенных блоков - они вполне могут быть

    И на других страницах или появиться потом (если сайт парсится не один раз, а периодически).

    Ну, а что делать - нужно просто привязываться не к

    , а к тому, что стоит под нашим блоком

    (в нашем случае под контентом). В приведенном ниже коде под ним стоит

    Можно привязаться к нему или к - и так, и так будет хорошо.

    В HTML5 появились новые теги - header, footer, main (для контента) - с ними работать

    Гораздо удобнее, ведь в них исключена вложенность. И очень часто

    Вместо

    Можно увидеть просто

    И парсинг становится проще.

    Вытягиваем заданные блоки

    <title>Это заголовок тайтл</title>

    Абзац 1

    Абзац 2

    Абзац 3

    Абзац 4

    Абзац 5

    Кодировка документа

    Иногда вам придется парсить не современные сайты, а достаточные старые.

    На таких сайтах кодировка чаще всего установлена в windows-1251.

    Поэтому, если вы попытаетесь получить русскоязычные тесты с этого сайта,

    Вы вместо русских букв увидите вопросики - это первый признак сбившейся кодировки.

    В этом случае следует воспользоваться функцией iconv

    Которая перекодирует текст из устаревшего windows-1251 в современный utf-8:

    <?php

    $str = getPageByUrl("

    $str = iconv("windows-1251", "utf-8", $str);

    ?>

    Как понять по HTML коду сайта, что в нем не та кодировка?

    Посмотрите на тег meta charset . Он может выглядеть так

    Или так <meta http-equiv="content-type" content="text/html; charset=windows-1251">. Во втором случае

    Кодировка не та.

    Кстати, в HTML5 кодировка устанавливается так, а варианты

    Кодировки с http-equiv="content-type" устарели. Однако, на сайтах сейчас можно

    Встретить и тот, и другой вариант.

    Кстати, на сайте может вообще не быть тега meta charset - в этом

    Случае кодировка файла windows-1251 (в подавляющем большинстве случаев).

    Что вам делать дальше

    Приступайте к решению задач по следующей ссылке: задачи к уроку .

    Когда все решите - переходите к изучению новой темы.

    Потихоньку изучаю возможности PHP для создания парсеров. Я уже писала о том, как парсить . Сейчас расскажу об одном из способов парсинга html (он подойдет и для xml тоже, кстати). Повторю, что в php я не гуру, поэтому буду очень признательна, если вы оставите свои комментарии к поднятой теме.

    Побродив по нашим и англоязычным форумам, поняла, что спор о том, лучше ли парсить html регулярными выражениями или использовать для этих целей возможности PHP DOM

    , является холиваром. Сама же я пришла к выводу, что все зависит от сложности структуры данных. Ведь если структура достаточно сложная, то с помощью регулярок приходится парсить в несколько этапов: сначала выделить большой кусок, потом разделить его на более маленькие и т.д.. В итоге, если данные сложные (или их очень много), то процесс парсинга может значительно затянуться. Ресурсоемкость в этом случае еще будет зависеть, конечно же, от самих регулярных выражений. Если в регэкспах много ".*" (они являются самыми ресурсоемкими, т.к. "прочесывают" исходный код с максимальной жадностью), то замедление будет заметным.

    И вот как раз в этом-то случае как нельзя кстати приходится PHP DOM. Это удобный инструмент для парсинга как XML, так и HTML. Некоторые придерживаются мнения, что парсить html регэкспами вообще нельзя, и яростно защищают PHP DOM.

    В свою очередь я ознакомилась с этим расширением, написав простенький скрипт. Который и привожу здесь, чтобы наглядно показать, как это все легко и просто. В примере разбирается html с частью карты сайта этого блога. Он присвоен переменной прямо внутри кода. В "боевых" же условиях исходные данные следует получать, например, через file_get_contents().

    <?php

    $html = "

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"

    "

    <title>сайт Map</title>

    Последние темы блога

    Базы

    MySQL и Delphi. Express-метод

    Пост о том, что лучше сто раз проверить

    ";

    /** создаем новый dom-объект **/

    $dom = new domDocument;

    /** загружаем html в объект **/

    $dom->loadHTML($html);

    $dom->preserveWhiteSpace = false;

    /** элемент по тэгу **/

    $tables = $dom->getElementsByTagName("table");

    /** получаем все строки таблицы **/

    $rows = $tables->item(0)->getElementsByTagName("tr");

    /** цикл по строкам **/

    foreach ($rows as $row)

    /** все ячейки по тэгу **/

    $cols = $row->getElementsByTagName("td");

    /** выводим значения **/

    echo $cols->item(0)->nodeValue."

    ";

    echo $cols->item(1)->nodeValue."

    ";

    echo "<hr>";

    ?>

    В результате после запуска скрипта получаем такую картину:

    Upd:

    Без всякого сомнения, для более удобной работы со структурой HTML в PHP вам надо познакомиться с библиотекой

    Вы узнаете, как получить список всех статей, опубликованных на сайте.

    Шаг 1. Подготовка

    В первую очередь нужно скопировать библиотеку simpleHTMLdom

    , которая доступна на сайте

    В архиве для загрузки хранятся несколько файлов, но вам нужен только один simple_html_dom.php

    . Все остальные файлы - это примеры и документация.

    Шаг 2. Основы парсинга

    Данную библиотеку очень просто использовать, но есть несколько основных моментов, которые следует изучить до того, как вы начнете приводить ее в действие.

    $html = new simple_html_dom();

    // Загрузка из строки

    $html->load("<html><body>

    Hello World!

    ");

    // Загрузка файла

    $html->load_file("

    Вы можете создать исходный объект загрузив HTML

    Либо из строки, либо из файла. Загрузка из файла может быть выполнена либо через указание URL

    , либо из вашей локальной файловой системы.

    Примечания: Метод load_file()

    Делегирует работу функции PHP file_get_contents

    . Если allow_url_fopen

    Не установлен в значение true

    В вашем файле php.ini

    , то может отсутствовать возможность открывать удаленные файлы таким образом. В этом случае вы можете вернуться к использованию библиотеки CURL для загрузки удаленных страниц, а затем прочитать с помощью метода load()

    Доступ к информации

    Как только у вас будет объект DOM, вы сможете начать работать с ним, используя метод find()

    И создавая коллекции. Коллекция - это группа объектов, найденных по селектору. Синтаксис очень похож на jQuery.

    Hello World!

    We"re Here.

    В данном примере HTML мы собираемся разобраться, как получить доступ к информации во втором параграфе, изменить ее и затем вывести результат действий.

    1. # создаем и загружаем HTML

    2. include("simple_html_dom.php");

    3. $html = new simple_html_dom();

    4. $html->load("<html><body>

    Hello World!

    </body></html>");

    5. # получаем элемент представляющий второй параграф

    6. $element = $html->find("p");

    7. # модифицируем его

    8. $element->innertext .= " and we"re here to stay.";

    9. # Выводим!

    10. echo $html->save();

    Строки 2-4

    : Загружаем HTML из строки, как объяснялось выше.

    Строка 6

    : Находим все тэги

    В HTML, и возвращаем их в массив. Первый параграф будет иметь индекс 0, а последующие параграфы индексируются соответственно.

    Строка 8

    : Получаем доступ ко второму элементу в нашей коллекции параграфов (индекс 1), добавляем текст к его атрибуту innertext. Атрибут innertext представляет содержимое между тэгами, а атрибут outertext представляет содержимое включая тэги. Мы можем заменить тэг полностью, используя атрибут outertext.

    Теперь добавим одну строку и модифицируем класс тэга нашего второго параграфа.

    $element->class = "class_name";

    echo $html->save();

    Окончательный вид HTML после команды save будет иметь вид:

    Hello World!

    We"re here and we"re here to stay.

    Другие селекторы

    Несколько других примеров селекторов. Если вы использовали jQuery, все покажется вам знакомым.

    # получаем первый найденный элемент с id="foo"

    $single = $html->find("#foo", 0);

    # получаем все элементы с классом "foo"

    $collection = $html->find(".foo");

    # получаем все теги ссылок на странице

    $collection = $html->find("a");

    # получаем все теги ссылок, которые расположены внутри тега H1

    $collection = $html->find("h1 a");

    # получаем все теги img с

    $collection = $html->find("img");

    Первый пример требует пояснений. Все запросы по умолчанию возвращают коллекции, даже запрос с ID, который должен вернуть только один элемент. Однако, задавая второй параметр, мы говорим "вернуть только первый элемент из коллекции".

    Это означает, что $single

    - единичный элемент, а не не массив элементов с одним членом.

    Остальные примеры достаточно очевидны.

    Документация

    Полная документация по библиотеке доступна на .

    Шаг 3. Пример из реального мира

    Для демонстрации библиотеки в действии мы напишем скрипт для скрепинга содержимого сайта net.tutsplus.com и формирования списка заголовков и описания статей, представленных на сайте....только в качестве примера. Скрепинг относится к области трюков в веб, и не должен использоваться без разрешения владельца ресурса.

    Include("simple_html_dom.php");

    $articles = array();

    getArticles("

    Начнем с подключения библиотеки и вызова функции getArticles

    С указанием страницы, с которой мы хотим начать парсинг.

    Так же объявим глобальный массив, чтобы сделать проще сбор все информации о статьях в одном месте. Прежде чем начинать парсинг взглянем, как описывается статья на сайте Nettuts+.

    Title

    Description

    Так представлен основой формат поста на сайте, включая комментарии исходного кода. Почему важны комментарии? Они подсчитываются парсером как узлы.

    Шаг 4. Начало функции парсинга

    function getArticles($page) {

    global $articles;

    $html = new simple_html_dom();

    $html->load_file($page);

    // ... Дальше

    Начинаем с объявления глобального массива, создаем новый объект simple_html_dom

    , и затем загружаем страницу для парсинга. Данная функция будет рекурсивно вызываться, поэтому устанавливаем для нее в качестве параметра URL страницы.

    Шаг 5. Находим ту информацию, которая нам нужна

    1. $items = $html->find("div");

    2. foreach($items as $post) {

    3. # помним про учет комментариев в качестве узлов

    4. $articles = array($post->children(3)->outertext,

    5. $post->children(6)->first_child()->outertext);

    6. }

    Это суть функции getArticles

    . Нужно разобраться более детально, чтобы понять, что происходит.

    Строка 1

    : Создаем массив элементов - тег div

    С классом preview. Теперь у нас есть коллекция статей, сохраненная в $items

    Строка 4

    : $post

    Теперь ссылается на единичный div класса preview. Если мы взглянем в оригинальный HTML, то увидим, что третий элемент потомок - это тег H1

    , который содержит заголовок статьи. Мы берем его и присваиваем $articles

    Помните о начале отсчета с 0 и учете комментариев исходного кода, когда будете определять правильный индекс узла.

    Строка 5

    : Шестой потомок $post

    - это

    . Нам нужен текст описания из него, поэтому мы используем outertext

    - в описание будет включен тег параграфа. Единичная запись в массиве статей будет выглядеть примерно так:

    $articles = "Заголовок статьи";

    $articles = "This is my article description"

    Шаг 6, Работа со страницами

    Первым делом нужно определить, как найти следующую страницу. На сайте Nettuts+ о номере страницы очень легко догадаться по URL, но нам нужно получать ссылку в парсинге.

    Если посмотреть на HTML, то можно найти следующее:

    "

    Это сслыка на следующую страницу, и мы можем легко ее найти по классу ' nextpostslink

    '. Теперь эта информация может быть использована.

    If($next = $html->find("a", 0)) {

    $URL = $next->href;

    $html->clear();

    unset($html);

    getArticles($URL);

    В первой строке мы проверяем, можно ли найти ссылку с классом nextpostslink

    . Отметим использование второго параметра в функции find()

    . Таким образом мы указываем, что хотим получить первый элемент (индекс 0) в возвращаемой коллекции. $next

    Содержит единичный элемент, а не коллекцию.

    Затем мы присваиваем ссылку HREF переменной $URL. Это важно, потому, что далее мы удаляем объект HTML. Чтобы предотвратить утечку памяти в php5, текущий объект simple_html_dom

    Должен быть очищен и разустановлен, прежде чем другой объект будет создан. Если этого не сделать, то вся доступная память может быть поглощена.

    В завершение, мы вызываем функцию getArticles с URL следующей страницы. Рекурсия прерывается, когда не остается страниц для парсинга.

    Шаг 7. Вывод результатов

    Первое, мы собираемся установить несколько основных стилей. Все абсолютно произвольно - вы можете устанавливать то, что нравится.

    #main {

    margin:80px auto;

    width:500px;

    h1 {

    font:bold 40px/38px helvetica, verdana, sans-serif;

    margin:0;

    h1 a {

    color:#600;

    text-decoration:none;

    p {

    background: #ECECEC;

    font:10px/14px verdana, sans-serif;

    margin:8px 0 15px;

    border: 1px #CCC solid;

    padding: 15px;

    .item {

    padding:10px;

    Затем мы пишем маленькую функцию на PHP в странице для вывода предварительно сохраненной информации.

    <?php

    foreach($articles as $item) {

    echo "

    ";

    echo $item;

    echo $item;

    echo "

    ";

    ?>

    Окончательный результат - это одна страница HTML со списком всех статей со страниц Nettuts+, начиная с той, которая была указана в первом вызове getArticles()

    Шаг 8. Заключение

    Если Вы запускаете парсинг для большого количества страниц (скажем, весь сайт), то это может занять много времени. На таком сайте как Nettuts+, который имеет боле 86страниц, процесс парсинга может длиться более минуты.

    Данный урок открывает для вас тему парсинга HTML. Существуют другие методы методы работы с DOM, которые позволяют работать с селектором xpath для поиска элементов. Описанная в данном уроке библиотека проста для использования и отлично подходит для быстрого старта. Помните, что нужно спрашивать разрешения, прежде проводить скрепинг сайта.

    Еще на эту тему

    Как читать сообщения в Facebook без приложения Messenger

    Выкидывает на рабочий стол Sniper Elite V2 Что делать если лагает sniper elite 3

    0%

    Другие статьи

    Самые мощные смартфоны Топ 10 самых мощных телефонов

    Самые мощные смартфоны Топ 10 самых мощных телефонов

    Как удалить аваст с компьютера если он не удаляется

    Как удалить аваст с компьютера если он не удаляется

    Подключение Nokia Lumia к ПК

    Статьи и Лайфхаки

    Впервые могло разочаровать всех, кто недавно приобрёл данное мобильное

    Marble - блочный адаптивный HTML5 шаблон

    • Главная
    • О проекте
    • Рекламодателям
    • Карта сайта
    • Обратная связь

    Поиск по сайту

    Рубрики

Рубрика: Новичкам и программирование

Похожие статьи