your programing

PHP에서 HTML / XML을 어떻게 구문 분석하고 처리합니까?

lovepro 2020. 12. 31. 23:09
반응형

PHP에서 HTML / XML을 어떻게 구문 분석하고 처리합니까?

HTML / XML을 구문 분석하고 정보를 추출하려면 어떻게해야합니까?

기본 XML 확장

PHP와 함께 제공되고 일반적으로 모든 타사 라이브러리보다 빠르며 마크 업에 필요한 모든 제어 기능을 제공하기 때문에 네이티브 XML 확장 중 하나를 사용하는 것을 선호합니다 .

DOM

DOM 확장을 사용하면 PHP 5에서 DOM API를 통해 XML 문서에서 작업 할 수 있습니다. 이는 프로그램과 스크립트가 동적으로 액세스하고 업데이트 할 수 있도록하는 플랫폼 및 언어 중립적 인터페이스 인 W3C의 Document Object Model Core Level 3의 구현입니다. 문서의 내용, 구조 및 스타일.

DOM은 실제 (깨진) HTML을 구문 분석하고 수정할 수 있으며 XPath 쿼리를 수행 할 수 있습니다 . libxml 기반입니다 .

DOM으로 생산성을 높이려면 시간이 좀 걸리지 만 그 시간은 IMO의 가치가 있습니다. DOM은 언어에 구애받지 않는 인터페이스이므로 여러 언어로 구현할 수 있으므로 프로그래밍 언어를 변경해야하는 경우 해당 언어의 DOM API를 사용하는 방법을 이미 알고있을 가능성이 있습니다.

기본적인 사용 예제는 Grabbing the href attribute of an A element 에서 찾을 수 있으며 일반적인 개념 개요는 php의 DOMDocument에서 찾을 수 있습니다.

DOM 확장을 사용하는 방법은 StackOverflow 에서 광범위하게 다루었 으므로 사용하기로 선택하면 Stack Overflow를 검색 / 탐색하여 발생하는 대부분의 문제를 해결할 수 있습니다.

XMLReader

XMLReader 확장은 XML 풀 파서입니다. 리더는 문서 스트림에서 앞으로 나아가는 동안 각 노드에서 멈추는 커서 역할을합니다.

XMLReader는 DOM과 마찬가지로 libxml을 기반으로합니다. HTML 파서 모듈을 트리거하는 방법을 모르기 때문에 깨진 HTML을 파싱하기 위해 XMLReader를 사용할 가능성이 libxml의 HTML 파서 모듈을 사용하도록 명시 적으로 말할 수있는 DOM을 사용하는 것보다 덜 강력 할 수 있습니다.

기본적인 사용 예는 php를 사용하여 h1 태그에서 모든 값을 가져 오는 데 있습니다.

XML 파서

이 확장을 사용하면 XML 파서를 만든 다음 다른 XML 이벤트에 대한 처리기를 정의 할 수 있습니다. 각 XML 구문 분석기에는 조정할 수있는 몇 가지 매개 변수도 있습니다.

XML 파서 라이브러리도 libxml을 기반으로하며 SAX 스타일 XML 푸시 파서를 구현합니다 . DOM 또는 SimpleXML보다 메모리 관리를위한 더 나은 선택 일 수 있지만 XMLReader에 의해 구현 된 풀 파서보다 작업하기가 더 어려울 것입니다.

SimpleXml

SimpleXML 확장은 XML을 일반 속성 선택기 및 배열 반복기로 처리 할 수있는 개체로 변환하는 매우 간단하고 쉽게 사용할 수있는 도구 집합을 제공합니다.

SimpleXML은 HTML이 유효한 XHTML임을 알고있는 경우 옵션입니다. 깨진 HTML을 구문 분석해야하는 경우 SimpleXml이 질식 할 수 있으므로 고려하지 마십시오.

기본적인 사용 예에서 찾을 수 있습니다 XML 파일의 CRUD 노드와 노드 값에 대한 간단한 프로그램 과이 매뉴얼 PHP에서 추가 예제 많이 .

타사 라이브러리 (libxml 기반)

타사 lib를 사용하는 것을 선호하는 경우 문자열 구문 분석 대신 실제로 DOM / libxml 을 사용하는 lib를 사용하는 것이 좋습니다 .

FluentDom - 리포

FluentDOM은 PHP의 DOMDocument에 대해 jQuery와 같은 유창한 XML 인터페이스를 제공합니다. 선택기는 XPath 또는 CSS로 작성됩니다 (CSS에서 XPath 로의 변환기 사용). 현재 버전은 DOM 구현 표준 인터페이스를 확장하고 DOM Living Standard의 기능을 추가합니다. FluentDOM은 JSON, CSV, JsonML, RabbitFish 등과 같은 형식을로드 할 수 있습니다. Composer를 통해 설치할 수 있습니다.

HtmlPageDom

Wa72 \ HtmlPageDom`은 DOM 트리를 순회하기 위해 Symfony2 컴포넌트의 DomCrawler가 필요하며 HTML 문서 의 DOM 트리를 조작하는 메소드를 추가하여 확장 하여 HTML 문서를 쉽게 조작 할 수있는 PHP 라이브러리입니다 .

phpQuery (수년간 업데이트되지 않음)

phpQuery는 PHP5로 작성된 jQuery JavaScript 라이브러리를 기반으로하는 서버 측, 체인 가능, CSS3 선택기 구동 DOM (Document Object Model) API이며 추가 명령 줄 인터페이스 (CLI)를 제공합니다.

참조 : https://github.com/electrolinux/phpquery

Zend_Dom

Zend_Dom은 DOM 문서 및 구조 작업을위한 도구를 제공합니다. 현재 Zend_Dom_Query는 XPath 및 CSS 선택기를 모두 활용하여 DOM 문서를 쿼리하기위한 통합 인터페이스를 제공합니다.

QueryPath

QueryPath는 XML 및 HTML을 조작하기위한 PHP 라이브러리입니다. 로컬 파일뿐만 아니라 웹 서비스 및 데이터베이스 리소스에서도 작동하도록 설계되었습니다. 대부분의 jQuery 인터페이스 (CSS 스타일 선택기 포함)를 구현하지만 서버 측 사용을 위해 크게 조정되었습니다. Composer를 통해 설치할 수 있습니다.

fDOMDocument

fDOMDocument는 표준 DOM을 확장하여 PHP 경고 또는 알림 대신 오류가 발생할 때마다 예외를 사용합니다. 또한 편의를 위해 다양한 사용자 지정 메서드와 바로 가기를 추가하고 DOM 사용을 단순화합니다.

sabre / xml

sabre / xml은 XMLReader 및 XMLWriter 클래스를 래핑하고 확장하여 간단한 "xml to object / array"매핑 시스템 및 디자인 패턴을 만드는 라이브러리입니다. XML 쓰기 및 읽기는 단일 패스이므로 빠르며 큰 xml 파일에서 메모리가 부족합니다.

FluidXML

FluidXML은 간결하고 유창한 API로 XML을 조작하기위한 PHP 라이브러리입니다. XPath와 유창한 프로그래밍 패턴을 활용하여 재미 있고 효과적입니다.

타사 (libxml 기반 아님)

DOM / libxml을 기반으로 빌드 할 때의 이점은 기본 확장을 기반으로하기 때문에 즉시 우수한 성능을 얻을 수 있다는 것입니다. 그러나 모든 타사 라이브러리가이 경로를 따르는 것은 아닙니다. 그들 중 일부는 아래에 나열

PHP 단순 HTML DOM 파서

  • PHP5 +로 작성된 HTML DOM 파서는 매우 쉬운 방법으로 HTML을 조작 할 수 있습니다!
  • PHP 5 이상이 필요합니다.
  • 잘못된 HTML을 지원합니다.
  • jQuery와 같은 선택기를 사용하여 HTML 페이지에서 태그를 찾습니다.
  • 한 줄로 HTML에서 콘텐츠를 추출합니다.

일반적으로이 파서를 권장하지 않습니다. 코드베이스는 끔찍하고 파서 자체는 다소 느리고 메모리가 부족합니다. 모든 jQuery 선택자 (예 : 자식 선택자 )가 가능한 것은 아닙니다 . libxml 기반 라이브러리는 이보다 쉽게 ​​성능을 능가해야합니다.

PHP Html 파서

PHPHtmlParser는 jQuery와 같은 CSS 선택기를 사용하여 태그를 선택할 수있는 간단하고 유연한 html 파서입니다. 목표는 유효한지 여부에 관계없이 html을 스크랩하는 빠르고 쉬운 방법이 필요한 도구 개발을 지원하는 것입니다! 이 프로젝트는 sunra / php-simple-html-dom-parser에 의해 원래 지원되었지만 지원이 중단 된 것처럼 보이므로이 프로젝트는 그의 이전 작업을 제가 적용한 것입니다.

다시 말하지만이 파서를 권장하지 않습니다. CPU 사용량이 많으면 다소 느립니다. 생성 된 DOM 객체의 메모리를 지우는 기능도 없습니다. 이러한 문제는 특히 중첩 루프에서 확장됩니다. 문서 자체가 부정확하고 철자가 틀 렸으며 4 월 14 일 이후 수정 사항에 대한 응답이 없습니다.

가논

  • 범용 토크 나이저 및 HTML / XML / RSS DOM 파서
    • 요소와 그 속성을 조작하는 능력
    • 잘못된 HTML 및 UTF8 지원
  • 요소에 대해 고급 CSS3 유사 쿼리를 수행 할 수 있습니다 (예 : jQuery-지원되는 네임 스페이스).
  • HTML 미화 (예 : HTML Tidy)
    • CSS 및 자바 스크립트 축소
    • 속성 정렬, 대소 문자 변경, 들여 쓰기 수정 등
  • 확장 가능
    • 현재 문자 / 토큰을 기반으로 콜백을 사용하여 문서 구문 분석
    • 간편한 재정의를 위해 더 작은 기능으로 분리 된 작업
  • 빠르고 쉬운

사용하지 않았습니다. 그것이 좋은지 말할 수 없습니다.

HTML 5

위의 방법을 사용하여 HTML5를 구문 분석 할 수 있지만 HTML5에서 허용하는 마크 업으로 인해 단점이있을 수 있습니다 . 따라서 HTML5의 경우 다음과 같은 전용 파서를 사용하는 것이 좋습니다.

html5lib

주요 데스크톱 웹 브라우저와의 최대 호환성을 위해 WHATWG HTML5 사양에 기반한 HTML 파서의 Python 및 PHP 구현입니다.

HTML5가 완성되면 더 많은 전용 파서를 볼 수 있습니다. 체크 아웃 할 가치가있는 html 5 구문 분석을위한 How-To 라는 W3의 블로그 게시물도 있습니다 .

웹 서비스

PHP를 프로그래밍하고 싶지 않다면 웹 서비스를 사용할 수도 있습니다. 일반적으로 나는 이것들에 대한 유틸리티를 거의 찾지 못했지만 그것은 나와 나의 사용 사례입니다.

ScraperWiki .

ScraperWiki의 외부 인터페이스를 사용하면 웹 또는 자체 애플리케이션에서 사용하려는 형식으로 데이터를 추출 할 수 있습니다. 스크레이퍼 상태에 대한 정보를 추출 할 수도 있습니다.

정규식

마지막으로 가장 권장되는 사항 은 정규식을 사용 하여 HTML에서 데이터를 추출 할 수 있다는 것 입니다. 일반적으로 HTML에서 정규식을 사용하는 것은 권장되지 않습니다.

마크 업과 일치시키기 위해 웹에서 찾을 수있는 대부분의 스 니펫은 깨지기 쉽습니다. 대부분의 경우 그들은 매우 특정한 HTML 부분에서만 작동합니다. 어딘가에 공백을 추가하거나 태그에 속성을 추가 또는 변경하는 것과 같은 작은 마크 업 변경으로 인해 RegEx가 제대로 작성되지 않은 경우 실패 할 수 있습니다. HTML에서 RegEx를 사용하기 전에 무엇을하고 있는지 알아야합니다.

HTML 파서는 이미 HTML의 구문 규칙을 알고 있습니다. 새로운 정규식을 작성할 때마다 정규식을 가르쳐야합니다. RegEx는 어떤 경우에는 괜찮지 만 실제로 사용 사례에 따라 다릅니다.

당신은 보다 안정적인 파서를 쓸 수 있지만, 쓰기 완벽하고 신뢰할 수있는 정규 표현식 정의 파서은 상기 라이브러리가 이미 존재하고 이것에 훨씬 더 나은 일을 할 시간 낭비입니다.

또한 Html The Cthulhu Way 구문 분석을 참조하십시오.

서적

돈을 쓰고 싶다면

나는 PHP Architect 또는 저자와 관련이 없습니다.

간단한 HTML DOM 파서 사용해보기

  • 매우 쉬운 방법으로 HTML을 조작 할 수있는 PHP 5+로 작성된 HTML DOM 파서!
  • PHP 5 이상이 필요합니다.
  • 잘못된 HTML을 지원합니다.
  • jQuery와 같은 선택기를 사용하여 HTML 페이지에서 태그를 찾습니다.
  • 한 줄로 HTML에서 콘텐츠를 추출합니다.
  • 다운로드


예 :

HTML 요소를 얻는 방법 :

// Create DOM from URL or file
$html = file_get_html('http://www.example.com/');

// Find all images
foreach($html->find('img') as $element)
       echo $element->src . '<br>';

// Find all links
foreach($html->find('a') as $element)
       echo $element->href . '<br>';


HTML 요소를 수정하는 방법 :

// Create DOM from string
$html = str_get_html('<div id="hello">Hello</div><div id="world">World</div>');

$html->find('div', 1)->class = 'bar';

$html->find('div[id=hello]', 0)->innertext = 'foo';

echo $html;


HTML에서 컨텐츠 추출 :

// Dump contents (without tags) from HTML
echo file_get_html('http://www.google.com/')->plaintext;


Slashdot 스크래핑 :

// Create DOM from URL
$html = file_get_html('http://slashdot.org/');

// Find all article blocks
foreach($html->find('div.article') as $article) {
    $item['title']     = $article->find('div.title', 0)->plaintext;
    $item['intro']    = $article->find('div.intro', 0)->plaintext;
    $item['details'] = $article->find('div.details', 0)->plaintext;
    $articles[] = $item;
}

print_r($articles);

그냥 사용 DOMDocument-> loadHTML을 () 과 함께 할 수. libxml의 HTML 구문 분석 알고리즘은 매우 훌륭하고 빠르며 일반적인 믿음과는 달리 잘못된 형식의 HTML에 질식하지 않습니다.

왜 안되고 언제 정규 표현식을 사용해야합니까?

우선, 일반적인 잘못된 이름입니다. 정규 표현식은 HTML 을 " 파싱 " 하기위한 것이 아닙니다 . 그러나 Regexes는 데이터를 " 추출 " 할 수 있습니다 . 추출은 그들이 만든 것입니다. 적절한 SGML 툴킷 또는 기준 XML 파서에 비해 정규식 HTML 추출의 주요 단점은 구문 적 노력과 다양한 안정성입니다.

다소 신뢰할 수있는 HTML 추출 정규식을 만드는 것을 고려하십시오.

<a\s+class="?playbutton\d?[^>]+id="(\d+)".+?    <a\s+class="[\w\s]*title
[\w\s]*"[^>]+href="(http://[^">]+)"[^>]*>([^<>]+)</a>.+?

간단한 phpQuery 또는 QueryPath에 해당하는 것보다 가독성이 떨어집니다.

$div->find(".stationcool a")->attr("title");

그러나 도움이 될 수있는 특정 사용 사례가 있습니다.

  • 많은 DOM 순회 프런트 엔드는 HTML 주석을 표시하지 않지만 <!--때로는 추출에 더 유용한 앵커입니다. 특히 의사 HTML 변형 <$var>또는 SGML 잔류 물은 정규 표현식으로 쉽게 길들일 수 있습니다.
  • 종종 정규식은 후 처리를 줄일 수 있습니다. 그러나 HTML 엔티티는 종종 수동 관리가 필요합니다.
  • 마지막으로 <img src = url 추출과 같은 매우 간단한 작업의 경우 실제로 가능한 도구입니다. SGML / XML 파서에 비해 속도 이점은 대부분 이러한 매우 기본적인 추출 절차에 적용됩니다.

정규 표현식을 사용하여 HTML 스 니펫을 미리 추출 /<!--CONTENT-->(.+?)<!--END-->/하고 더 간단한 HTML 파서 프런트 엔드를 사용하여 나머지를 처리하는 것이 좋습니다 .

참고 : 실제로 XML 구문 분석과 정규식을 번갈아 사용하는 이 앱 이 있습니다 . 지난주 PyQuery 파싱이 깨졌고 정규식은 여전히 ​​작동했습니다. 네 이상합니다. 직접 설명 할 수 없습니다. 하지만 그렇게되었습니다.
따라서 실제 고려 사항에 대해 투표하지 마십시오. regex = evil meme과 일치하지 않기 때문입니다. 하지만 너무 많이 투표하지 말자. 이 주제에 대한 참고 사항 일뿐입니다.

phpQuery 와 QueryPath 는 유창한 jQuery API를 복제하는면에서 매우 유사합니다. 그렇기 때문에 PHP에서 HTML 을 적절하게 구문 분석 하는 가장 쉬운 방법 중 두 가지입니다 .

QueryPath의 예

기본적으로 먼저 HTML 문자열에서 쿼리 가능한 DOM 트리를 만듭니다.

 $qp = qp("<html><body><h1>title</h1>..."); // or give filename or URL

결과 개체에는 HTML 문서의 전체 트리 표현이 포함됩니다. DOM 메소드를 사용하여 순회 할 수 있습니다. 그러나 일반적인 접근 방식은 jQuery와 같은 CSS 선택기를 사용하는 것입니다.

 $qp->find("div.classname")->children()->...;

 foreach ($qp->find("p img") as $img) {
     print qp($img)->attr("src");
 }

대부분의 경우 간단한 #id및 .class또는 DIV태그 선택기 를 사용하고 싶습니다 ->find(). 그러나 때로는 더 빠른 XPath 문 을 사용할 수도 있습니다 . 또한 같은 jQuery를 일반적인 방법 ->children()과 ->text()특히 ->attr()적합한 HTML 단편을 추출 단순화. (그리고 이미 SGML 엔티티가 디코딩되었습니다.)

 $qp->xpath("//div/p[1]");  // get first paragraph in a div

QueryPath는 또한 새 태그를 스트림 ( ->append)에 삽입하고 나중에 출력하고 업데이트 된 문서 ( ->writeHTML)를 예쁘게 만들 수 있습니다 . 형식이 잘못된 HTML뿐만 아니라 다양한 XML 언어 (네임 스페이스 포함)를 구문 분석 할 수 있으며 HTML 마이크로 포맷 (XFN, vCard)에서 데이터를 추출 할 수도 있습니다.

 $qp->find("a[target=_blank]")->toggleClass("usability-blunder");

.

phpQuery 또는 QueryPath?

일반적으로 QueryPath는 문서 조작에 더 적합합니다. phpQuery는 또한 jQuery와 더 유사하게 일부 의사 AJAX 메서드 (HTTP 요청 만)를 구현합니다. phpQuery는 종종 QueryPath보다 빠릅니다 (전체 기능이 적기 때문에).

차이점에 대한 자세한 내용 은 tagbyte.org의 웨이 백 머신 비교를 참조하십시오 . (원본 소스가 누락되었으므로 여기에 인터넷 아카이브 링크가 있습니다. 예, 여전히 누락 된 페이지, 사람을 찾을 수 있습니다.)

여기 에 포괄적 인 QueryPath 소개가 있습니다.

장점

  • 단순성과 신뢰성
  • 사용하기 쉬운 대안 ->find("a img, a object, div a")
  • 적절한 데이터 이스케이프 해제 (정규 표현식 grepping과 비교)

간단한 HTML DOM은 훌륭한 오픈 소스 파서입니다.

simplehtmldom.sourceforge

DOM 요소를 객체 지향 방식으로 처리하고 새로운 반복은 비준수 코드에 대한 많은 범위를 포함합니다. 또한 해당 태그 이름의 모든 요소 인스턴스를 반환하는 "찾기"함수와 같이 JavaScript에서 볼 수있는 몇 가지 훌륭한 함수가 있습니다.

저는 이것을 여러 도구에서 사용하고 다양한 유형의 웹 페이지에서 테스트했으며 훌륭하게 작동한다고 생각합니다.

여기서 언급하지 않은 일반적인 접근 방식 중 하나는 Tidy를 통해 HTML을 실행 하는 것입니다. 이는 보장 된 유효한 XHTML을 뱉어 내도록 설정할 수 있습니다. 그런 다음 이전 XML 라이브러리를 사용할 수 있습니다.

그러나 특정 문제에 대해서는이 프로젝트를 살펴보아야합니다. http://fivefilters.org/content-only/- 헤더가 아닌 텍스트 콘텐츠 만 추출하도록 설계된 가독성 알고리즘 의 수정 된 버전입니다. 및 바닥 글) 페이지에서.

1a 및 2의 경우 새로운 Symfony Componet 클래스 DOMCrawler ( DomCrawler )에 투표합니다 . 이 클래스는 CSS 선택자와 유사한 쿼리를 허용합니다. 실제 사례를 보려면이 프레젠테이션을 살펴보세요 : news-of-the-symfony2-world .

이 구성 요소는 독립적으로 작동하도록 설계되었으며 Symfony없이 사용할 수 있습니다.

유일한 단점은 PHP 5.3 이상에서만 작동한다는 것입니다.

그런데 이것은 일반적으로 화면 스크래핑 이라고합니다 . 내가 사용한 라이브러리는 Simple HTML Dom Parser 입니다.

우리는 이전에 필요로하는 크롤러를 꽤 많이 만들었습니다. 하루가 끝나면 일반적으로 일을 가장 잘 수행하는 것은 단순한 정규 표현식입니다. 위에 나열된 라이브러리는 생성 된 이유 때문에 좋지만, 찾고있는 내용을 알고 있다면 정규 표현식이 더 안전한 방법입니다. 로드 된 경우 실패 할 수있는 유효하지 않은 HTML / XHTML 구조 도 처리 할 수 ​​있기 때문입니다. 대부분의 파서를 통해.

PHP Simple HTML DOM Parser를 권장 합니다.

다음과 같은 멋진 기능이 있습니다.

foreach($html->find('img') as $element)
       echo $element->src . '<br>';

이것은 W3C XPath 기술에 대한 좋은 작업 설명처럼 들립니다 . " 에 중첩 된 태그의 모든 href속성을 반환"과 같은 쿼리를 표현하는 것은 쉽습니다 . PHP 버프가 아니기 때문에 XPath가 어떤 형태로 사용 가능한지 말할 수 없습니다. HTML 파일을 처리하기 위해 외부 프로그램을 호출 할 수 있다면 XPath의 명령 줄 버전을 사용할 수 있어야합니다. 빠른 소개는 http://en.wikipedia.org/wiki/XPath를 참조하십시오 .img<foo><bar><baz> elements

String Parsing 대신 DOM을 사용하는 SimpleHtmlDom의 타사 대안 : phpQuery , Zend_Dom , QueryPath 및 FluentDom .

예, 목적으로 simple_html_dom을 사용할 수 있습니다. 그러나 나는 특히 웹 스크랩 핑을 위해 simple_html_dom으로 꽤 많이 작업했으며 너무 취약하다는 것을 발견했습니다. 기본 작업을 수행하지만 어쨌든 권장하지 않습니다.

나는 목적으로 curl을 사용한 적이 없지만 curl이 훨씬 더 효율적으로 작업을 수행 할 수 있고 훨씬 더 견고하다는 것을 배웠습니다.

친절 하게이 링크를 확인하십시오 : 컬이있는 웹 사이트 스크랩

QueryPath 는 좋지만 "상태 추적"에주의해야합니다. 그 의미를 모르면 무슨 일이 일어 났는지, 왜 코드가 작동하지 않는지 알아 내려고 많은 디버깅 시간을 낭비 할 수 있습니다.

의미하는 바는 결과 세트에 대한 각 호출이 객체의 결과 세트를 수정한다는 것입니다. 각 링크가 새 세트 인 jquery 에서처럼 연결 가능하지 않습니다. 쿼리의 결과 인 단일 세트가 있고 각 함수 호출이 수정합니다. 그 단일 세트.

jquery와 같은 동작을 얻으려면 작업과 같은 필터 / 수정을 수행하기 전에 분기해야합니다. 즉, jquery에서 발생하는 작업을 훨씬 더 가깝게 미러링합니다.

$results = qp("div p");
$forename = $results->find("input[name='forename']");

$results지금은 결과 집합에 포함 input[name='forename']되지 원래 쿼리 "div p"이 나는 것이 었습니다 찾았는지 많은, 나를 넘어 QueryPath는 필터와 발견 및 객체에 결과 저장을 수정하는 모든 것을 추적합니다. 대신 이것을해야합니다

$forename = $results->branch()->find("input[name='forname']")

그런 다음 $results수정되지 않고 결과 세트를 반복해서 재사용 할 수 있습니다. 아마도 훨씬 더 많은 지식을 가진 사람이 이것을 약간 정리할 수 있지만 기본적으로 제가 찾은 것과 비슷합니다.

Advanced Html Dom 은 동일한 인터페이스를 제공 하는 간단한 HTML DOM 대체물이지만 DOM 기반이므로 관련 메모리 문제가 발생하지 않습니다.

또한 jQuery 확장을 포함하여 CSS를 완벽하게 지원 합니다.

들어 HTML5 , HTML5 LIB 지금 년간 버려진되었습니다. 최근 업데이트 및 유지 관리 기록에서 찾을 수있는 유일한 HTML5 라이브러리는 html5-php 입니다.이 라이브러리는 약 1 주일 전에 베타 1.0에 도입되었습니다.

GB 파일을 쉽게 처리 할 수있는 범용 XML 파서를 작성했습니다. XMLReader를 기반으로하며 사용이 매우 쉽습니다.

$source = new XmlExtractor("path/to/tag", "/path/to/file.xml");
foreach ($source as $tag) {
    echo $tag->field1;
    echo $tag->field2->subfield1;
}

다음은 github 저장소입니다. XmlExtractor

PHPPowertools / DOM-Query 라는 라이브러리를 만들었습니다.이 라이브러리 를 사용하면 jQuery를 사용하는 것처럼 HTML5 및 XML 문서를 크롤링 할 수 있습니다.

내부적으로 는 CSS 선택자를 XPath 선택기로 변환 하기 위해 symfony / DomCrawler 를 사용합니다 . 적절한 성능을 보장하기 위해 한 개체를 다른 개체로 전달할 때에도 항상 동일한 DomDocument를 사용합니다.

사용 예 :

namespace PowerTools;

// Get file content
$htmlcode = file_get_contents('https://github.com');

// Define your DOMCrawler based on file string
$H = new DOM_Query($htmlcode);

// Define your DOMCrawler based on an existing DOM_Query instance
$H = new DOM_Query($H->select('body'));

// Passing a string (CSS selector)
$s = $H->select('div.foo');

// Passing an element object (DOM Element)
$s = $H->select($documentBody);

// Passing a DOM Query object
$s = $H->select( $H->select('p + p'));

// Select the body tag
$body = $H->select('body');

// Combine different classes as one selector to get all site blocks
$siteblocks = $body->select('.site-header, .masthead, .site-body, .site-footer');

// Nest your methods just like you would with jQuery
$siteblocks->select('button')->add('span')->addClass('icon icon-printer');

// Use a lambda function to set the text of all site blocks
$siteblocks->text(function( $i, $val) {
    return $i . " - " . $val->attr('class');
});

// Append the following HTML to all site blocks
$siteblocks->append('<div class="site-center"></div>');

// Use a descendant selector to select the site's footer
$sitefooter = $body->select('.site-footer > .site-center');

// Set some attributes for the site's footer
$sitefooter->attr(array('id' => 'aweeesome', 'data-val' => 'see'));

// Use a lambda function to set the attributes of all site blocks
$siteblocks->attr('data-val', function( $i, $val) {
    return $i . " - " . $val->attr('class') . " - photo by Kelly Clark";
});

// Select the parent of the site's footer
$sitefooterparent = $sitefooter->parent();

// Remove the class of all i-tags within the site's footer's parent
$sitefooterparent->select('i')->removeAttr('class');

// Wrap the site's footer within two nex selectors
$sitefooter->wrap('<section><div class="footer-wrapper"></div></section>');

[...]

지원되는 방법 :

  1. 명백한 이유로 '선택'으로 이름 변경
  2. 'empty'는 PHP에서 예약어이므로 'void'로 이름이 변경되었습니다.

노트 :

이 라이브러리에는 PSR-0 호환 라이브러리를위한 자체 제로 구성 자동 로더도 포함되어 있습니다. 포함 된 예제는 추가 구성없이 바로 사용할 수 있습니다. 또는 composer와 함께 사용할 수 있습니다.

HTML Tidy 와 같은 것을 사용하여 "깨진"HTML을 정리하고 HTML을 XHTML로 변환 한 다음 XML 파서로 구문 분석 할 수 있습니다.

시도 할 수있는 또 다른 옵션은 QueryPath 입니다. jQuery에서 영감을 얻었지만 PHP의 서버에서 Drupal 에서 사용됩니다 .

XML_HTMLSax더 이상 유지되지 않더라도 다소 안정적입니다. 또 다른 옵션은 Html Tidy를 통해 HTML 을 파이프 한 다음 표준 XML 도구로 구문 분석하는 것입니다.

심포니의 프레임 워크는 HTML을 구문 분석 할 수 번들을 가지고, 당신은 선택 CSS 스타일을 사용할 수 있습니다 DOM의 사용하는 대신 XPath를 .

대부분 이미 언급 된 HTML / XML DOM을 처리하는 방법은 여러 가지가 있습니다. 따라서 나는 그것들을 직접 나열하려고 시도하지 않을 것입니다.

나는 개인적으로 DOM 확장을 사용하는 것을 선호하며 그 이유를 추가하고 싶습니다.

  • iit은 기본 C 코드의 성능 이점을 최적으로 사용합니다.
  • 그것은 OO PHP입니다 (그리고 그것을 하위 클래스로 만들 수 있습니다)
  • 그것은 다소 낮은 수준입니다 (더 발전된 행동을 위해 부 풀지 않은 기초로 사용할 수 있습니다)
  • DOM의 모든 부분에 대한 액세스를 제공합니다 (예 : 덜 알려진 XML 기능 중 일부를 무시하는 SimpleXml과 달리).
  • 네이티브 자바 스크립트에서 사용되는 구문과 유사한 DOM 크롤링에 사용되는 구문이 있습니다.

에서 CSS 선택기를 사용하는 기능을 놓쳤지만 DOMDocument이 기능을 추가하는 다소 간단하고 편리한 방법이 있습니다. 하위 클래스를 만들고 하위 클래스에 DOMDocumentJS 유사 querySelectorAll및 querySelector메서드를 추가 하는 것입니다.

선택자를 파싱하기 위해 Symfony 프레임 워크 의 매우 최소한의 CssSelector 구성 요소 를 사용하는 것이 좋습니다 . 이 구성 요소는 CSS 선택기를 XPath 선택기로 변환 한 다음에 공급 하여 해당 Nodelist를 검색 할 수 있습니다 .DOMXpath

그런 다음이 (여전히 매우 낮은 수준의) 하위 클래스를 더 높은 수준의 클래스에 대한 기초로 사용할 수 있습니다. 매우 특정한 유형의 XML을 구문 분석하거나 jQuery와 유사한 동작을 추가합니다.

아래 코드는 DOM-Query 라이브러리 에서 곧바로 나와 내가 설명한 기술을 사용합니다.

HTML 파싱의 경우 :

namespace PowerTools;

use \Symfony\Component\CssSelector\CssSelector as CssSelector;

class DOM_Document extends \DOMDocument {
    public function __construct($data = false, $doctype = 'html', $encoding = 'UTF-8', $version = '1.0') {
        parent::__construct($version, $encoding);
        if ($doctype && $doctype === 'html') {
            @$this->loadHTML($data);
        } else {
            @$this->loadXML($data);
        }
    }

    public function querySelectorAll($selector, $contextnode = null) {
        if (isset($this->doctype->name) && $this->doctype->name == 'html') {
            CssSelector::enableHtmlExtension();
        } else {
            CssSelector::disableHtmlExtension();
        }
        $xpath = new \DOMXpath($this);
        return $xpath->query(CssSelector::toXPath($selector, 'descendant::'), $contextnode);
    }

    [...]

    public function loadHTMLFile($filename, $options = 0) {
        $this->loadHTML(file_get_contents($filename), $options);
    }

    public function loadHTML($source, $options = 0) {
        if ($source && $source != '') {
            $data = trim($source);
            $html5 = new HTML5(array('targetDocument' => $this, 'disableHtmlNsInDom' => true));
            $data_start = mb_substr($data, 0, 10);
            if (strpos($data_start, '<!DOCTYPE ') === 0 || strpos($data_start, '<html>') === 0) {
                $html5->loadHTML($data);
            } else {
                @$this->loadHTML('<!DOCTYPE html><html><head><meta charset="' . $encoding . '" /></head><body></body></html>');
                $t = $html5->loadHTMLFragment($data);
                $docbody = $this->getElementsByTagName('body')->item(0);
                while ($t->hasChildNodes()) {
                    $docbody->appendChild($t->firstChild);
                }
            }
        }
    }

    [...]
}

Symfony의 CssSelector 구성 요소를 만들기로 결정한 것과 사용 방법에 대해서는 Symfony의 제작자 인 Fabien Potencier의 CSS 선택기 로 XML 문서 구문 분석을 참조하십시오 .

로 FluidXML 당신이 사용하는 쿼리와 반복 처리 XML 수 의 XPath 와 CSS 선택기를 .

$doc = fluidxml('<html>...</html>');

$title = $doc->query('//head/title')[0]->nodeValue;

$doc->query('//body/p', 'div.active', '#bgId')
        ->each(function($i, $node) {
            // $node is a DOMNode.
            $tag   = $node->nodeName;
            $text  = $node->nodeValue;
            $class = $node->getAttribute('class');
        });

https://github.com/servo-php/fluidxml

세 줄의 XML에서 JSON 및 배열 :

$xml = simplexml_load_string($xml_string);
$json = json_encode($xml);
$array = json_decode($json,TRUE);

따다!

정규식으로 HTML을 구문 분석하지 않는 데에는 몇 가지 이유가 있습니다. 그러나 HTML이 생성되는 것을 완전히 제어 할 수 있다면 간단한 정규식으로 할 수 있습니다.

그 위에는 정규 표현식으로 HTML을 구문 분석하는 함수가 있습니다. 이 기능은 매우 민감하고 HTML이 특정 규칙을 준수해야하지만 많은 시나리오에서 매우 잘 작동합니다. 간단한 파서를 원하고 라이브러리를 설치하지 않으려면 다음을 시도하십시오.

function array_combine_($keys, $values) {
    $result = array();
    foreach ($keys as $i => $k) {
        $result[$k][] = $values[$i];
    }
    array_walk($result, create_function('&$v', '$v = (count($v) == 1)? array_pop($v): $v;'));

    return $result;
}

function extract_data($str) {
    return (is_array($str))
        ? array_map('extract_data', $str)
        : ((!preg_match_all('#<([A-Za-z0-9_]*)[^>]*>(.*?)</\1>#s', $str, $matches))
            ? $str
            : array_map(('extract_data'), array_combine_($matches[1], $matches[2])));
}

print_r(extract_data(file_get_contents("http://www.google.com/")));

https://github.com/ivopetkov/html5-dom-document-php 에서 무료로 사용할 수있는 HTML5DOMDocument라는 라이브러리를 만들었습니다.

It supports query selectors too that I think will be extremely helpful in your case. Here is some example code:

$dom = new IvoPetkov\HTML5DOMDocument();
$dom->loadHTML('<!DOCTYPE html><html><body><h1>Hello</h1><div class="content">This is some text</div></body></html>');
echo $dom->querySelector('h1')->innerHTML;

If you're familiar with jQuery selector, you can use ScarletsQuery for PHP

<pre><?php
include "ScarletsQuery.php";

// Load the HTML content and parse it
$html = file_get_contents('https://www.lipsum.com');
$dom = Scarlets\Library\MarkupLanguage::parseText($html);

// Select meta tag on the HTML header
$description = $dom->selector('head meta[name="description"]')[0];

// Get 'content' attribute value from meta tag
print_r($description->attr('content'));

$description = $dom->selector('#Content p');

// Get element array
print_r($description->view);

This library usually taking less than 1 second to process offline html.
It also accept invalid HTML or missing quote on tag attributes.

The best method for parse xml:

$xml='http://www.example.com/rss.xml';
$rss = simplexml_load_string($xml);
$i = 0;
foreach ($rss->channel->item as $feedItem) {
$i++;
echo $title=$feedItem->title;
echo '<br>';
echo $link=$feedItem->link;
echo '<br>';
if($feedItem->description !='') {$des=$feedItem->description;} else {$des='';}
echo $des;
echo '<br>';
if($i>5) break;
}

ReferenceURL : https://stackoverflow.com/questions/3650125/how-to-parse-html-with-php

반응형

'your programing' 카테고리의 다른 글

C # 안티 패턴  (0) 2020.12.31
점이 선의 오른쪽인지 왼쪽인지 확인하는 방법  (0) 2020.12.31
인라인 메서드 본문에서 invokevirtual에 대한 예상치 못한 지침 및 매개 변수  (0) 2020.12.31
Qt 5.6을 사용하여 Android에서 NFC를 작동시키는 방법  (0) 2020.12.31
레이어 지원 NSView 회전 및 왜곡 된 형제  (0) 2020.12.31

'your programing'의 다른글

  • 현재글PHP에서 HTML / XML을 어떻게 구문 분석하고 처리합니까?

관련글

댓글

티스토리툴바