無効な HTML に対するロバストパース

HtmlAgilityPack（HAP）は、無効（invalid）なHTMLに対してもロバスト（堅牢）にパース（解析）できる特長を持つライブラリです。この「ロバストパース」機能について、以下に詳しく説明します。

---

無効なHTMLに対するロバストパースとは

1. HTMLの実情

多くのWebページは、次のような問題を含んでいることがあります。

• 閉じタグが欠落している（例：<div>だけで</div>がない）

• 属性値にクォートが無い（例：<input type=text>）

• タグのネストが不適切（例：<p><div></p></div>）

• タグが途中で切れている（例：<a href= で終わっている）

このような「構文的に不正なHTML」は、標準のXMLパーサーではエラーとなり、読み込むことができません。

---

2. HtmlAgilityPackの動作原理

HtmlAgilityPackは、HTMLをXMLのように扱えるようにするHTML専用のDOMパーサーです。ただし、XMLと異なり、構文が緩くても内部的に修正・補完しながら読み込むように設計されています。

主なロバストパースの仕組み

• タグの自動補完
  開いたままのタグに対して、自動的に閉じタグを補うことで、ツリー構造を形成します。

• エラーを無視して構文解析
  XMLのような厳密なチェックを行わず、できる限り解析を継続します。

• 異常なネストを強制的に整形
  DOMツリーとして成立するように、内部的にノードの再配置を行います。

• 文字エンコーディングの誤りにも柔軟に対応（HtmlWebやDetectEncodingオプションと併用することで、より高い成功率）

---

3. 実用的な利点

• スクレイピングでの成功率向上
  無効なHTMLを含むWebページも解析できるため、情報抽出処理が失敗しにくくなります。

• ユーザー入力やCMS出力の処理にも強い
  ブログやCMSから出力された不完全なHTMLコードにも対応可能。

• 標準のXmlDocumentやXDocumentでは扱えないHTMLにも対応

---

4. 注意点

• 補完・修正されたHTMLはオリジナルと異なる可能性がある
  パース後のDOMツリーは、HAPのルールに基づいて修正された状態となるため、HTMLの構文的正確性を検証したい場合には不向きです。

• 精密なHTML検証用途には使用しないこと

---

まとめ

HtmlAgilityPackの「無効なHTMLに対するロバストパース」は、不正確なHTML構文でも可能な限りDOMツリーを再構築し、プログラムから扱いやすい形に整形する機能です。これにより、実際のWeb環境にあるようなエラーを含んだHTMLにも対応でき、柔軟かつ安定したデータ処理が実現できます。