自動エンコーディング判定と HtmlWeb クラス

HtmlAgilityPack（HAP）の「HTML ドキュメントの読み込み」において、自動エンコーディング判定と HtmlWeb クラスは、特にWebページをダウンロードして解析する際に非常に重要な役割を果たします。以下にそれぞれの詳細を説明します。

---

1. 自動エンコーディング判定の概要

HTMLはWebページのソースであり、**文字エンコーディング（Encoding）**が正しく判定されなければ、HTML文書の内容を正確に読み取ることができません。

HtmlAgilityPackでは、以下の2つの方法でエンコーディングを自動的に検出します：

• HTTPヘッダーの Content-Type に含まれる charset

• HTML内の <meta charset="..."> または <meta http-equiv="Content-Type" ...>

これにより、以下のようなケースでも正確に文字コードを検出できます：

• UTF-8 や Shift_JIS など異なるエンコーディングを使ったページ

• サーバーがエンコーディングを明示しない場合（この場合はHTMLのmeta情報から推測）

---

2. HtmlWeb クラスの役割

HtmlWeb クラスは、URLからHTMLドキュメントを直接取得してパースするためのクラスであり、内部で自動的にエンコーディング判定も行います。

主な特徴

• URLからのHTMLダウンロードと解析が一行で可能

• エンコーディングの自動判定を内蔵

• リダイレクトやCookieの取り扱いにも対応

使用例

csharp
using HtmlAgilityPack;

var web = new HtmlWeb();
HtmlDocument doc = web.Load("https://example.com");

// タイトルの取得
var titleNode = doc.DocumentNode.SelectSingleNode("//title");
Console.WriteLine(titleNode?.InnerText);

このコードでは以下が自動的に行われます：

• HTTPリクエストの送信

• レスポンスの受信

• Content-Typeヘッダーや<meta>タグからのエンコーディング推定

• HTMLのパース

---

3. カスタマイズ例

HtmlWebには以下のようなプロパティで動作を調整できます：

例：エンコーディングをShift_JISに固定したい場合

csharp
web.OverrideEncoding = Encoding.GetEncoding("Shift_JIS");

---

まとめ

• HtmlWeb クラスはURLからHTMLドキュメントを読み込むための便利なAPIであり、エンコーディングを自動判定する機能が組み込まれています。

• この自動判定により、多様なWebサイトを扱う際にも、正しい文字コードでHTMLをパース可能です。

• 必要に応じて手動でエンコーディングを指定することも可能です。