HttpClient での取得＋HAP 解析パターン

HtmlAgilityPack（以下、HAP）を使用してWebスクレイピングを行う際、「HttpClient」と組み合わせることで、HTTP経由でWebページのHTMLを取得し、それをHAPで解析するという基本的かつ汎用的なパターンが確立されています。この「HttpClientでの取得＋HAP解析パターン」について、以下の項目に分けて詳しく説明します。

---

1. 概要

このパターンは次の手順に基づいています。

1. HttpClientでターゲットのURLからHTMLドキュメントをダウンロードする。

2. 取得したHTML文字列をHAPでパースする。

3. 必要な情報をXPathやLINQで抽出する。

---

2. 使用環境の準備

必要なNuGetパッケージ：

• HtmlAgilityPack

• System.Net.Http（.NETに標準で含まれている）

bash
Install-Package HtmlAgilityPack

---

3. コード例

以下は、HttpClientとHAPを統合してWebページから情報を抽出する基本的なコード例です。

csharp
using System;
using System.Net.Http;
using System.Threading.Tasks;
using HtmlAgilityPack;

class Program
{
    static async Task Main()
    {
        string url = "https://example.com";

        using (HttpClient client = new HttpClient())
        {
            try
            {
                // HTMLの取得
                HttpResponseMessage response = await client.GetAsync(url);
                response.EnsureSuccessStatusCode();
                string html = await response.Content.ReadAsStringAsync();

                // HAPによるパース
                HtmlDocument document = new HtmlDocument();
                document.LoadHtml(html);

                // XPathによるノードの抽出例
                var titleNode = document.DocumentNode.SelectSingleNode("//title");
                if (titleNode != null)
                {
                    Console.WriteLine("Title: " + titleNode.InnerText.Trim());
                }
            }
            catch (Exception ex)
            {
                Console.WriteLine("エラー: " + ex.Message);
            }
        }
    }
}

---

4. 特徴と利点

---

5. 注意点

• HttpClientの再利用を推奨：上記は簡潔化のためにusingで生成しているが、複数回使用する場合はインスタンスを再利用すべき。

• ロボット制御：スクレイピング対象のWebサイトのrobots.txtの確認と利用規約の遵守が必要。

• User-Agentの指定：一部のWebサイトではUser-Agentヘッダが無いと拒否されるため、適宜設定する。

csharp
client.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (compatible; MyScraper/1.0)");

---

6. 応用例

• 複数ページを巡回して一覧データを取得。

• HTML内の特定のtable要素やリンクを抽出。

• サイト構造を動的に解析して要素を再帰的に取得。

---

まとめ

「HttpClientでの取得＋HAP解析パターン」は、HTMLデータ取得と構造化解析をシンプルに実現するための基本的なアプローチです。このパターンをベースに、ルールベースのデータ抽出やWeb自動化処理へ発展させることも可能です。特に、C#でWebスクレイピングを行う上では、堅牢かつ効率的な基本戦略として広く利用されています。