RandomSearch / BayesianOptimizationの実行

Keras Tunerは、Kerasモデルのハイパーパラメータ（例：レイヤー数、ノード数、学習率など）を自動的に探索・最適化するためのライブラリです。その中でも代表的な探索アルゴリズムに「RandomSearch」と「BayesianOptimization」があります。以下にそれぞれの手法の概要と使い方を詳しく説明します。

---

1. RandomSearch（ランダムサーチ）

概要

RandomSearchは、指定されたハイパーパラメータ空間からランダムに組み合わせを選び, そのパフォーマンスを評価する手法です。全探索（Grid Search）より効率的で、大規模な空間でもある程度の最適解に到達できる可能性があります。

メリット

• 実装がシンプル

• 並列化しやすい

• 局所最適に陥りにくい

デメリット

• サンプル数が少ないと最適な組み合わせを見逃す可能性がある

実装例

python
from kerastuner.tuners import RandomSearch
from tensorflow import keras

tuner = RandomSearch(
    hypermodel=build_model,  # HyperModel または関数
    objective='val_accuracy',
    max_trials=20,  # 試行回数
    executions_per_trial=1,
    directory='my_dir',
    project_name='random_search'
)

tuner.search(x_train, y_train, epochs=10, validation_split=0.2)

---

2. BayesianOptimization（ベイズ最適化）

概要

BayesianOptimizationは、過去の試行結果から次に試すべきハイパーパラメータを推定し、効率的に最適化を進める方法です。ガウス過程などの確率モデルに基づき、探索と活用（exploration & exploitation）のバランスを取ります。

メリット

• 少ない試行回数で高性能な結果に到達しやすい

• 探索が戦略的で効率的

デメリット

• 実装が複雑で計算コストが高い

• 並列化しづらい

実装例

python
from kerastuner.tuners import BayesianOptimization
from tensorflow import keras

tuner = BayesianOptimization(
    hypermodel=build_model,
    objective='val_accuracy',
    max_trials=20,
    num_initial_points=5,  # 初期ランダム探索の試行数
    directory='my_dir',
    project_name='bayesian_optimization'
)

tuner.search(x_train, y_train, epochs=10, validation_split=0.2)

---

比較表

---

使用時の注意点

• 両者ともにHyperModelの定義が必要です。

• max_trialsの値が小さいと十分な最適化ができません。

• 最適なobjective（例：val_accuracy, val_loss）を選ぶことが重要です。

• 計算リソースと時間に応じてアルゴリズムを選択してください。