レイヤーの凍結と再学習

Microsoft Cognitive Toolkit（CNTK）における転移学習とファインチューニングのプロセスでは、「レイヤーの凍結（freeze）」と「再学習（fine-tune）」の操作が非常に重要です。以下にその詳細を説明します。

---

レイヤーの凍結と再学習とは

レイヤーの凍結（Freezing Layers）とは

事前学習済みモデルの一部のレイヤー（通常は初期層）を「学習対象から外す」操作です。凍結されたレイヤーの重み（パラメータ）は学習中に更新されません。

目的:

• 学習済みの特徴抽出機能をそのまま活かす。

• 計算コストの削減。

• 少量のデータでも過学習を防ぐ。

---

レイヤーの再学習（Fine-tuning）とは

一部または全てのレイヤーのパラメータを初期値（事前学習済みモデルの重み）から再調整するプロセスです。

目的:

• 転移先タスクのデータにモデルを適合させる。

• タスク特有の特徴を学習させる。

---

CNTKにおける実装方法の概要

CNTKでは、Python APIを使って以下のようにレイヤーの凍結や再学習を制御します。

1. モデルの読み込み

python
from cntk.ops import load_model

pretrained_model = load_model("resnet18.dnn")

2. 凍結するレイヤーの抽出

python
# 最後の全結合層を除いて凍結
feature_extractor = pretrained_model[:-1]
for param in feature_extractor.parameters:
    param.trainable = False

3. 転移先タスク用の新しい出力層の追加

python
from cntk.layers import Dense, Sequential
from cntk.ops import relu

# 出力層の追加（例：クラス数が10の場合）
new_output_layer = Dense(10, activation=None)

# 新しいモデルとして構成
transfer_model = Sequential([feature_extractor, new_output_layer])

4. 再学習対象のレイヤーは「trainable = True」となる

新たに追加された出力層のパラメータはデフォルトで trainable = True ですので、学習可能です。

---

凍結と再学習の設計上のポイント

• 初期レイヤーは一般的な特徴（エッジ、模様など）を抽出するため凍結して良い。

• 深層レイヤーはタスクに依存するため再学習の候補。

• データ量が多ければ全体を再学習、少なければ出力層のみを再学習。

---

まとめ

CNTKでは、Parameter オブジェクトの trainable 属性を設定することで、凍結と再学習の制御を柔軟に行うことが可能です。転移学習を成功させるためには、タスクに応じた層の選択と設定が鍵となります。