デプロイ（MXNet Model Server, Apache TVM連携）

MXNetにおけるモデルの**デプロイ（展開）**は、学習済みモデルを実運用環境に配置し、リアルタイムまたはバッチ推論を行うためのプロセスです。ここでは、主に以下の2つの方法について詳しく解説します。

---

1. MXNet Model Server（MMS）

概要

MXNet Model Server（MMS）は、MXNetモデルをREST API経由で提供するためのサーバーアプリケーションです。複数モデルの同時提供、ロギング、バッチ推論、モデルバージョン管理などが可能で、プロダクション環境に適しています。

特徴

• RESTful API によるアクセス

• モデルのホットスワップ（即時切替）

• マルチモデル提供

• JSONまたはNDArray形式での入力出力対応

• モデルバージョン管理

• ログ収集とメトリクス出力

使用手順（基本的な流れ）

1. モデルの保存
   MXNetのモデル（.params, .json, synset.txtなど）を保存。

2. モデルアーカイブ（MARファイル）の作成

   bash
   mxnet-model-export --model-path <モデルフォルダ> --model-name <モデル名> --handler mxnet_handler --export-path model_store/
   

3. Model Serverの起動

   bash
   mxnet-model-server --start --models my_model=モデル名.mar
   

4. API経由で推論
   HTTP POSTで推論リクエストを送信（例: curl を使用）。

---

2. Apache TVMとの連携による最適化とデプロイ

概要

Apache TVMは、モデルを複数のターゲットプラットフォーム（CPU/GPU/組み込み）に最適化・変換して実行するためのコンパイラスタックです。MXNetのモデルをTVM経由で変換し、高速・軽量なデプロイが可能になります。

特徴

• 静的グラフへの変換と最適化

• ARM、x86、CUDA、OpenCL などへの対応

• 推論速度の向上とバイナリサイズの縮小

• モバイルやエッジ環境への適応

使用手順（基本的な流れ）

1. MXNetモデルの読み込み

   python
   from mxnet import gluon
   net = gluon.SymbolBlock.imports("model-symbol.json", ['data'], "model-0000.params")
   

2. TVMへの変換

   python
   import tvm
   from tvm import relay
   import mxnet as mx
   
   sym, params = mx.sym.load("model-symbol.json"), mx.nd.load("model-0000.params")
   shape_dict = {"data": (1, 3, 224, 224)}
   mod, relay_params = relay.frontend.from_mxnet(sym, shape=shape_dict, params=params)
   

3. コンパイル

   python
   target = "llvm"  # 例: CPU用
   with tvm.transform.PassContext(opt_level=3):
       lib = relay.build(mod, target=target, params=relay_params)
   

4. デプロイ用コード生成

   python
   lib.export_library("deploy_model.so")
   

5. 実行（TVMランタイム）

   python
   from tvm.contrib import graph_executor
   dev = tvm.cpu()
   module = graph_executor.GraphModule(lib["default"](dev))
   module.set_input("data", input_data)
   module.run()
   output = module.get_output(0).asnumpy()
   

---

まとめ

MXNetモデルのデプロイは、ユースケースに応じて適切な方法を選択することで、性能と柔軟性の両立が可能になります。どちらの方法も、モデルの品質と運用環境を意識したチューニングが成功の鍵です。