内蔵モジュール（text2vec-openai、text2vec-transformers など）

Weaviateの「モジュールの活用」において、内蔵モジュールはベクトルの自動生成や検索精度の向上に欠かせない重要な機能です。以下では、特によく使われる内蔵モジュールである text2vec-openai や text2vec-transformers を中心に、それぞれの特徴・使い方・ユースケースについて詳しく説明します。

---

1. 内蔵モジュールとは

Weaviateの内蔵モジュールは、**データの自動ベクトル化（エンベディング生成）**や、検索や分類の強化に使われる追加機能です。これらは、スキーマ定義におけるvectorizer設定によって自動的に呼び出され、データ投入時にベクトルを生成します。

---

2. よく使われる内蔵モジュール

2-1. text2vec-openai

特徴:

• OpenAIの埋め込みAPI（例: text-embedding-ada-002）を使用。

• 高精度な意味ベクトルを生成可能。

• 外部APIの利用により、常に最新のLLMベースの埋め込み技術を享受できる。

設定例（スキーマ）:

json
{
  "class": "Article",
  "vectorizer": "text2vec-openai",
  "moduleConfig": {
    "text2vec-openai": {
      "model": "text-embedding-ada-002",
      "baseURL": "https://api.openai.com/v1",
      "apiKey": "YOUR_OPENAI_API_KEY"
    }
  }
}

利用上の注意:

• OpenAIのAPIキーが必要。

• ネットワーク経由でリクエストされるため、レイテンシとコストが発生。

---

2-2. text2vec-transformers

特徴:

• Hugging Face Transformersベースのモデルを利用。

• ローカルまたはDocker環境で実行できるため、自己ホストが可能。

• 英語以外の言語にも柔軟に対応できる多言語モデルも選択可能（例：distiluse-base-multilingual-cased-v1）。

設定例（スキーマ）:

json
{
  "class": "Document",
  "vectorizer": "text2vec-transformers",
  "moduleConfig": {
    "text2vec-transformers": {
      "model": "sentence-transformers/distiluse-base-multilingual-cased-v1"
    }
  }
}

利用上の注意:

• 初期起動時にモデルダウンロードが必要。

• モデルによってパフォーマンス・精度が大きく異なる。

---

3. モジュール選定の指針

---

4. モジュールの活用例

• Q&A検索システム：文章同士の意味ベースで類似度を比較したい場合、text2vec-openaiが精度的に有利。

• 多言語文書検索：国際化対応が求められるプロジェクトでは、text2vec-transformersの多言語対応モデルが適している。

• プライバシー重視：外部にデータを出せないケースでは、text2vec-transformersでローカル処理を行う方が安全。

---

5. 補足：他の関連モジュール

• qna-transformers: 質問応答システムの構築支援。

• reranker-transformers: 検索結果のランキング精度を向上。

• ner-transformers: エンティティ抽出によるメタデータ強化。

---

まとめ

Weaviateの内蔵モジュールは、ベクトル検索の品質を大きく左右する要素です。利用目的や環境条件（精度・コスト・データの機密性）に応じて、text2vec-openaiとtext2vec-transformersを適切に選択することで、より効果的な検索基盤を構築できます。