Vector Database(FAISS, Chroma, Weaviate など)

LangChainにおける「RetrieverとVectorStoreの活用」の中でも、**Vector Database(ベクターデータベース)**は極めて重要な役割を果たします。以下では、FAISS、Chroma、Weaviateといった代表的なベクターデータベースの特徴と、LangChainにおける活用法について詳しく説明します。


Vector Databaseとは何か

Vector Database(ベクターデータベース)は、文書や情報をベクトル(数値のリスト)として保存し、類似性検索(Similarity Search)を効率的に行うためのデータベースです。主な目的は、ユーザークエリ(自然言語)と意味的に近い文書を高速に検索することです。

特徴

  • 高次元空間での**近似最近傍探索(ANN: Approximate Nearest Neighbor)**をサポート

  • 数万〜数億のベクトルに対しても高速に類似検索が可能

  • 多くはメタデータによるフィルタリングや永続化もサポート


LangChainにおける活用位置づけ

LangChainでは以下の流れでベクターデータベースが活用されます:

  1. 文書のベクトル化(embedding)
    例:OpenAIEmbeddingsなどを使って文書をベクトルに変換

  2. VectorStoreへの格納
    例:FAISS.from_documents(docs, embeddings)

  3. Retrieverによる検索処理
    VectorStore.as_retriever()でRetrieverインターフェースを取得し、ユーザークエリに近い文書を検索


代表的なVector Databaseの詳細

1. FAISS(Facebook AI Similarity Search)

  • 開発元: Meta(旧Facebook)

  • 特徴:

    • 単一マシン上で動作

    • 高速なベクトル近傍検索(CPU/GPU対応)

    • 永続化は自前で実装が必要(Pickle等)

  • LangChainでの使用例:

    python
    from langchain.vectorstores import FAISS db = FAISS.from_documents(documents, embedding) retriever = db.as_retriever()

2. Chroma

  • 開発元: Open-sourceコミュニティ(正式名称:ChromaDB)

  • 特徴:

    • シンプルなインプロセスDB

    • Pythonのみで完結、セットアップが容易

    • メタデータフィルタリングが可能

  • LangChainでの使用例:

    python
    from langchain.vectorstores import Chroma db = Chroma.from_documents(documents, embedding) retriever = db.as_retriever()

3. Weaviate

  • 開発元: Semi Technologies

  • 特徴:

    • ネイティブにREST APIとgRPCに対応

    • ベクトルの自動生成(内蔵のTransformerモデル)

    • 分散処理・クラウドネイティブ

  • LangChainでの使用例:

    python
    from langchain.vectorstores import Weaviate db = Weaviate( client=client, index_name="MyIndex", text_key="content", embedding=embedding_function ) retriever = db.as_retriever()

まとめ

項目 FAISS Chroma Weaviate
スケーラビリティ 単一ノード(高速) 単一ノード(軽量) 分散対応(スケーラブル)
永続化 手動(Pickle等) 自動 自動(クラウド連携可)
メタデータ検索 一部対応 対応 高度に対応
LangChain統合 非常に安定 非常に安定 要Weaviateサーバ

LangChainでの実用上の選択指針

  • 小規模・ローカル環境での開発やPoC:FAISS や Chroma

  • 中〜大規模な商用アプリケーション:Weaviate(またはPinecone、Qdrantも候補)


必要に応じて、他のベクターデータベース(Pinecone、Qdrant、Milvusなど)との連携もLangChainでは可能です。それぞれの選択は速度、精度、コスト、インフラ要件に応じて検討することが推奨されます。

ChatGPT4o 生成日:2025/06/12