Перейти к содержанию

Llama.cpp

Библиотека Python llama-cpp-python предоставляет простую обёртку на Python для llama.cpp от @ggerganov.

Этот пакет поддерживает:

  • Низкоуровневый доступ к C API через интерфейс ctypes.
  • Высокоуровневый Python API для генерации текста:
  • API, совместимый с OpenAI,
  • Совместимость с LangChain,
  • Совместимость с LlamaIndex.
  • Веб-сервер, совместимый с OpenAI:
  • Альтернатива локальному Copilot,
  • Поддержка вызова функций (Function Calling),
  • Поддержка Vision API,
  • Поддержка нескольких моделей.

Установка

pip install -qU llama-cpp-python

Быстрый старт

from langchain_community.embeddings import LlamaCppEmbeddings

llama = LlamaCppEmbeddings(model_path="/path/to/model/ggml-model-q4_0.bin")

text = "This is a test document."

query_result = llama.embed_query(text)

doc_result = llama.embed_documents([text])

Убедитесь, что ваша модель поддерживает генерацию эмбеддингов. Не все GGUF-модели подходят для этой задачи — используйте специализированные эмбеддинг-модели, такие как nomic-embed-text или bge-small.

Source: https://docs.langchain.com/oss/python/integrations/text_embedding/llamacpp