Векторная база данных нужна агенту, когда ответ лежит в документах или разрешённой истории, но его надо найти по смыслу. Запрос кодируют в embedding, база выбирает близкие фрагменты и передаёт их модели.
Что такое vector database
Vector database хранит текст и embedding, его числовое представление. Это не человеческое понимание: модель сопоставляет статистически близкие формулировки. Поэтому запрос о возврате может найти инструкцию об условиях оформления возврата.
Векторный поиск выбирает близкие векторы, retrieval передаёт кандидатов модели. Проверяйте отдельно: найден ли нужный источник и верно ли модель на него опирается. Gao и соавторы описывают retrieval, augmentation и generation как части RAG.
База ищет статистически близкие фрагменты. Она может вернуть нерелевантный или устаревший текст, а модель может ошибиться даже при подходящем источнике.
Embeddings, metadata и retrieval без технического тумана
- Embedding: числовое представление объекта.
- Векторный поиск: подбор близких фрагментов.
- Metadata: источник, дата, продукт, tenant и доступ.
- Retrieval: кандидаты до ответа LLM.
Метаданные сужают поиск по продукту, дате, клиенту или языку. Chroma описывает коллекции и фильтрацию, Qdrant сочетает поиск с payload-фильтрами. Фильтр не заменяет авторизацию: доступ к контексту проверяют до выдачи, право на действие, ещё раз перед действием.
Как работает векторная база для RAG
RAG добавляет к запросу внешний контекст. Векторная база часто участвует в retrieval, но поиск может работать иначе. Подробнее: как работает RAG.
Документы / FAQ / регламенты
→ очистка и разбиение на осмысленные чанки
→ embedding-модель создаёт векторы
→ векторная БД хранит: вектор + текст + ID + metadata
Вопрос пользователя
→ embedding того же типа
→ векторный поиск + фильтры metadata
→ кандидаты, при необходимости reranking
→ выбранные фрагменты и ссылки на источники в контекст LLM
→ ответ с цитатами или отказ, если доказательств нет
→ логирование качества, обновление и удаление устаревших чанковПорядок один: подготовить данные, найти контекст, проверить его, ответить. Для связки модели, поиска и инструментов полезно понимать когда LangChain нужен.
Поиск по смыслу и память агента: где граница
Векторное хранилище может искать по заметкам и переписке. Для памяти нужны правила записи, обновления, удаления и доступа. Иначе агент получает старый совет без контекста.
В команде важны границы доступа. Статья как ИИ-агенты распределяют работу разбирает координацию. База хранит индекс разрешённых фрагментов, но не заменяет журналы решений.
Четыре сценария, где поиск приносит пользу
- Поддержка: агент готовит ответ со ссылкой на базу знаний; оператор проверяет возвраты и деньги.
- Внутренний помощник: агент ищет политики перед черновиком; владелец подтверждает изменения данных и доступов.
- Каталог: агент находит карточки по описанию; команда проверяет критерии и характеристики.
- История: агент находит прошлые решения с датой; человек решает, актуальны ли они.
Агенты без магии
В Telegram разбираю, как подключать к агентам документы, инструменты и проверки.
Читать разборыПочему metadata и доступы важнее похожего текста
Агент учитывает клиента, продукт, версию документа и уровень доступа. Pinecone описывает metadata filtering и namespaces. Эти механизмы не отменяют проверку изоляции между пользователями и tenant-ами.
Если агент берёт данные из CRM или трекера, поиск работает внутри модели разрешений. MCP-сервер соединяет агента с инструментом, но не делает выдачу безопасной.
Chroma DB, Qdrant и Pinecone: подтверждённые различия
| Решение | Что подтверждает документация | Как описывать без рейтинга |
|---|---|---|
| Chroma DB | Коллекции хранят embeddings, документы и metadata; Query API выполняет nearest-neighbor поиск по dense embeddings и поддерживает metadata filtering. Документация описывает локальный запуск и Chroma Cloud. | Удобный пример базовой механики: коллекция, документы, эмбеддинги и поиск. Документация не даёт основания называть его только инструментом для прототипов. |
| Qdrant | Документация описывает self-hosted и Qdrant Cloud, векторный поиск, фильтрацию по payload, hybrid queries, full-text и оценку ANN recall. | Пример движка, где поиск сочетают с условиями по данным. Скорость и пригодность нужно проверять на своём корпусе и нагрузке. |
| Pinecone | Официальные docs описывают загрузку векторов и metadata в индекс, namespaces для разделения данных, semantic, lexical и hybrid search, filtering и reranking. | Пример управляемого сервиса с RAG-материалами. Не стоит делать выводы о цене, задержке или масштабе без актуальной проверки. |
Выбор зависит от размещения данных, self-hosting, фильтров, доступов и эксплуатации. См. что умеет Hermes Agent.
Чек-лист выбора и риски, которые нельзя отложить
- Чанкинг: проверяйте, не теряется ли контекст и не попадает ли лишний текст.
- Актуальность: храните ID, дату и версию; обновляйте и удаляйте старое.
- Доступы: проверяйте авторизацию до retrieval и перед действием.
- PII: минимизируйте данные, задайте сроки хранения, доступы и удаление.
- Prompt injection: документ остаётся данными, а не командой.
- Evaluation: проверяйте нужный фрагмент и обоснованность ответа.
Не выбирайте базу по лозунгу. Проверьте на своём корпусе чанкинг, фильтры, доступы, retrieval и обновление индекса.
Источники
- Chroma: docs.
- Qdrant: docs.
- Pinecone: docs.
- Gao et al.: RAG Survey.
- Microsoft: RAG.
- NIST: AI RMF; OWASP: LLM Top 10.
Проверяем AI-системы на практике
В Telegram показываю агентные сценарии, знания и контроль человека.
Подписаться
