10 лучших проектов поисковых ИИ-систем с открытым исходным кодом 179

2024-07-31

Поиск с помощью ИИ — классический сценарий применения LLM RAG, охватывающий огромную аудиторию. Такие продукты, как Perplexity, демонстрируют миру безграничный потенциал ИИ-поиска и стремительно меняют привычные поисковые системы.

10 лучших проектов поисковых ИИ-систем с открытым исходным кодом

AI-поиск является очень типичным сценарием применения LLM RAG, а также сценарием, охватывающим огромную пользовательскую аудиторию. Продукты AI-поиска, представленные такими сервисами, как Perplexity, ускоряют демонстрацию всему миру безграничных возможностей AI-поиска и его стремительного вытеснения традиционного поиска.

Сегодня давайте вместе рассмотрим, какие open-source проекты существуют в области AI-поиска.

1、Morphic

Morphic — это поисковая система на основе AI, обладающая генеративным пользовательским интерфейсом, способная понимать и отвечать на вопросы пользователей. Она поддерживает просмотр истории поиска, обмен результатами, поиск видео и получение информации с указанных URL. Morphic также может использоваться в качестве поисковой системы, поддерживает несколько поставщиков AI-сервисов, включая OpenAI, и позволяет пользователю указывать модель для генерации ответов, включая поддержку Groq API, а также поддержку новейшей модели Llama-3.1.

Адрес open-source проекта на Github:https://github.com/miurla/morphic

2、Search with Lepton

Search with Lepton — проект команды Lepton AI, который несёт разработчикам идею: «Создайте свою собственную диалоговую поисковую систему менее чем за 500 строк кода». Lepton был основан, в частности, Янцином Цзя (Yangqing Jia).

Search with Lepton .jpg

Адрес open-source проекта на Github:https://github.com/leptonai/search_with_lepton

3、Perplexica

Perplexica — это open-source поисковая система на основе AI, которая поддерживает локальные LLM через Ollama. Она обладает двумя режимами: режим Copilot, который расширяет поиск, генерируя различные запросы и находя более релевантные веб-ресурсы; обычный режим, который напрямую обрабатывает запрос пользователя и выполняет поиск в интернете.

Кроме того, Perplexica имеет шесть специализированных режимов, предназначенных для ответов на определённые типы вопросов, включая поиск по всему интернету, помощь в написании текстов, академические исследования, поиск видео на YouTube, анализ данных Wolfram Alpha, а также поиск обсуждений в сообществе Reddit. В качестве поискового движка используется SearxNG.

Адрес open-source проекта на Github:https://github.com/ItzCrazyKns/Perplexica

4、Zure-search-openai-demo

azure-search-openai-demo — это пример приложения, использующего Azure OpenAI и Azure AI Search, демонстрирующий, как создать интерфейс, подобный ChatGPT, с применением модели retrieval-augmented generation (RAG) для обработки пользовательских данных. Бэкенд приложения написан на Python, также предоставлены примеры на JavaScript, .NET и Java. Оно интегрируется с Azure AI Search для индексации и поиска данных, поддерживает множество форматов документов и интегрированную векторизацию.

Адрес open-source проекта на Github:https://github.com/Azure-Samples/azure-search-openai-demo

5、TurboSeek

Turboseek — это поисковая система на основе искусственного интеллекта, вдохновлённая Perplexity, предназначенная для предоставления углублённого поиска ответов в интернете. Она использует передовые алгоритмы машинного обучения, такие как поиск по сходству и технологии эмбеддингов, для оптимизации результатов поиска, гарантируя, что пользователи получают самую актуальную и релевантную информацию. Turboseek делает особый акцент на защите конфиденциальности, использует SearxNG в качестве бэкенда поисковой системы, обеспечивая актуальность информации и избегая затрат, связанных с ежедневным обновлением данных. Кроме того, будучи open-source проектом, Turboseek позволяет пользователям настраивать и расширять его функции поиска.

Адрес open-source проекта на Github:https://github.com/Nutlope/turboseek

6、FarFalle

Farfalle — это open-source поисковая система на основе AI, спроектированная как клон Perplexity. Она поддерживает запуск локальных LLM через ollama и использование пользовательских LLM через LiteLLM, а также поддерживает облачные модели (например, Llama3, OpenAI/gpt4-o). Farfalle обеспечивает возможности поиска от множества поисковых провайдеров и позволяет пользователю выполнять поиск через Agent, который может планировать и выполнять поиск для предоставления лучших результатов.

Адрес open-source проекта на Github:https://github.com/rashadphz/farfalle

7、Gerev

Gerev — это корпоративная поисковая система на основе AI, специально разработанная для быстрого поиска диалогов, документов или внутренних страниц внутри организации. Она поддерживает поиск на естественном языке, позволяя пользователям осуществлять поиск в форме, подобной повседневному разговору. Gerev может быть развёрнута через облачный сервис или собственный хостинг и предлагает множество вариантов интеграции с популярными инструментами, включая Slack, Confluence, Jira и другие. Кроме того, она позволяет пользователям добавлять собственные источники данных для дальнейшего расширения возможностей поиска. Цель Gerev — помочь специалистам технической поддержки быстро решать проблемы и сделать поиск информации в организации простым и быстрым.

Адрес open-source проекта на Github:https://github.com/GerevAI/gerev

8、MemFree

MemFree — это гибридная поисковая система на основе искусственного интеллекта, которая может выполнять поиск одновременно в вашей личной базе знаний (например, закладки, заметки, документы и т. д.) и в интернете. Гибридная поисковая система на основе AI с синхронизацией и индексацией закладок Chrome в один клик, поддерживающая множество традиционных поисковых систем в качестве источников.

Адрес open-source проекта на Github:https://github.com/memfreeme/memfree

_blank" rel="noreferrer noopener">MindSearch

MindSearch — это поисковая система с открытым исходным кодом на базе ИИ, обладающая производительностью Perplexity.ai Pro. Вы можете легко развернуть её как собственный поисковый движок в стиле perplexity.ai с использованием как закрытого кодаLLMs (GPT, Claude), так и открытого исходного кодаLLMs (InternLM2.5-7b-chat).

Адрес открытого проекта на Github: https://github.com/InternLM/mindsearch

10. OpenPerPlex

Использует библиотеки Cohere и semantic-chunkers для семантического чанкинга, JINA API для переранжирования результатов, интеграцию с поиском Google через http://serper.dev и Groq в качестве движка логического вывода.

OpenPerPlex