Farfalle：オープンソースのAI検索エンジン 128

Farfalle.dev は、オープンソースの AI 駆動型のAI検索エンジンで、Perplexity のセルフホスト代替として位置付けられています。ユーザーは、llama3、gemma、mistral、phi3 などのローカル大規模言語モデル (LLMs) を実行したり、LiteLLM を通じてカスタム LLMs を利用したりできます。さらに、OpenAI の GPT-4 や GPT-3.5-turbo 2 4 などのクラウドモデル、および Groq/Llama3 もサポートしています。

Farfalleの主な特徴：

• 検索プロバイダー：Farfalle は Tavily、Searxng、Serper、Bing 2 などの複数の検索プロバイダーと統合されています。

• ローカルモデルとクラウドモデル：ユーザーはローカルモデル（llama3、mistral、gemma、phi3）またはクラウドモデル（OpenAI/gpt4-o、OpenAI/gpt3.5-turbo、Groq/Llama3）を使用して質問に答えることができます。

• カスタム LLMs：LiteLLM を通じて、Farfalle はカスタム LLMs をサポートし、柔軟性を高めています。

• 技術スタック：フロントエンドは Next.js で構築され、バックエンドは FastAPI で構築されています。また、Redis によるレート制限や、Logfire によるロギングも利用しています。

• デプロイオプション：Farfalle は Docker を使用するか、Render や Vercel 2 4 などのプラットフォームでデプロイできます。

Farfalle を始めるには：

ローカルで Farfalle を使い始めるには：

前提条件：ローカルモデルを実行する場合は、Docker と Ollama がインストールされていることを確認してください。

API キー：Tavily、Serper、OpenAI、Bing、Groq などの任意のサービスの API キーを取得します。

実行コマンド：

 docker run \
    -p 8000:8000 -p 3000:3000 -p 8080:8080 \
    --add-host=host.docker.internal:host-gateway \
    ghcr.io/rashadphz/farfalle:main

アプリケーションにアクセスするには http://localhost:3000 にアクセスしてください。

Farfalle のソースコードは GitHub で入手できます。https://github.com/rashadphz/farfalle