대본 기획 도우미▸ 
AI 앱 
AI 뉴스 
Farfalle: 오픈소스 AI 검색 엔진
Farfalle: 오픈소스 AI 검색 엔진소개
Farfalle.dev는 오픈소스 ai 기반 답변 AI 검색 엔진으로, Perplexity의 자체 호스팅 대체재로 포지셔닝되었습니다. 사용자는 llama3, gemma, mistral, phi3 등 로컬 대규모 언어 모델(LLMs)을 실행하거나 LiteLLM을 통해 커스텀 LLMs를 사용할 수 있습니다. 또한 Groq/Llama3, OpenAI의 GPT-4 및 GPT-3.5-turbo 2 4 등 클라우드 모델도 지원합니다.
Farfalle의 주요 특징:
검색 제공자: Farfalle은 Tavily, Searxng, Serper, Bing 2 등 여러 검색 제공자와 통합됩니다.
로컬 및 클라우드 모델: 사용자는 로컬 모델(llama3, mistral, gemma, phi3) 또는 클라우드 모델(OpenAI/gpt4-o, OpenAI/gpt3.5-turbo, Groq/Llama3)을 사용하여 질문에 답할 수 있습니다2.
커스텀 LLMs: LiteLLM을 통해 Farfalle은 커스텀 LLMs를 지원하여 유연성을 높입니다2.
기술 스택: 프런트엔드는 Next.js로, 백엔드는 FastAPI로 구축되었습니다. 또한 속도 제한을 위해 Redis를, 로깅을 위해 Logfire를 사용합니다 2.
배포 옵션: Farfalle은 Docker를 사용하거나 Render, Vercel 2 4 등의 플랫폼에서 배포할 수 있습니다.
Farfalle 시작하기:
로컬에서 Farfalle을 시작하려면:
전제 조건: 로컬 모델을 실행하는 경우 Docker와 Ollama가 설치되어 있는지 확인하세요.
API 키: Tavily, Serper, OpenAI, Bing, Groq 등 선택적 서비스의 API 키를 받으세요.
실행 명령:
docker run \ -p 8000:8000 -p 3000:3000 -p 8080:8080 \ --add-host=host.docker.internal:host-gateway \ ghcr.io/rashadphz/farfalle:main
http://localhost:3000 에 접속하여 애플리케이션에 접근하세요 .
Farfalle 소스 코드는 GitHub에서 확인할 수 있습니다.https://github.com/rashadphz/farfalle
