sitemcp: open-source проект для превращения сайтов в MCP-серверы 131

小编 ·

sitemcp: open-source проект для превращения сайтов в MCP-серверы

sitemcp сканирует содержимое сайтов и кэширует его. С помощью micromatch и CSS-селекторов можно точно указать, какие пути и элементы страниц собирать. Полученный контент затем используется как источник данных MCP-сервера — проще говоря, статический сайт превращается в интерактивную базу знаний, доступную для запросов через MCP-клиенты и более точные ответы.

sitemcp: open-source проект для превращения сайтов в MCP-серверы

Что такое siteMCP?

sitemcp позволяет извлекать содержимое веб-сайтов и кэшировать его, поддерживает использование micromatch для указания путей к страницам, которые нужно извлечь, а также CSS-селекторов для точного выбора содержимого страниц. Извлечённое содержимое используется в качестве источника данных для MCP-сервера, то есть он превращает статический веб-сайт в интерактивную базу знаний, которая работает совместно с MCP-клиентом для задавания вопросов и получения более точной информации.

Что такое sitemcp?.jpg

Функции sitemcp

Извлечение и кэширование содержимого: может извлекать все или часть страниц указанного веб-сайта и кэшировать их. Поддерживается использование micromatch для указания путей к страницам, например:

sitemcp https://vite.dev -m "/blog/**" -m "/guide/**"

Селектор содержимого: на некоторых страницах содержимое, извлечённое mozilla/readability, может быть недостаточно точным, тогда можно задать CSS-селектор для точного извлечения читаемого содержимого:

sitemcp https://vite.dev --content-selector ".content"

Работа совместно с MCP-клиентом: sitemcp может работать совместно с MCP-клиентами (например, Claude Desktop). Через конфигурационный файл можно запустить сервер sitemcp в клиенте. Например:

{
"mcpServers": {
"daisy-ui": {
  "command": "npx",
  "args": [
"-y",
"sitemcp",
"https://daisyui.com",
"-m",
"/components/**",
  ]
}
}
}

Механизм кэширования: по умолчанию извлечённые страницы кэшируются в ~/.cache/sitemcp. Если кэширование не требуется, его можно отключить с помощью флага --no-cache.

Применение sitemcp

sitemcp, по сути, превращает статический веб-сайт в интерактивную базу знаний, которая работает совместно с MCP-клиентом для задавания вопросов, открывая более богатые сценарии применения. Например, пользователи могут использовать извлечённое содержимое веб-сайта в качестве базы знаний и задавать вопросы через MCP-клиент, получая более точную информацию.

Руководство по использованию sitemcp

Установка: sitemcp поддерживает несколько способов установки. Для разовой установки можно использовать следующие команды:

bunx sitemcp
npx sitemcp
pnpx sitemcp

Либо можно установить его глобально:

bun i -g sitemcp
npm i -g sitemcp
pnpm i -g sitemcp

Использование: при использовании достаточно указать URL-адрес целевого веб-сайта:

sitemcp https://daisyui.com

Также можно задать количество параллельных запросов с помощью параметра --concurrency, чтобы повысить эффективность извлечения:

sitemcp https://daisyui.com --concurrency 10

Адрес на github: https://github.com/ryoppippi/sitemcp