sitemcp: ein Open-Source-Projekt, das Websites in MCP-Server verwandelt 128

小编 ·

sitemcp: ein Open-Source-Projekt, das Websites in MCP-Server verwandelt

sitemcp crawlt Website-Inhalte und speichert sie im Cache. Mit micromatch und CSS-Selektoren lässt sich genau festlegen, welche Seitenpfade und Inhalte erfasst werden. Die gecrawlten Inhalte werden als Datenquelle eines MCP-Servers bereitgestellt – statische Websites werden also zu einer interaktiven Wissensdatenbank, die über MCP-Clients für präzisere Antworten abgefragt werden kann.

sitemcp: ein Open-Source-Projekt, das Websites in MCP-Server verwandelt

siteMCPist?

sitemcp kann Website-Inhalte crawlen und zwischenspeichern. Es unterstützt die Verwendung von micromatch, um die zu crawlenden Seitenpfade sowie CSS-Selektoren anzugeben, um die Seiteninhalte präzise auszuwählen. Die gecrawlten Inhalte dienen als Datenquelle für den MCP-Server. Mit anderen Worten: Es verwandelt eine statische Website in eine interaktive Wissensdatenbank, die zusammen mit einem MCP-Client verwendet werden kann, um Fragen zu stellen und genauere Informationen zu erhalten.

Was ist sitemcp?.jpg

sitemcp-Funktionen

Inhalte crawlen und zwischenspeichern: Es kann alle oder einen Teil der Seiten einer angegebenen Website crawlen und zwischenspeichern. Es unterstützt die Verwendung von micromatch, um die zu crawlenden Seitenpfade festzulegen, zum Beispiel:

sitemcp https://vite.dev -m "/blog/**" -m "/guide/**"

Inhalts-Selektor: In einigen Seiten sind die von mozilla/readability extrahierten Inhalte möglicherweise nicht genau genug. In diesem Fall kann durch die Angabe eines CSS-Selektors der lesbare Inhalt präzise extrahiert werden:

sitemcp https://vite.dev --content-selector ".content"

Zusammenarbeit mit MCP-Clients: sitemcp kann mit MCP-Clients (wie Claude Desktop) zusammenarbeiten. Über eine Konfigurationsdatei kann der sitemcp-Server im Client gestartet werden. Zum Beispiel:

{
"mcpServers": {
"daisy-ui": {
  "command": "npx",
  "args": [
"-y",
"sitemcp",
"https://daisyui.com",
"-m",
"/components/**",
  ]
}
}
}

Caching-Mechanismus: Standardmäßig werden die gecrawlten Seiten in ~/.cache/sitemcp zwischengespeichert. Wenn kein Caching gewünscht ist, kann es über das Flag --no-cache deaktiviert werden.

sitemcp-Anwendungen

sitemcp verwandelt quasi eine statische Website in eine interaktive Wissensdatenbank, die zusammen mit einem MCP-Client für Anfragen genutzt werden kann, und eröffnet so vielfältigere Anwendungsszenarien. Beispielsweise können Nutzer die gecrawlten Website-Inhalte als Wissensdatenbank verwenden und über den MCP-Client Fragen stellen, um genauere Informationen zu erhalten.

sitemcp-Anleitung

Installation: sitemcp unterstützt mehrere Installationsarten. Mit den folgenden Befehlen kann es einmalig ausgeführt werden:

bunx sitemcp
npx sitemcp
pnpx sitemcp

Oder es kann auch global installiert werden:

bun i -g sitemcp
npm i -g sitemcp
pnpm i -g sitemcp

Verwendung: Bei der Verwendung muss lediglich die URL der Zielwebsite angegeben werden:

sitemcp https://daisyui.com

Über den Parameter --concurrency kann zusätzlich die Anzahl der parallelen Anfragen angegeben werden, um die Crawling-Effizienz zu steigern:

sitemcp https://daisyui.com --concurrency 10

github-Adresse:https://github.com/ryoppippi/sitemcp