Arxiv Daily AIGC: Ein automatisiertes Tool zum Crawlen, Analysieren und Organisieren von arXiv-Papieren 81

小编 · 2025-05-09

Arxiv Daily AIGC ist ein KI-gesteuertes automatisiertes Tool zum Crawlen, Analysieren und Organisieren von arXiv-Papieren. Täglich werden die neuesten Papers aus der Kategorie cs.CV auf arXiv extrahiert, über die OpenRouter-API werden papersbezogene Beiträge zu Bild-, Video- und multimodaler Generierung gefiltert und hinsichtlich ihres Werts bewertet. Die gefilterten Paper-Informationen werden als JSON-Datei gespeichert, auf deren Basis ein ansprechender HTML-Tagesbericht generiert und die Startseite aktualisiert wird. Der gesamte Workflow – inklusive zeitgesteuertem Crawling, Filterung, Generierung und Deployment auf Git

Arxiv Daily AIGC: Ein automatisiertes Tool zum Crawlen, Analysieren und Organisieren von arXiv-Papieren

Was ist Arxiv Daily AIGC?

Arxiv Daily AIGC ist ein KI-gesteuertes automatisiertes Tool zum Crawlen, Analysieren und Zusammenstellen von arXiv-Papers. Es extrahiert täglich die neuesten Papers aus dem Bereich cs.CV von arXiv, filtert über die OpenRouter-API diejenigen heraus, die sich mit Bild-, Video- und multimodaler Generierung befassen, und beurteilt deren Wert. Die gefilterten Paper-Informationen werden als JSON-Dateien gespeichert, aus denen anschließend ansprechende tägliche HTML-Berichte erstellt und die Hauptseite aktualisiert wird. Der gesamte Ablauf – einschließlich des täglichen zeitgesteuerten Crawlens, Filterns, Generierens und Bereitstellens auf GitHub Pages – wird vollständig automatisiert über GitHub Actions abgewickelt.

Arxiv Daily AIGC：Ein automatisiertes Tool zum Crawlen, Analysieren und Zusammenstellen von arXiv-Papers.webp

Funktionsmerkmale von Arxiv Daily AIGC

Daten-Crawling: Tägliches automatisches Abrufen der neuesten Papers aus dem Bereich Computer Vision (cs.CV) von arXiv.
KI-Filterung: Einsatz eines großen Sprachmodells (LLM, derzeit über die OpenRouter-API) zur intelligenten Auswahl von Papers, die für Bild-, Video- oder multimodale Generierung relevant sind, sowie zur Bewertung ihres Werts aus verschiedenen Dimensionen.
Datenspeicherung: Speicherung der gefilterten Paper-Informationen (Titel, Zusammenfassung, Links usw.) in nach Datum benannten JSON-Dateien (gespeichert im Verzeichnis daily_json/).
Webseitengenerierung: Erstellung täglicher HTML-Berichte auf Basis der JSON-Daten mithilfe vordefinierter Vorlagen (gespeichert im Verzeichnis daily_html/) sowie Aktualisierung der Hauptseite index.html.
Automatisierte Bereitstellung: Vollständig automatisierter Workflow über GitHub Actions, der täglich zeitgesteuert Crawling, Filterung, Generierung und Deployment auf GitHub Pages übernimmt.

Technischer Stack von Arxiv Daily AIGC

Backend/Skripte: Python 3.x (mit Bibliotheken wie arxiv, requests, jinja2 usw.).
Frontend: HTML5, TailwindCSS (CDN), JavaScript, Framer Motion (CDN).
Automatisierung: GitHub Actions.
Deployment: GitHub Pages.

Installation und Nutzung von Arxiv Daily AIGC

Repository klonen: Verwenden Sie den Befehl git clone, um das Projekt lokal zu klonen.
Virtuelle Umgebung erstellen und aktivieren: Es wird empfohlen, eine Python-Virtual-Environment zu verwenden.
Abhängigkeiten installieren: Installieren Sie alle in der Datei requirements.txt aufgeführten Python-Bibliotheken.
API-Schlüssel konfigurieren: Für die KI-Filterung wird ein OpenRouter-API-Schlüssel benötigt.

Verwendung von Arxiv Daily AIGC

Lokale Ausführung: Führen Sie das Hauptskript main.py direkt aus, um den gesamten Ablauf (Crawling, Filterung, Generierung) manuell anzustoßen.
Automatisierung über GitHub Actions: Das Repository enthält einen GitHub-Actions-Workflow (.github/workflows/daily_arxiv.yml), der standardmäßig täglich zeitgesteuert ausgeführt wird.