Arxiv Daily AIGC: инструмент автоматизации для сбора, анализа и организации статей с arXiv 84

小编 ·

Arxiv Daily AIGC: инструмент автоматизации для сбора, анализа и организации статей с arXiv

Arxiv Daily AIGC — это автоматизированный инструмент на базе ИИ для сбора, анализа и организации статей с arXiv. Каждый день он извлекает свежие статьи из категории cs.CV на arXiv, фильтрует статьи, связанные с генерацией изображений, видео и мультимодальной генерацией, через API OpenRouter и оценивает их ценность. Отфильтрованная информация сохраняется в JSON-файл, на основе которого генерируется аккуратный ежедневный HTML-отчет и обновляется главная страница. Весь процесс, включая ежедневный запланированный сбор, фильтрацию, генерацию и деплой на Git

Arxiv Daily AIGC: инструмент автоматизации для сбора, анализа и организации статей с arXiv

Что такое Arxiv Daily AIGC?

Arxiv Daily AIGC — это автоматизированный инструмент на базе ИИ для сбора, анализа и систематизации научных статей с arXiv. Он ежедневно извлекает новейшие публикации из раздела cs.CV на arXiv, а затем с помощью API OpenRouter отбирает статьи, связанные с генерацией изображений, видео и мультимодальной генерацией, и оценивает их значимость. Информация об отобранных статьях сохраняется в JSON-файлы, на основе которых затем создаются красивые ежедневные HTML-отчёты и обновляется главная страница. Весь процесс — ежедневный сбор по расписанию, отбор, генерация и развёртывание на GitHub Pages — полностью автоматизирован с помощью GitHub Actions.

Arxiv Daily AIGC:arXiv论文爬虫、分析和整理自动化工具.webp

Функциональные возможности Arxiv Daily AIGC

  • Сбор данных: ежедневный автоматический сбор новейших статей из раздела компьютерного зрения (cs.CV) на arXiv.

  • Отбор с помощью ИИ: интеллектуальный отбор статей, связанных с генерацией изображений, видео и мультимодальной генерацией, с использованием больших языковых моделей (LLM, в настоящее время через API OpenRouter), а также оценка значимости статей по различным критериям.

  • Хранение данных: сохранение информации об отобранных статьях (заголовок, аннотация, ссылка и т. д.) в JSON-файлы с именами по дате (хранятся в каталоге daily_json/).

  • Генерация веб-страниц: создание ежедневных HTML-отчётов на основе данных JSON с использованием заранее заданного шаблона (хранятся в каталоге daily_html/) и обновление главной страницы index.html.

  • Автоматическое развёртывание: полный цикл ежедневного сбора по расписанию, отбора, генерации и развёртывания на GitHub Pages реализован через GitHub Actions.

Технологический стек Arxiv Daily AIGC

  • Бэкенд/скрипты: Python 3.x (с библиотеками arxiv, requests, jinja2 и др.).

  • Фронтенд: HTML5, TailwindCSS (CDN), JavaScript, Framer Motion (CDN).

  • Автоматизация: GitHub Actions.

  • Развёртывание: GitHub Pages.

Установка и использование Arxiv Daily AIGC

  1. Клонирование репозитория: клонируйте проект на локальный компьютер с помощью команды git clone.

  2. Создание и активация виртуального окружения: рекомендуется использовать виртуальное окружение Python.

  3. Установка зависимостей: установите все библиотеки Python, перечисленные в файле requirements.txt.

  4. Настройка API-ключей: для работы ИИ-отбора проекту необходим API-ключ OpenRouter.

Как пользоваться Arxiv Daily AIGC

  • Локальный запуск: напрямую запустите основной скрипт main.py, чтобы вручную инициировать полный процесс (сбор, отбор, генерация).

  • Автоматизация через GitHub Actions: в репозитории настроен рабочий процесс GitHub Actions (.github/workflows/daily_arxiv.yml), который по умолчанию запускается ежедневно по расписанию.

Ссылки по теме

Github:https://github.com/onion-liu/arxiv_daily_aigc

项目主页:https://www.aha-time.com/arxiv_daily_aigc/