Arxiv Daily AIGC: arXiv 논문 크롤링, 분석 및 정리를 위한 자동화 도구 78

小编 · 2025-05-09

Arxiv Daily AIGC는 AI 기반으로 arXiv 논문을 크롤링, 분석 및 정리하는 자동화 도구입니다. 매일 arXiv의 cs.CV 분야 최신 논문을 추출하고, OpenRouter API를 통해 이미지, 비디오 및 멀티모달 생성 관련 논문을 선별하여 그 가치를 평가합니다. 선별된 논문 정보는 JSON 파일로 저장되고, 이를 바탕으로 깔끔한 HTML 일일 보고서가 생성되어 홈페이지가 업데이트됩니다. 매일定时 크롤링, 선별, 생성, Git 배포까지의 전체 워크플로우를 포함

Arxiv Daily AIGC: arXiv 논문 크롤링, 분석 및 정리를 위한 자동화 도구

Arxiv Daily AIGC란 무엇인가요?

Arxiv Daily AIGC는 AI 기반의 arXiv 논문 크롤링, 분석 및 정리 자동화 도구로, 매일 arXiv의 cs.CV 분야에서 최신 논문을 추출하고 OpenRouter API를 통해 이미지, 비디오 및 멀티모달 생성과 관련된 논문을 선별하여 그 가치를 평가합니다. 선별된 논문 정보는 JSON 파일로 저장되고, 이 데이터를 기반으로 보기 좋은 HTML 일일 보고서가 생성되며 메인 페이지가 업데이트됩니다. 매일 정해진 시간의 크롤링, 선별, 생성 및 GitHub Pages 배포까지의 전체 과정은 GitHub Actions를 통해 자동으로 완료됩니다.

Arxiv Daily AIGC：一个arXiv论文爬虫、分析和整理自动化工具.webp

Arxiv Daily AIGC 기능 특징

데이터 크롤링: 매일 자동으로 arXiv의 컴퓨터 비전(cs.CV) 분야에서 최신 논문을 크롤링합니다.
AI 선별: 대규모 언어 모델(LLM, 현재 OpenRouter API 사용)을 사용하여 이미지/비디오/멀티모달 생성과 관련된 논문을 지능적으로 선별하고 다양한 차원에서 논문의 가치를 평가합니다.
데이터 저장: 선별된 논문 정보(제목, 초록, 링크 등)를 날짜별로 명명된 JSON 파일 형식으로 저장합니다(daily_json/ 디렉터리에 저장).
웹페이지 생성: JSON 데이터를 기반으로 사전 정의된 템플릿을 사용하여 일일 HTML 보고서를 생성하고(daily_html/ 디렉터리에 저장), 메인 진입 페이지인 index.html을 업데이트합니다.
자동 배포: GitHub Actions를 통해 매일 정해진 시간의 크롤링, 선별, 생성 및 GitHub Pages 배포의 완전한 과정을 구현합니다.

Arxiv Daily AIGC 기술 스택

백엔드/스크립트: Python 3.x(arxiv, requests, jinja2 등 라이브러리 사용).
프런트엔드: HTML5, TailwindCSS(CDN), JavaScript, Framer Motion(CDN).
자동화: GitHub Actions.
배포: GitHub Pages.

Arxiv Daily AIGC 설치 및 사용

저장소 복제: git clone 명령을 사용하여 프로젝트를 로컬로 복제합니다.
가상 환경 생성 및 활성화: Python 가상 환경 사용을 권장합니다.
의존성 설치: requirements.txt 파일에 나열된 모든 Python 라이브러리를 설치합니다.
API 키 구성: 프로젝트는 AI 선별을 위해 OpenRouter API 키가 필요합니다.

Arxiv Daily AIGC 사용 방법

로컬 실행: 메인 스크립트인 main.py를 직접 실행하여 전체 과정(크롤링, 선별, 생성)을 수동으로 실행합니다.
GitHub Actions 자동화: 저장소에는 GitHub Actions 워크플로(.github/workflows/daily_arxiv.yml)가 구성되어 있으며, 기본적으로 매일 정해진 시간에 실행됩니다.