ArXiv Paper Summarizer: инструмент для суммаризации статей с arXiv на Python 69

Что такое ArXiv Paper Summarizer?

ArXiv Paper Summarizer — это инструмент для составления резюме статей с arXiv на основе Python, использующий бесплатный API Gemini для извлечения и обобщения содержимого статей. Он поддерживает обработку одиночных и пакетных URL-адресов, поиск по ключевым словам и функцию автоматического ежедневного составления резюме, что делает его идеальным для исследователей, которым необходимо быстро получать ключевую информацию из литературы.

Основные функции ArXiv Paper Summarizer

Резюме отдельной статьи: введите URL-адрес статьи из ArXiv (это должна быть страница аннотации, а не ссылка на PDF), чтобы сгенерировать краткое содержание.

Пакетное резюме URL-адресов: поместите несколько URL-адресов в файл links.txt, обработайте их за один раз и сохраните результаты в файл result.txt.

Поиск по ключевым словам и пакетное резюме: используйте keywords_summarizer.py для указания ключевых слов (например, "transformer, sparsity") и диапазона дат (например, 2017-2024) для автоматического поиска релевантных статей и составления их резюме.

Автоматическое ежедневное резюме (с помощью Google Apps Script): настройте ключевые слова и Google Doc, ежедневно автоматически выполняйте поиск новых статей и обновляйте заголовки, ссылки и резюме в документе. Поддерживается настройка времени выполнения (например, полночь) и уведомлений по электронной почте.

Сценарии применения ArXiv Paper Summarizer

Быстрое получение информации о ходе исследований: исследователи и студенты могут быстро узнавать о последних достижениях в конкретной области.

Отслеживание тенденций исследований: функция пакетного резюмирования по ключевым словам позволяет отслеживать новые тенденции в исследованиях.

Помощь в написании обзора литературы: помогает исследователям быстро получать основное содержание релевантных статей при подготовке обзора литературы.

Установка и настройка ArXiv Paper Summarizer

1. Требования к среде

• Python 3.11

• Conda (управление средами)

• Ключ API Gemini (необходимо получить у Google)

2. Шаги

# 克隆仓库
git clone https://github.com/Shaier/arxiv_summarizer.git
cd arxiv_summarizer
# 创建并激活Conda环境
conda create -n arxiv_summarizer python=3.11
conda activate arxiv_summarizer
# 安装依赖
pip install -r requirements.txt

3. Настройка ключа API

• Откройте url_summarize.py и замените YOUR_GEMINI_API_KEY в строке 5 на фактический ключ.

• Для функции автоматического резюме необходимо одновременно настроить docId (идентификатор Google Doc) и apiKey в скрипте daily_arxiv.txt.

Примеры использования

Резюме одной статьи

python url_summarize.py
> 输入1（单篇）
> 输入URL：https://arxiv.org/abs/2410.08003

Пакетное резюме URL-адресов

Добавьте по одному URL-адресу в каждой строке файла links.txt

Запустите:

python url_summarize.py
> 输入2（批量）

Поиск по ключевым словам

python keywords_summarizer.py
> 输入关键词："machine learning, computer vision"
> 输入开始日期：2023-01-01
> 输入结束日期：2023-12-31

Настройка автоматического ежедневного резюме

Создайте Google Doc

• Создайте новый документ и скопируйте идентификатор документа из URL-адреса (например, 123HEM4h5aQwygDk_A-xNaJ8CUoyMZTFsChyMk).

Настройте Google Apps Script

• Перейдите в Google Apps Script и создайте новый проект.

• Вставьте содержимое файла daily_arxiv.txt в редактор, заменив docId, apiKey и массив keywords.

Тестирование и планирование

• Запустите скрипт вручную для тестирования и убедитесь, что Google Doc обновляется.

• В разделе "Триггеры" настройте ежедневное выполнение по расписанию (например, выберите "Каждый день в полночь").

Github: https://github.com/Shaier/arxiv_summarizer