PDF-Craft: convierte PDFs de libros escaneados a Markdown/EPUB 122

¿Qué es PDF-Craft?

PDF-Craft es un proyecto de código abierto diseñado para procesar archivos PDF, especializado en convertir libros escaneados en PDF a formato Markdown o EPUB. Reconoce texto mediante tecnología OCR y utiliza algoritmos de ai para extraer texto, filtrar encabezados y pies de página y generar contenido estructurado. Soporta computación local y asistencia mediante LLM, siendo adecuado para la conversión de formato de artículos académicos, folletos y libros extensos.

Características de PDF-Craft

Conversión de formato:

• Permite convertir PDF a formato Markdown, ideal para artículos o libros pequeños.

• Para documentos de más de 100 páginas, se combina el OCR local con el procesamiento LLM en la nube para generar EPUB con índice y capítulos.

Extracción inteligente:

• Utiliza DocLayout-YOLO y algoritmos personalizados para extraer el texto principal, filtrando encabezados, pies de página, notas al pie, números de página y otros elementos.

• En saltos de página, el algoritmo gestiona la continuidad del contenido entre páginas.

Reconocimiento OCR:

• Utiliza OnnxOCR para el reconocimiento de texto, admite la captura de ilustraciones, tablas y fórmulas, y las inserta directamente en el archivo de salida.

Optimización del orden de lectura:

• Determina un orden conforme a los hábitos de lectura humana mediante layoutreader.

Asistencia con LLM:

• Durante el proceso de conversión a EPUB, un LLM (como DeepSeek) lee la información de anotaciones y citas, presentándolas en el EPUB.

• El LLM también puede corregir en cierta medida errores del OCR.

Ejecución local:

• Soporta aceleración por CPU y GPU, y puede completar la mayor parte de las operaciones sin necesidad de conexión a internet.

Casos de uso de PDF-Craft

• Investigación académica: convierte artículos académicos escaneados a formato Markdown o EPUB para facilitar su edición y lectura.

• Creación de libros electrónicos: convierte libros escaneados a formato EPUB, generando libros electrónicos con índice y capítulos.

• Procesamiento de documentos: extrae texto e imágenes de archivos PDF para su posterior edición o archivado.

Cómo usar PDF-Craft

1. Instalación: se requiere Python 3.10 o superior, con soporte para aceleración CUDA.

2. Convertir PDF a Markdown:

from pdf_craft import PDFPageExtractor, MarkDownWriter
extractor = PDFPageExtractor(device="cpu", model_dir_path="/path/to/model")
with MarkDownWriter(markdown_path, "images", "utf-8") as md:
    for block in extractor.extract(pdf="/path/to/pdf"):
        md.write(block)

3. Convertir PDF a EPUB:

from pdf_craft import PDFPageExtractor, LLM, analyse, generate_epub_file
extractor = PDFPageExtractor(device="cpu", model_dir_path="/path/to/model")
llm = LLM(key="sk-XXXXX", url="https://api.deepseek.com", model="deepseek-chat")
analyse(llm=llm, pdf_page_extractor=extractor, pdf_path="/path/to/pdf", analysing_dir_path="/path/to/analysing", output_dir_path="/path/to/output")
generate_epub_file(from_dir_path="/path/to/output", epub_file_path="/path/to/output.epub")

proyecto en github:https://github.com/oomol-lab/pdf-craft