RF-DETR: un modelo SOTA de detección de objetos en tiempo real basado en Transformers, de Roboflow 131

¿Qué es RF-DETR?

RF-DETR es una arquitectura de modelo de detección de objetos en tiempo real basada en Transformers, desarrollada por Roboflow. Su objetivo es lograr una detección de objetos con alta precisión y baja latencia, capaz de ejecutarse en dispositivos edge. Es el primer modelo en tiempo real que supera los 60 AP en el benchmark Microsoft COCO, y también destaca en el benchmark RF100-VL.

Funciones de RF-DETR

• Detección de objetos de alta precisión: RF-DETR alcanza un mAP (precisión media) de 60,5 en el conjunto de datos COCO y un mAP medio de 86,7 en el benchmark RF100-VL.

• En tiempo real: RF-DETR ofrece una baja latencia; por ejemplo, RF-DETR-Base puede alcanzar 160 FPS en una GPU NVIDIA T4.

• Alta adaptabilidad: RF-DETR se adapta bien a diversos dominios y conjuntos de datos de distintos tamaños.

• Soporte para múltiples dispositivos: RF-DETR no solo es adecuado para dispositivos GPU de alto rendimiento, sino que también puede ejecutarse en dispositivos edge.

Arquitectura técnica de RF-DETR

• Backbone (Red troncal): RF-DETR utiliza la red troncal DINOv2 preentrenada, que destaca en la extracción de características de imágenes y proporciona al modelo una potente capacidad de representación de características.

• Arquitectura Deformable DETR: RF-DETR adopta la arquitectura Deformable DETR, que mejora la capacidad del modelo para localizar objetos mediante un mecanismo de atención deformable (Deformable Attention). Este mecanismo permite al modelo muestrear de forma adaptativa sobre el mapa de características, capturando mejor la forma y la información de posición de los objetos.

• Mapa de características a escala única: a diferencia de algunos modelos de detección que usan mapas de características multi-escala, RF-DETR utiliza un mapa de características a escala única para la detección de objetos. Este diseño simplifica la estructura del modelo y mejora la eficiencia computacional.

• Cabeza de detección ligera (LW-DETR): RF-DETR incorpora el diseño de cabeza de detección ligera de LW-DETR, lo que optimiza aún más el rendimiento en tiempo real del modelo.

Casos de uso de RF-DETR

• Seguridad y vigilancia: detección en tiempo real de personas, vehículos, animales y otros objetivos en vídeos de vigilancia, para monitoreo de seguridad y análisis de comportamientos anómalos.

• Conducción autónoma: en sistemas de conducción autónoma, RF-DETR puede detectar de forma rápida y precisa peatones, vehículos y otros obstáculos en la carretera, proporcionando soporte para la toma de decisiones en la conducción autónoma.

• Automatización industrial: en entornos de producción industrial, RF-DETR puede emplearse para tareas como la detección de piezas en líneas de producción y la detección de defectos, mejorando la eficiencia productiva y el control de calidad.

• Protección de fauna silvestre: en proyectos de protección de fauna, RF-DETR puede usarse para monitorear la actividad de animales salvajes, ayudando a los investigadores a comprender mejor el comportamiento animal y a proteger el ecosistema.

• Aplicaciones en dispositivos edge: RF-DETR puede ejecutarse en dispositivos edge (como cámaras inteligentes, dispositivos móviles, etc.) para lograr detección de objetos con baja latencia, siendo adecuado para escenarios de IoT y computación edge inteligente.

Cómo usar RF-DETR

1. Instalar dependencias: primero se deben instalar las bibliotecas de dependencias de RF-DETR. Puede hacerse con el siguiente comando:

pip install rf-detr

2. Cargar el modelo preentrenado: RF-DETR proporciona pesos preentrenados que pueden cargarse directamente. Por ejemplo:

from rf_detr import RFDetr
model = RFDetr.from_pretrained("rf_detr_base")

3. Preprocesamiento de la imagen: redimensiona la imagen de entrada al tamaño requerido por el modelo y normalízala. Por ejemplo:

from PIL import Image
import numpy as np
image = Image.open("example.jpg").convert("RGB")
image = image.resize((model.input_size, model.input_size))
image = np.array(image) / 255.0

4. Detección de objetos: introduce la imagen preprocesada en el modelo para realizar la detección. Por ejemplo:

detections = model.predict(image)

5. Análisis de los resultados: analiza los resultados de la detección para obtener la clase, la confianza y la información del cuadro delimitador de cada objeto. Por ejemplo:

for detection in detections:
    class_id = detection["class_id"]
    confidence = detection["confidence"]
    bbox = detection["bbox"]
    print(f"Class: {class_id}, Confidence: {confidence}, BBox: {bbox}")

6. Ajuste fino del modelo: si necesitas usar RF-DETR en un conjunto de datos personalizado, puedes realizar un ajuste fino del modelo. El proceso incluye preparar el conjunto de datos, configurar los parámetros de entrenamiento, entrenar el modelo y evaluar su rendimiento.

Repositorio de GitHub:https://github.com/roboflow/rf-detr