EasyEdit2: Framework de dirección de LLM en tiempo real del equipo de la Universidad de Zhejiang 136

¿Qué es EasyEdit2?

EasyEdit2 es un marco de edición y orientación para LLM fácil de usar, desarrollado por el equipo de la Universidad de Zhejiang. A diferencia de EasyEdit, permite orientar grandes modelos de lenguaje en tiempo real durante la inferencia, logrando un control en el momento de la prueba mediante vectores de orientación enchufables, sin necesidad de entrenamiento. Ofrece ajustabilidad y composibilidad, y puede aplicarse en diversos escenarios como seguridad, emoción y personalidad. Su arquitectura consta de cuatro componentes principales: conjuntos de datos, métodos, biblioteca de vectores y módulo de evaluación. Su uso sigue cuatro pasos: preparar los datos de entrenamiento, generar los vectores de orientación, aplicarlos al modelo y verificar los resultados.

Características y funcionalidades

• Control en tiempo real: EasyEdit2 logra un control en tiempo real y sin entrenamiento durante la fase de inferencia del modelo, mediante vectores de manipulación enchufables.

• Plug and play: los usuarios pueden aplicar o eliminar métodos de manipulación de forma transparente, sin necesidad de modificar los pesos del modelo.

• Facilidad de uso: los usuarios no necesitan una sólida formación técnica; basta con un solo ejemplo para guiar y ajustar eficazmente las respuestas del modelo.

• Ajustabilidad y composibilidad: los usuarios pueden ajustar con precisión la intensidad y la dirección de las intervenciones, y combinar múltiples técnicas de manipulación para lograr un control de grano fino.

• Diversidad de escenarios de aplicación: admite múltiples funciones de intervención en el momento de la prueba, incluyendo seguridad, tendencias emocionales, rasgos de personalidad, modos de razonamiento, precisión factual y características lingüísticas, entre otros.

Módulos principales

• Generador de vectores de orientación (Steering Vector Generator): genera automáticamente vectores de orientación que influyen en el comportamiento del modelo.

• Aplicador de vectores de orientación (Steering Vector Applier): aplica al modelo los vectores de orientación generados para ajustar su comportamiento.

Escenarios de aplicación

• Seguridad: defensa frente a ataques de jailbreak, reducción de sesgos sociales y disminución del riesgo de filtraciones de privacidad.

• Tendencia emocional: controlar la emoción de las salidas del modelo, transformándola de negativa a positiva.

• Rasgos de personalidad: personalizar la personalidad del modelo.

• Modos de razonamiento: intervenir en el proceso de razonamiento para evitar el exceso de reflexión.

• Precisión factual: actualizar el conocimiento del modelo para mantener la actualidad de su información.

• Características lingüísticas: personalizar el estilo del lenguaje para satisfacer necesidades específicas.

Instrucciones de uso

1. Preparar los datos de entrenamiento, como definir el conjunto de datos de entrenamiento y el conjunto de datos de generación.

2. Utilizar BaseVectorGenerator para generar los vectores de orientación.

3. Aplicar los vectores al modelo mediante BaseVectorApplier y generar la salida orientada.

4. Verificar los resultados de salida del modelo tras la orientación; una vez finalizado el uso, se puede restablecer el modelo.

Preguntas frecuentes

P: ¿Cuál es la principal diferencia entre EasyEdit2 y EasyEdit?

R: EasyEdit permite editar el conocimiento actualizando parámetros internos o introduciendo parámetros adicionales, mientras que EasyEdit2 puede orientar grandes modelos de lenguaje en tiempo real durante la inferencia, sin necesidad de reentrenamiento, y ofrece múltiples funciones de control mediante vectores de orientación enchufables.

P: ¿Cómo consigue EasyEdit2 aplicaciones multiescenario sobre grandes modelos de lenguaje?

R: EasyEdit2 aprovecha su ajustabilidad y composibilidad, controlando la intensidad de la intervención y combinando múltiples técnicas de orientación para ajustar el modelo según los requisitos de cada escenario. Por ejemplo, reforzar la seguridad en escenarios de seguridad o ajustar la emoción del modelo en escenarios emocionales, entre otros.

P: ¿Qué clases principales y archivos de configuración intervienen en el uso de EasyEdit2?

R: Durante el uso intervienen dos clases principales, BaseVectorGenerator y BaseVectorApplier, empleadas respectivamente para generar y aplicar los vectores de orientación. También intervienen archivos de configuración, que se cargan, por ejemplo, mediante OmegaConf.load('./hparams/Steer/config.yaml').

Enlaces relacionados

Sitio web del proyecto:https://zjunlp.github.io/project/EasyEdit2

Repositorio de GitHub:https://github.com/zjunlp/EasyEdit

arXiv:https://arxiv.org/abs/2504.15133

Hugging Face:https://huggingface.co/papers/2504.15133