EasyEdit2: Zhejiang University 팀이 개발한 실시간 LLM 제어 프레임워크 135

小编 · 2025-04-28

EasyEdit2는 Zhejiang University 팀이 개발한 사용하기 쉬운 LLM 제어 프레임워크입니다. EasyEdit와 달리 추론 시 실시간으로 대규모 언어 모델을 제어할 수 있으며, 플러그인 방식의 제어 벡터를 통해 훈련 없이 테스트 시 제어가 가능하고, 안전성·감정·성격 등 다양한 시나리오에 적용할 수 있습니다. 데이터셋, 메서드, 벡터 저장소, 평가의 4가지 핵심 모듈로 구성되며, 훈련 데이터 준비 → 제어 벡터 생성 → 모델 적용 → 결과 검증의 4단계로 사용합니다.

EasyEdit2: Zhejiang University 팀이 개발한 실시간 LLM 제어 프레임워크

EasyEdit2란 무엇인가?

EasyEdit2는 Zhejiang University 팀에서 개발한 사용하기 쉬운 LLM 편집 유도 프레임워크로, EasyEdit과 달리 추론 시 대규모 언어 모델을 실시간으로 유도할 수 있으며, 플러그인 가능한 유도 벡터를 통해 학습 없이 테스트 시 제어를 구현합니다. 조절 가능성과 조합 가능성을 갖추고 있어 안전성, 감정, 개성 등 다양한 시나리오에 적용할 수 있습니다. 아키텍처는 데이터셋, 방법, 벡터 라이브러리, 평가 모듈의 네 가지 핵심 구성 요소로 이루어져 있으며,使用时按准备训练数据、生成导向向量、应用到模型、验证结果四个步骤操作。

EasyEdit2：浙江大学团队开发的实时LLM编辑导向框架.webp

기능 특징

실시간 제어: EasyEdit2는 플러그인 가능한 조작 벡터를 통해 모델 추론 단계에서 실시간으로 학습 없이 제어할 수 있습니다.
플러그 앤 플레이: 사용자는 모델 가중치를 수정하지 않고도 조작 방법을 원활하게 적용하거나 제거할 수 있습니다.
사용 편의성: 사용자는 깊은 기술적 배경이 없어도 단 하나의 예시만으로 모델 응답을 효과적으로 유도하고 조정할 수 있습니다.
조절 가능성과 조합 가능성: 사용자는 개입 강도와 방향을 정밀하게 조정하고, 여러 조작 기술을 결합하여 세밀한 제어를 구현할 수 있습니다.
다양한 적용 시나리오: 안전성, 감정 성향, 개성 특징, 추론 모드, 사실 정확성, 언어 특성 등 여러 테스트 시 개입 기능을 지원합니다.

핵심 모듈

조작 벡터 생성기(Steering Vector Generator): 모델 행동에 영향을 주기 위한 조작 벡터를 자동으로 생성합니다.
조작 벡터 적용기(Steering Vector Applier): 생성된 조작 벡터를 모델에 적용하여 모델 행동을 조정합니다.

EasyEdit2：浙江大学团队开发的实时LLM编辑导向框架.webp

적용 시나리오

안전성: 탈옥 공격에 대한 저항, 사회적 편향 감소, 개인정보 유출 위험 감소.
감정 성향: 모델 출력의 감정을消极에서 적극적으로 전환합니다.
개성 특징: 모델의 개성을 맞춤 설정합니다.
추론 모드: 추론 과정에 개입하여 과도한 사고를 방지합니다.
사실 정확성: 모델 지식을 업데이트하여 지식의 시의성을 유지합니다.
언어 특성: 특정 요구 사항을 충족하기 위해 언어 스타일을 맞춤 설정합니다.

사용 방법

준비 학습 데이터, 예: 훈련 데이터셋과 생성 데이터셋을 정의합니다.
BaseVectorGenerator를 사용하여 유도 벡터를 생성합니다.
BaseVectorApplier를 통해 모델에 벡터를 적용하고 유도된 출력을 생성합니다.
유도된 모델 출력 결과를 검증하고, 사용 완료 후 모델을 재설정할 수 있습니다.

EasyEdit2：浙江大学团队开发的实时LLM编辑导向框架.webp

자주 묻는 질문

질문: EasyEdit2와 EasyEdit의 주요 차이점은 무엇인가요?

답변: EasyEdit은 내부 파라미터를 업데이트하거나 추가 파라미터를 도입하여 지식 편집을 구현하는 반면, EasyEdit2는 추론 시 대규모 언어 모델을 실시간으로 유도할 수 있으며 재훈련 없이 플러그인 가능한 유도 벡터를 통해 여러 제어 기능을 구현합니다.

질문: EasyEdit2는 어떻게 대규모 언어 모델에 대한 다중 시나리오 적용을 구현하나요?

답변: EasyEdit2는 조절 가능성과 조합 가능성을 활용하여 개입 강도를 제어하고 여러 유도 기술을 결합함으로써 다양한 시나리오 요구에 맞게 모델을 조정합니다. 예를 들어 안전 시나리오에서는 안전성을 강화하고, 감정 시나리오에서는 모델 감정을 조정하는 등의 방식입니다.

질문: EasyEdit2 사용 과정에서 어떤 핵심 클래스와 구성 파일이 관련되나요?

답변: 사용 과정에서 BaseVectorGenerator와 BaseVectorApplier라는 두 가지 핵심 클래스가 관련되며, 각각 유도 벡터 생성과 벡터 적용에 사용됩니다. 또한 OmegaConf.load('./hparams/Steer/config.yaml')을 통해 로드되는 구성 파일도 관련됩니다.