YOLO-World: 실시간 오픈 어휘 객체 감지 123

YOLO-World는 텐센트 ai 연구소에서 개발한 실시간 객체 검출 도구로, 이미지 내 다양한 객체를 자동으로 인식하고 위치를 파악할 수 있습니다. YOLO-World는 속도와 정확성 면에서 많은 최첨단 방법들보다 뛰어난 성능을 보입니다.

YOLO-World는 실시간 개방형 어휘 객체 검출을 목표로 하는 차세대 YOLO 검출기입니다. YOLO-World는 Objects365, GQA, Flickr30K, CC3M을 포함한 대규모 시각-언어 데이터셋에서 사전 학습되었으며, 이를 통해 별도의 학습 없이도 실시간 객체 검출이 가능한 강력한 제로샷 개방형 어휘 능력과 이미지 그라운딩(grounding) 능력을 갖추고 있습니다. 이전에 본 적 없는 물체도 인식할 수 있어, 객체 검출 및 개방형 어휘 인스턴스 분할에 적합합니다.

YOLO-World 기능 특징:

1. 대규모 학습: YOLO-World는 대량의 이미지와 이에 대응하는 설명(예: 물체 이름)을 학습하여 풍부한 시각 지식과 언어 지식을 습득하였으며, 이를 통해 광범위한 물체를 인식할 수 있습니다.

이 프로젝트는 Objects365, GQA, Flickr30K, CC3M을 포함한 대규모 시각-언어 데이터셋에서 사전 학습되었으며, YOLO-World에 강력한 제로샷 개방형 어휘 능력과 이미지 내 객체 위치 파악 능력을 부여합니다.

2. 빠르고 정확함: YOLO-World는 LVIS 데이터셋에서의 제로샷 평가에서 35.4 AP를 달성하였으며, V100에서 52.0 FPS의 처리 속도를 보입니다. 속도와 정확성 모두에서 많은 최첨단 방법들을 능가합니다. 복잡한 장면을 포함한 이미지에서도 높은 정확도를 유지합니다. YOLO-World는 GroundingDINO보다 20배 빠르다고 주장합니다.

3. 제로샷 검출: 가장 인상적인 점은 YOLO-World가 이전에 본 적 없는 물체도 이전 학습과 이해 능력을 바탕으로 이미지의 단서와 문맥 정보를 활용하여 성공적으로 인식하고 위치를 파악할 수 있다는 것입니다. 이는 새로운 종류의 객체를 검출하도록 별도로 학습시킬 필요가 없음을 의미합니다. 클래스 이름을 입력 텍스트 프롬프트로 제공하기만 하면, 모델은 해당 객체의 바운딩 박스를 반환합니다(존재하는 경우).

4. 객체 이해: YOLO-World는 시각 정보에만 의존하지 않고 언어 정보도 결합합니다. 인간의 언어 설명을 이해하므로, 이전에 직접 본 적 없는 객체도 인식할 수 있습니다.

5. 기존의 개방형 어휘 검출 방법들과 비교하여 YOLO-World 모델은 최소 20배 빠릅니다. 초당 약 52프레임을 처리할 수 있습니다.

6. LVIS 객체 검출 데이터셋에서 새로운 최첨단 성능 기록을 수립하였습니다.