OpenAI의 GPT-4o란 무엇이며, 어떤 기능이 있나 232

Openai는 태평양 표준시 5월 13일 월요일 오전 10시에 GPT-4o를 공개했습니다. 이는 텍스트, 이미지, 비디오, 음성을 결합한 올인원 인공지능 모델입니다. 사용자의 요구에 실시간으로 응답하고 음성을 통해 실시간으로 답변할 수 있으며, 언제든지 중단할 수 있습니다. GPT-4o는 시각 능력을 갖추고 있어 물체를 인식하고 시각에 따라 빠르고 신속하게 응답하고 답변할 수 있으며, 매우 강력한 논리적 추론 능력을 가지고 있습니다. 또한 사용자의 음성에서 감정을 감지할 수도 있습니다. 속도는 GPT4-turbo보다 2배 빠르며, 가격은 50% 저렴합니다!

GPT-4o란 무엇인가요?

GPT-4o("o"는 "omni"를 의미함)는 보다 자연스러운 인간-컴퓨터 상호작용을 향한 한 걸음으로, 텍스트, 오디오, 이미지의 임의의 조합을 입력으로 받아 텍스트, 오디오, 이미지의 임의의 조합을 출력으로 생성합니다. 오디오 입력에 대해 짧게는 232밀리초, 평균 320밀리초 내에 응답할 수 있으며, 이는 인간의 대화 응답 시간과 유사합니다. 영어 텍스트 및 코드에서의 성능은 GPT-4 Turbo와 동등하며, 비영어 텍스트에서는 성능이 크게 향상되었을 뿐만 아니라 API 속도도 더 빨라지고 비용이 50% 절감되었습니다. 기존 모델과 비교했을 때, GPT-4o는 특히 시각 및 오디오 이해 능력이 뛰어납니다.

GPT-4o 이전에는 음성 모드를 통해 ChatGPT와 대화할 수 있었지만, 평균 지연 시간은 2.8초(GPT-3.5) 및 5.4초(GPT-4)였습니다. 이를 구현하기 위해 음성 모드는 세 개의 독립 모델로 구성된 파이프라인이었습니다. 즉, 하나의 간단한 모델이 오디오를 텍스트로 변환하고, GPT-3.5 또는 GPT-4가 텍스트를 받아 텍스트를 출력하며, 세 번째 간단한 모델이 해당 텍스트를 다시 오디오로 변환합니다. 이 과정에서 주요 지능 출처인 GPT-4는 많은 정보를 잃게 됩니다. 즉, 음조, 여러 화자 또는 배경 소음을 직접 관찰할 수 없으며, 웃음, 노래 또는 감정 표현을 출력할 수도 없습니다.

GPT-4o를 통해 텍스트, 시각 및 오디오를 종단간(end-to-end)으로 학습한 새로운 모델을 만들었으며, 이는 모든 입력과 출력이 동일한 신경망에 의해 처리됨을 의미합니다. GPT-4o는 이러한 모든 모드를 결합한 최초의 모델이기 때문에, 우리는 여전히 이 모델의 기능과 한계를 천천히 탐색하고 있는 단계입니다.

GPT-4o 모델 평가

전통적인 벤치마크 테스트에 따르면, GPT-4o는 텍스트, 추론 및 코딩 지능 측면에서 GPT-4 Turbo 수준의 성능을 달성했으며, 다국어, 오디오 및 시각 기능에서 새로운 최고 수준을 설정했습니다.

GPT-4o 언어 토큰화

20개 언어가 다양한 어족에 걸쳐 압축을 위해 새로운 토크나이저를 대표할 언어로 선정되었습니다.

모델 안전성 및 한계

GPT-4o는 학습 데이터 필터링 및 사후 미세 조정을 통한 모델 행동 정제 등 기술을 통해 모드 간 설계에 안전성을 내장했습니다. 또한 음성 출력에 대한 보호 장치를 제공하는 새로운 안전 시스템도 구축했습니다.

우리는 당사의 표준에 따라 GPT-4oPreparedness Framework and in line with our voluntary commitments에 따라 준비 프레임워크를 평가하고 자발적 약속을 준수했습니다. 사이버 보안, CBRN, 설득력 및 모델 자율성에 대한 평가는 GPT-4o가 이러한 범주 중 어느 것에서도 중간 위험보다 높은 점수를 받지 않았음을 보여줍니다. 이 평가는 전체 모델 학습 과정에서 자동 및 수동 평가 세트를 실행하는 것을 포함합니다. 모델의 안전 완화 전 및 안전 완화 후 버전을 사용자 지정 미세 조정 및 프롬프트를 사용하여 테스트하여 모델 기능을 보다 잘 이끌어냈습니다.

GPT-4o는 또한 70개 이상의 외부 레드팀external experts 사회 심리학, 편향 및 형평성, 오해의 소지와 같은 영역의 외부 전문가와 광범위하게 협력하여 새로 추가된 모드로 인해 발생하거나 증폭된 위험을 파악했습니다. 우리는 이러한 경험을 활용하여 GPT-4o 상호작용의 안전성을 향상시키는 안전 개입 대책을 마련했습니다. 발견된 새로운 위험을 지속적으로 줄여나가겠습니다.

우리는 GPT-4o의 오디오 모드가 다양한 새로운 위험을 수반한다는 것을 인식하고 있습니다. 오늘 우리는 텍스트 및 이미지 입력과 텍스트 출력을 공개합니다. 앞으로 몇 주 및 몇 달에 걸쳐 우리는 기술 인프라, 사용 가능성을 위한 사후 학습, 그리고 다른 모드 공개에 필요한 안전성에 주력할 것입니다. 예를 들어, 공개 시점에 오디오 출력은 사전 설정된 음성으로 제한되며 당사의 기존 안전 정책을 준수할 것입니다. GPT-4o의 모든 모드에 대한 자세한 내용은 곧 발표될 시스템 카드에서 공유하겠습니다.

GPT-4 Turbo가 여전히 GPT-4o보다 우수한 작업을 식별할 수 있도록 피드백을 받기를 희망하며, 이를 통해 모델을 지속적으로 개선할 수 있기를 기대합니다.

모델 가용성

GPT-4o는 심층 학습의 한계를 넘어 우리의 최신 노력으로, 이번에는 실용성 향상을 목표로 합니다. 지난 2년간 우리는 스택의 모든 레이어에서 효율성을 높이는 데 상당한 노력을 기울였습니다. 이 연구의 첫 번째 결과로, GPT-4 수준 모델을 더 광범위하게 제공할 수 있게 되었습니다. GPT-4o의 기능은 반복적으로 출시될 예정입니다(오늘부터 레드팀 액세스 확대 시작).

GPT-4o의 텍스트 및 이미지 기능이 오늘부터 ChatGPT에서 출시되기 시작합니다. 무료 요금제에서 GPT-4o를 제공하며, Plus 사용자에게는 최대 5배 더 많은 메시지 한도를 제공합니다. 향후 몇 주 내에 ChatGPT Plus에 새로운 음성 모드 GPT-4o의 알파 버전을 출시할 예정입니다.

개발자는 이제 API에서 텍스트 및 시각 모델로서 GPT-4o에 액세스할 수도 있습니다. GPT-4 Turbo와 비교했을 때, GPT-4o는 속도가 2배 빨라지고 가격이 절반으로 줄어들었으며, 속도 제한이 5배 증가했습니다. 향후 몇 주 내에 API에서 소수의 신뢰할 수 있는 파트너에게 GPT-4o의 새로운 오디오 및 비디오 기능에 대한 지원을 출시할 계획입니다.

GPT-4o에 대한 자세한 내용: https://openai.com/index/hello-gpt-4o/