OpenAI, DevDay 2024에서 4가지 새로운 AI 개발자 도구 발표

DevDay 2024에서 OpenAI는 여러 가지 새로운 개발자 도구를 발표하여 고급 AI 애플리케이션을 더 쉽게 만들 수 있게 했습니다. 예상대로 이 회사는 이벤트 중에 새로운 모델을 발표하지 않았습니다 .

OpenAI는 개발자를 위한 네 가지 주요 발표를 했습니다. 첫째, 개발자가 앱에서 저지연, 멀티모달 경험을 구축할 수 있는 Realtime API 의 공개 베타를 발표했습니다 . 이를 통해 개발자는 6개의 사전 설정 음성을 사용하여 자연스러운 음성 대 음성 대화로 ChatGPT의 고급 음성 모드와 유사한 애플리케이션을 구축할 수 있습니다. Realtime API의 저지연 이점이 필요하지 않은 개발자를 위해 OpenAI는 Chat Completions API에서 오디오 입력 및 출력도 발표했습니다.

Realtime API 텍스트 입력 토큰은 100만 개당 5달러, 100만 개당 20달러의 비용이 듭니다. 오디오 입력은 100만 개당 100달러, 출력은 100만 개당 200달러입니다. 따라서 오디오 입력은 분당 약 0.06달러, 오디오 출력은 분당 약 0.24달러가 듭니다.

셋째, OpenAI는 마침내 개발자가 비용과 지연 시간을 줄일 수 있는 새로운 Prompt Caching 지원 으로 Google과 Anthropic을 따라잡고 있습니다 . Prompt Caching을 사용하면 개발자는 50% 할인과 더 빠른 처리 시간을 얻을 수 있습니다. 또한 개발자는 Prompt Caching을 활성화하기 위해 아무것도 할 필요가 없습니다. GPT-4o, GPT-4o mini, o1-preview, o1-mini의 최신 버전과 이러한 모델의 미세 조정 버전에 자동으로 적용되기 때문입니다.

넷째, OpenAI는 개발자가 더 큰 프런티어 모델의 출력을 사용하여 더 작은 모델을 미세 조정할 수 있는 새로운 Model Distillation 제품군을 발표했습니다. 이를 통해 개발자는 훨씬 낮은 비용으로 특정 작업에서 고급 모델의 성능을 맞출 수 있습니다. 이전에는 모델 증류에 거대한 프로세스와 여러 개의 분리된 도구가 필요했습니다. 새로운 Model Distillation 제품군을 통해 OpenAI는 이제 플랫폼 내에서 전체 증류 파이프라인을 직접 제공합니다.

Model Distillation은 이제 모든 개발자에게 제공됩니다. OpenAI는 10월 31일까지 GPT-4o mini에서 하루에 200만 개의 무료 교육 토큰과 GPT-4o에서 하루에 100만 개의 무료 교육 토큰을 제공합니다. 그 후, 증류된 모델을 교육하고 실행하는 비용은 OpenAI의 현재 표준 미세 조정 가격과 동일합니다.