Microsoft, 스마트폰에서 실행할 수 있는 가장 작은 AI 모델 Phi-3 공개

해외 기사를 번역기로 번역 하였습니다 오역이 있을수 있으니 원문을 참고 하세요

Microsoft는 Phi-3이라는 경량 인공 지능(AI) 모델의 다음 버전을 출시했습니다 . 업데이트된 제품군에는 38억 매개변수 Phi-3 Mini, 70억 매개변수 Phi-3 Small 및 140억 매개변수 Phi-3 Medium이 포함됩니다.

이번 릴리스는 2023년 12월에 출시된 Phi-2 모델이 Meta의 Llama-3 제품군과 같은 모델에 의해 성능 면에서 능가된 이후에 출시되었습니다. 경쟁이 심화됨에 따라 Microsoft Research는 커리큘럼 학습 접근 방식에 새로운 기술을 적용했습니다.

새로운 38억 개의 매개변수 모델은 이전 Phi-2 모델을 개선하는 동시에 더 큰 언어 모델보다 훨씬 적은 리소스를 사용합니다. Microsoft 자체 벤치마크에 따르면 Phi-3 Mini는 단 38억 개의 매개변수로 Meta의 80억 매개변수 Llama와 OpenAI의 35억 매개변수 GPT-3를 모두 능가합니다.

우리는 3조 3천억 개의 토큰으로 훈련된 38억 개의 매개변수 언어 모델인 phi-3-mini를 소개합니다. 이 모델의 전반적인 성능은 학술 벤치마크와 내부 테스트로 측정했을 때 Mixtral 8x7B 및 GPT-3.5와 같은 모델과 경쟁합니다(예: phi -3-mini는 휴대폰에 배포할 수 있을 만큼 작음에도 불구하고 MMLU에서 69%, MT-bench에서 8.38을 달성합니다.

또한 phi-3-small 및 phi-3-medium이라고 하는 4.8T 토큰에 대해 훈련된 7B 및 14B 모델을 사용하여 일부 초기 매개변수 스케일링 결과를 제공합니다. 둘 다 phi-3-mini보다 훨씬 더 성능이 뛰어납니다(예: 각각 75% MMLU에서는 78%, MT-벤치에서는 8.7과 8.9).

Phi-3 제품군은 크기가 작기 때문에 대형 모델에 비해 저전력 장치에 최적화되어 있습니다. Microsoft 부사장 Eric Boyd는 ( The Verge를 통해 ) 새 모델이 스마트폰에서 직접 고급 자연어 처리가 가능하다고 말했습니다. 따라서 Phi-3 Mini는 어디에서나 AI 지원이 필요한 새로운 애플리케이션에 매우 적합합니다.