새로운 연구에서는 ChatGPT가 잘못된 프로그래밍 답변을 52% 제공한다고 주장합니다
번역기만 돌린거라 오역이 있을 수 있으며 자세한 내용은 원문을 참고하세요.
새로운 연구에서는 ChatGPT가 잘못된 프로그래밍 답변을 52% 제공한다고 주장합니다
Copilot, Gemini, ChatGPT와 같은 생성적 AI 챗봇을 사용할 때의 가장 큰 판매 포인트 중 하나는 코딩 및 프로그래밍에 대한 질문에 인간이 동일한 프롬프트에 응답할 때보다 더 빠르게 답변하여 시간을 절약할 수 있다는 것입니다. 그러나 최근 보고서에 따르면 ChatGPT가 프로그래밍 질문에 대해 잘못된 답변을 많이 제공하고 있다고 합니다.
5월 초 Computer-Human Interaction Conference ( Gizmodo를 통해 )에서 발표된 보고서에서 Purdue University의 연구팀은 답변을 위해 ChatGPT로 전송된 517개의 Stack Overflow 질문을 확인했습니다.
Purdue University 팀은 ChatGT가 프로그래밍 질문에 대해 무려 52%의 잘못된 답변을 제공했다고 보고했습니다.
질문에 잘못된 답변을 제공하는 것은 아마도 AI 챗봇에서 다소 예상되는 일이지만, Perdue University 팀은 더 나아가 인간 프로그래머가 "포괄성과 잘 표현된 언어 스타일 때문에" 35%의 시간 동안 ChatGPT 답변을 선호한다고 밝혔습니다. 더 나쁜 것은 인간 프로그래머가 ChatGPT가 오류로 만든 답변을 39%의 경우 포착하지 못했다는 것입니다.
이는 ChatGPT 기능의 한 측면에 대한 하나의 연구일 뿐이지만 생성 AI 봇이 여전히 많은 실수를 저지르는 경향이 있으며 인간이 이러한 실수를 포착하지 못할 수도 있음을 보여줍니다.
지난 5월 초 미국 지역에서 Google 검색을 위해 설치된 Google의 AI 개요는 이미 일부 검색 문자열에 대해 이상하고 오류로 가득 찬 답변 요약을 생성하고 있습니다 . Google은 Gizmodo 와 같은 뉴스 매체에 다음과 같은 진술을 통해 이러한 명백한 오류를 설명하려고 노력했습니다 .
우리가 본 예는 일반적으로 매우 드문 쿼리이며 대부분의 사람들의 경험을 대표하지 않습니다. AI 개요의 대다수는 웹에서 더 자세히 알아볼 수 있는 링크와 함께 고품질 정보를 제공합니다.
