스티븐 울프람의 챗GPT 강의

 

GPT의 문제점인 환각현상과 계산능력의 한계를 울프람의 언어-수학기호 연계모델로 넘어선다.

 

*GPT의 기본 알고리즘에 대한 설명

GPT는 수억개의 문장을 학습하여 늘 이 단어 다음에 올 확률이 높은 단어의 목록을 작성하여 최상단 그리고 가끔은 조금 낮은 순위의 단어를 선택한다. 랜덤한 선택은 답변의 다양성을 늘리고 늘 새로운 대답을 가능하게 한다. 앞선 단어에 대한 경로의존성 하이퍼파라미터 선택에 따라서 문장의 뒤로 갈수록 선택가능한 단어 목록은 축소된다(앞의 단어들에 의존적이 되므로). 매우 단순한 알고리즘이며, 이 단순한 알고리즘은 우리 두뇌의 언어모형일 가능성이 높다.