ChatGPTはなぜ確率的に次の単語を出力するだけで頭の良い出力ができるのか説明できなかったので勉強した。
こんにちは!エンジニアの中田裕貴です。「ChatGPTって、確率的に次の単語を出力しているだけなんだよ」と言われて、その続きをきちんと他人に説明できますか?私はある日の飲み会でこの話になったとき、膨大なコーパスを学習して、そこから学習した内容で尤もらしいものを確率的に出力していると思ってましたが、“確率的に選んでいるだけで、なぜあんなに文脈に合った賢い回答ができるのか” をうまく説明できませんでした。このモヤモヤを解消するために手に取ったのが『作ってわかる大規模言語モデルの仕組み』でした。この記事を読むと、こんな疑問に答えられるようになります。『作ってわかる大規模言語モデルの仕組み』で紹...