野口 拓海 1日前 フォロー Speculative Decodingの面白さ Speculative Decoding (SD)は, LLMの推論を高速化するための手法です.まずはSDを簡単に説明します. SDでは高速化したいLLM (verifierと呼ばれます)とは別... もっと見る
