はじめに
安達
今回のブログは、安達・江幡ペアです。よろしくお願いします。
えばた
今回はClaude Codeの下位モデルであるHaikuの使い所をイメージできていない人が多いのでは?という仮説で簡単な検証をしてみることにしました。
Claudeの3モデル(Opus / Sonnet / Haiku)に同じコーディングタスクを解かせて性能を比較してみました。
きっかけは「Haikuって、いつ使うんだろう?」という素朴な疑問です。普段の開発だとOpusかSonnetを選びがちで、Haikuを選ぶ場面が思いつきません。「速くて安い」と知っていても、実際どこまで任せられるか体感で語れる人は少ないのではないでしょうか。
改めて考えてみると、モデル選びの判断はだいたい次のようなイメージに基づいています。
- 上位モデル(Opus):高品質だが、遅くて高い
- 中位モデル(Sonnet):バランス型
- 下位モデル(Haiku):速くて安いが、品質が不安
このイメージが本当に正しいのかを、実測で確かめるのが今回の趣旨です。順番に見ていきます。
検証の設計
使用したモデル
- Opus 4.8(上位モデル)
- Sonnet 5(中位モデル)
- Haiku 4.5(下位モデル)
検証タスクは「指示の厳密さ」を変えた4段階
タスクの難易度というより、指示の粒度を変えているのがポイントです。実務でAIに投げる依頼も「ざっくり頼む」ときと「仕様をガチガチに固めて頼む」ときがありますよね。それを再現しています。
※全12パターン合格(品質面の差はつかなかった)
品質は3モデルとも全タスク合格。最難関のTask4でも、バリデーション・XSS対策・レスポンシブまですべて一発で満たしました。
速度面ではOpusが4タスク中3タスクで最速。「上位モデル=遅い」という先入観を覆す結果です。一方、Sonnetは曖昧要件のTask2で343秒と突出して遅い。ドラッグ&ドロップや期限超過ハイライトまで自主的に実装しており、機能を盛りすぎたのが原因です。
Task2の成果物比較(1回目)
同じ「よしなに作って」から、ここまで違うものが出てきます。
Opus:ダークテーマに統計カードと進捗率つき。101秒
Sonnet:世界観まで作り込んだUI。ドラッグ並び替え・ダブルクリック編集も実装。ただし343秒
Haiku:過不足のないカード型UI。85秒で最速納品
2回目の結果 — 速度が逆転した
プロンプトと評価軸を修正した2回目の結果です。
※全12パターン合格(1回目と同様、品質差なし)
品質は再び全モデル全タスクPASS。1回目と完全に一致します。
しかし速度の順位が完全に逆転しています。1回目はOpusが3タスクで最速だったのに、2回目ではHaikuが3タスクで最速です。
トークン消費量(2回目で初計測)
意外だったのは、Sonnetのトークン消費量が最も多い(83,440)という点です。そしてOpusとHaikuの消費量はほぼ同じ(約61,000〜62,000)。上位モデルほどトークンを多く消費するというイメージとは異なる結果でした。
Task2の成果物比較(2回目)
曖昧な要件に対する「よしなに」力の差は、2回目でも再現しました。
…
記事の続きは下のURLをクリック!
https://rightcode.co.jp/blogs/56573
もっと上を目指したあなたへ
現在、ライトコードでは「WEBエンジニア」「データエンジニア」「ゲーム・XRエンジニア」「UI/UXデザイナー」「PM/PMO」などのポジションで積極採用中です!
ライトコードは、技術力に定評のある受託開発をメインにしているIT企業。
有名WEBサービスやアプリの受託開発などの企画、開発案件が目白押しの状況です!
- もっと大きなことに挑戦したい!
- エンジニアとしてもっと成長したい!
- モダンな技術に触れたい!
現状に満足していない方は、まずは一度、【Wantedly内の弊社ページ】をのぞいてみてください。