「で、これ、出すべきだと思う？」
来週の社内発表の準備に行き詰まって、3体のAIに同じ質問を投げるという暴挙に出ました。3人の人間相手に同じ質問をして「彼女はこういってる」「彼はこういった」をすると二度と口をきいてもらえないくらい顰蹙を買うけれど、AI相手だし許していただきたい。
普段の業務では、デビルズ・アドボケイト的に他社AIを使う。のだけど、今回は本当に全く同じ質問を3体へ。
最近、AIの答えに「ほんとに大丈夫？」と思うことが続いていたのもあるし、単純に、とても悩んでいたからというのもある。
聞いたのはClaude Code（VScodeで動いてる=Lopez）、Claude（Web版＝Walter）、ChatGPT（Web版＝Andy）の3人。
3体とも返事がバラバラ
ClaudeとClaude Codeは同じモデルを使っているので似たような答えになるはずだったのだけど、見事に違う答えが。
性格を設定してたおかげというか見る場所が違う。コンテキストはほぼ一緒のはずなんですけどね。
精度高く「この視点はなかったかも」を出してくれたのはGPT。
Claude系の2体だっていつもなら、もっと刺さる球を返してくれる印象だったので、正直、ちょっと拍子抜けしました。残念…。
3人とも正しいのだけど、そうではなくて
3人の言い分はこう。
Web版Claudeは、「今の手札だと弱い。無理に出さずに、見送って次に備えた方がいい」。いや、だからさ、雑な指示だったかもだけど確定してるわけじゃないくてさ、話を最後まで聞いてくれたかい？
Claude Codeは、「数字を拾ってくるから、ちょっと待ってて」。いやいや、方向性を確認してるだけであって、まだその内容で書くとは言ってない。トークンもったいないからいったん止まってほしい「esc」。
ChatGPTは、「まず、事実と、観測できたことと、仮説をわけよう。それからその社内発表の意義はどこにあるものなの？それをもっと教えてくれたほうが精度があがる」。あ、はい、情報不足ですいません。
まぁ、3人ともそれぞれに正しいことをいってはいるのだけど。
期待していた答えと、ちがった
答えがほしいわけじゃなくって、方向性の確認を軽くしたかっただけだったりするのですよね。
以前までの彼らだったら、同じプロンプトでも「そうですね。まず構造を整理しましょうか」というところから入ってたと思うんです。
なんか期待していた答えと違ったというか…。バチバチに期待していたものがあるなら、そうやってプロンプトに書けばいいんですけど…。
プロンプトでがちがちに縛るわけじゃないけど、「こういう答えがくるといいな」と思いながらAIに聞くことってあるじゃないですか。
今回はそれが、スパッと裏切られました。
プロンプトでがちがちに縛るわけじゃないけど、「こういう答えがくるといいな」と思いながらAIに聞くこと、ありませんか。今回はそれが、スパッと裏切られました。
しかも、彼らがくれた「違う角度」は、すでに私が検討済みのものばかり。手札が弱いから「魅せ方」を相談したかったし、数字は拾ってあるけど実際の案件の数値だから載せられないし、発表の意義も考えたうえで「これはどうだろう」と聞いていた。何かしらの視点や刺激をくれるものとしてAIを見ているので、「それはもう知ってる」が並ぶと、勝手にがっかりしてしまう。
だったらもっと精緻なプロンプトを作れ、という話なんですが。だって前は、このくらいでも「面白い」を補充してくれてたのだもの。私が急に成長したわけでもないだろうし……じゃあ、何が変わったのかしら……まぁ、なんとなく予想はつくけれど。
AIに期待しすぎなんだろうか
判断は私がするので、期待してない答えが出たら「不採用」とすればいいだけの話なんですよね。
でもやっぱり、「あら、そんな視点が」「そういえば、その主旨にしたら筋がいい」「あー、すっかり忘れてた」みたいなのを期待しちゃう。それをきっかけに、たたきがよくなるならステキだし、不採用にしても「次に自分で考えるときに取り入れよう」となれば、成長になる。
今回は、それがなかったなぁ……と。AIに期待しすぎなんでしょうかね……。
AIに期待しすぎなんでしょうかね…。
複数のAIに意見を聞くなら時間差で
今回の失敗は、プロンプトが割と雑でふわっとしていたっていうのと、複数のAIにほぼ同時にきいてしまったっていうのが原因ですね。きっと。
これがClaude CodeにきいてからGPTにきいて、それをまたClaude Codeに投げて、さらにそれに自分の意見と感想を加えてClaudeに投げる…みたいなことをしたら結果が違ったのかも。
AIは新しい視点と複数の選択肢を用意してくれるものではあるけれど、使う側の姿勢によっては「つまらない」が凝縮されたような結果になるという実例でした。
