AIの成果物は「最初の3ページ」で判断してはいけない
Claudeで英会話教材を作るなど、AIでいろいろなものを作っている人をよく見かけます。ただ、それが本当に良いものなのかは、正直わかりません。作った本人が、その教材を最初から最後まで通してやっていないことが多いからです(私がそう思い込んでいるだけかもしれませんが)。
出来上がったものの冒頭だけを見て「これ、いけてるのでは?」と判断してしまう。AIを使うとよく起きることです。
AIは「さわり」が上手で、「細部」で嘘をつく
AIの出力には特徴的なクセがある、と僕は思っています。導入や全体の構成は整っていて、それらしく見えます。ところが、核心にあたる細部、たとえば具体的な例文、数値、手順、例外の扱いになると、もっともらしい間違いが混ざりやすくなります。
厄介なのは、作るのは一瞬なのに、確かめるのには時間がかかることです。この差があるせいで、人間の確認はどうしても「最初の数ページ」で止まりがちです(もちろん、ちゃんと確認できる方もいます)。そして実際に使う段階になって初めて間違いに気づき、作り直しになるわけです。
ちゃんと確認している人でも、AIと何回かラリーを続けて、ようやくまともなものに仕上がる、といったところではないでしょうか。
「そんなことになるのはお前だけだよ」という方は、AIをきちんと使いこなせている方なので、ここから先は読み飛ばしてください。
これは部下マネジメントと同じ構造
実は、部下に仕事を任せるときにも同じことが起きます。
優秀な部下にプロジェクトを任せていて、進んでいくうちに思わぬところから電話が入り、「このプロジェクト、まずいかもしれない」と気づく。ここ数年、僕は何度もこれを経験しました。報告が上がってくる部分は順調に見えても、問題は報告に上がってこないところで育っています。
そう考えると、AIを「部下」だと割り切ってしまえば、立て直し方も同じになるはずです。
人間のプロジェクトでは、僕は大抵「誰かを投入しつつ自分も入り、自分がやった火消しを投入した人と元の担当者にきちんと見せて、彼らに対応してもらう」というハイブリッド型でやっています。AIにも同じやり方が通用すると考えています。
しかもAIの場合は、人間のチームより楽な点があります。自分好みのエージェントを作るのは、優秀な人を採用するよりずっと簡単です。
自分がやりきってしまわないこと
ひとつ注意点があります。自分で軌道修正をしていると、いつの間にか全部自分でやりきってしまいそうになります。人間のプロジェクトで言えば、マネージャーが現場の作業者に戻ってしまう状態です。これでは仕組みとして残りません。
介入はあくまで一時的なものと割り切り、直したことは指示やルールに戻して、エージェント自身に直させます。そうして初めて、次のプロジェクトでも同じ失敗を防げるようになります。
ただ、賢明な方はもうお気づきだと思いますが、ここまでの話だけでは片手落ちです。
次回予告:監査役を「機能させる」には
監査役のエージェントを入れても、何を確認させるのかが決まっていなければ、「よさそうに見える」をもう一度確認するだけになります。さらに、監査役もAIである以上、監査役が間違えたらどうするのか、そもそも間違えにくくするにはどうするのかという視点も欠かせません。
このあたりは、次回くわしく書きたいと思います。お楽しみに。
SPIN D&Dは積極採用中です
SPIN D&Dは、こうした考え方で「人」と「エージェント」の両方を増やしています。
AIを部下として使いこなし、その成果に責任を持てる人。AIの「それっぽさ」に流されず、細部まで確かめにいける人。そんな仲間を積極的に募集しています。
AI駆動開発やAI駆動コンサルを実際の現場で体験してみたい方は、ぜひこちらからご応募ください。