AIは使わないほうがいい。使わないにこしたことはない。
…というのは、あえて強いフレーズを使うことで人目をひこうという、姑息な手法だ。
だけどまあ、大筋の主張としてはあっている。
再現性のなさ
たとえば「朝７時にテックとビジネスに関連するニュースを要約して」とAIに指示をだせば、
”アプリを作ることなく” AIがその希望を実装してくれる。
私はこの方法をポルトガル語学習と認知科学の学習に使っているが、まあそれはよくて。
AIは巧妙に嘘をつく（ハルシネーション）。
AIの要約の中に、おそらく一見しただけでは偽物とは分からない情報が紛れ込む。
一定の確率で、必ず。
それはAIの仕様なので仕方ない…と個人の場合は諦めることもできるだろう。
では、業務用のシステムの場合は？
QAを検索し、解答する「脳みそ」にAIを使った。
本来はQAをデータベース検索し、その解答を要約してほしい。
…なのに、ハルシネーションが紛れ込む。
そのため、ハルシネーションをチェックするためのAIを作り、そのAIをチェックするためのチェックリストを作る。
するとどうなるか？ AIは確率で動くため全文チェックなどせず「それらしいもの」をチェックする。
これは恐ろしいシナリオだが、一番怖いのは「AIが間違える」部分ではない。
トレースできないことだ。
なぜ間違えた？
参照先が違う？
それともプロンプト？
ワークフロー？
モデルのせい？
分からない。
分からないということはつまり、直しようがないということだ。
モデルは年に数回新しいバージョンが公開される。性能はよくなる。
その分、「AIを脳みそにしたアプリ」の陳腐化も早い。
ある程度はAIのモデルを指定できるが、会社がそのモデルを公開しなくなったら、再現性はもっと悪くなる。
もちろん、よくなる可能性もある。
だけどその「可能性」のハーネスを握っているのは開発者でもユーザーでもなく、AIを作っているOpen AI やAnthropicだ。
10年後もそのシステムは動くのだろうか？
・手っ取り早い解決策
「AIを使う」一番確実性の高い方法は、LLMをローカルPCに落とし、そこで学習させることだ。
特化させてしまう。
モデルを自分の手元で固定できるから、ある日勝手に変わったり、消えたりはしない。
ハルシネーションがなくなるわけではないけれど。
ただ、この方法は確実性を手に入れる限りに、今のような簡便性を完全に手放すことになる。
・最後に解決策を少しだけ
私の考える、現状の妥協策はこうだ。
AIを脳みそにしない。
AIを「ツールを作る」道具としてだけ使わせる。
システム開発にだけ使う、ということである。
システムはロジックが追えるので、間違いを（たぶん）見つけられる。
その修正をすばやく行うことができる。
そしてシステムは機械的な処理だから、再現性が高く、出力はぶれない。
そこが落とし所なのだろうな、と思う。
AIは使わないほうがいい。
