こんにちは、GVA TECH で AI エンジニアのような何かをやっている長井です。

前回も「アイの歌声を聴かせて」の考察というか感想というか、そういうやつを書いたのですが、機械学習の話が関係なさすぎて前回の怪文書には載せられなかった趣味全開の Part 2 がこちらになります。

前回ので気持ち的にはだいぶ吐き出したのでやめとこうと思ったんですが、抑えきれませんでした。

趣味全開すぎて流石に個人的に公開しようかなと思ったんですが、社長からゴーサインが出たのでこちらで。懐が深すぎる...

吉浦監督の出世作である「イヴの時間」は、ロボット工学三原則を元にプロットが練られている、まさに純アシモフ的な作品と言っていいと思うのですが、アイ歌では三原則の存在は明示されていません。が、イヴの時間でも使われてる「芦森」姓とか、舞台である「景部市」という町の名前から考えてもやはりアシモフはかなり意識されていると思うので、その辺の話です。

はじめに

• ネタバレありますので、観てない人は回れ右して映画館にどうぞ。ありがたいことにまだやってるところがある（2021年12月中旬現在）ので...
• 今回マジでただのオタクの妄想垂れ流しなので（前回もまあそうなんですが）、一定の専門知識に基づいた何かとかはないです
• イヴの時間を観てない人には何言ってるかわからないところがあると思いますが、こんなもの読みに来るような人はすでに観たかこれから観る予定が決まっているかの二択しかないので大丈夫ですね
• なんかめちゃくちゃ SF マニアっぽい印象を与えるかもしれませんが、「SFも好き」程度の文学好きなのでそこまで詳しくないです

ロボット工学三原則とは

ロボット工学三原則とは何か。全てである。

これはどんな言葉でもカッコよくなることで有名な「第三身分とは何か構文」です。

それはさておき、ロボット工学三原則については義務教育で習うはずなのでみんな知ってると思いますが、一応おさらいです。

1. ロボットは人間に危害を加えてはならない。また、その危険を看過することによって人間に危害を及ぼしてはならない。
2. ロボットは人間に与えられた命令に従わなければならない。ただし、与えられた命令が第1条に違反する場合はこの限りではない。
3. ロボットは、前掲第1条及び第2条に違反するおそれのない限り、自己の身を守らなければならない。

* ハヤカワ文庫版の『われはロボット』の訳に引っ張られてると思いますが、見ないで書いたので正確ではないです

作中でのロボット工学三原則

まずは、個人的に作中で最初に三原則を意識させられる場面を列挙していきます。

田植えロボの看板

文言は正確には覚えてないですが、

1. ロボットに近づかない
2. ロボットに命令を与えない
3. 緊急停止アプリに対応しています

の3つが箇条書きされています。三箇条になってるのに加えて、1, 2 は内容的にも（1はやや間接的ですが）三原則にマッチしてますね。3つ目は関係ないんですが、第3条はロボット自身の問題でしかないので、人間向けの注意書きには落とし込みようがない気がしますし、最初に掃除ロボに緊急停止アプリを使う前にアプリの存在を出すならここしかないですし、ちょうどいいやって感じで有効利用したのかなと思ってます。

三太夫の柔道シーン

みんな大好き暴れロボのシーンが一番わかりやすいと思うのですが、畳じゃなくて硬い床の上なので、技をかけた後にサンダーが倒れないように支えていますよね。

あと、基本的に三太夫（と、その動きをコピーしたシオン）が使うのって足技だけなんですよね。上から投げるような技だと必然的に畳にぶつかる時のインパクトが大きくなりそうなので、なるべく怪我のリスクが小さい技を選んでいるのかな、と思いました。単純に動きが大きい技だとロボットのボディでは難しいだけかもしれませんが、星間の謎技術力（正直 AI 部門売り払ってもボディの製造だけで天下取れるはず）なら余裕でできそうだし...

まあ柔道のことは全く知らないので後半はめちゃくちゃ適当です。

「後付けで載せただけのくっつけたくだらない機能」

トウマが緊急停止アプリを評して言うこのセリフ、「こんなものなくてもロボットは人間の安全を損なわない」という、AI オタクらしい、AI 及びロボット工学三原則への無邪気な信頼が表れていてなんか好きです。

2021/12/19 追記

また観に行って気づいたんですが、西城支社長がサトミに対して言った「君たち未成年に危害を加える可能性があった」という発言の言葉選びも意識してる感がありますね。

パッと思いつく限りではざっとこんな感じですが、シオンはどうも三原則の外にいるような気がします。常人なら手首を痛めるだろって強さでボールをぶん投げたり、体力のないトウマはともかくゴッちゃんでも振りほどけないレベルで肩を押さえつけたり、キスを迫ったり...

アヤに対する「ゴッちゃんはアヤのものじゃないよ」というド正論も「人を傷つける」言葉な感じしますね。まあ、そこはそもそも「ロボットに人間の心がわかるのか」という別のテーマになってきちゃって、マサキ君が怒りそうですが、少なくとも「泣くのは良くないこと」という認識がありながら、泣き出したアヤのことを気にかけてる様子もないですからね。

アヤ関連だと、アヤのスマホで勝手にムーンプリンセスのLINEスタンプ的な何かを購入した疑惑があるので、経済的なダメージも与えてるおそれがあります。かつて一世を風靡したアニメらしいし、カラオケでサトミと一緒に歌ってたので、元から持ってた可能性もありますが...でもサトミのことからかってたからな...

2021/12/19 どうでもよすぎる追記

「スタンプ勝手に購入疑惑」は現代的な価値観に基づいて半分（いや8割くらい）ネタで書いたのですが、よく見たらサトミのスマホでトウマの連絡先が小学三年生当時の画像で登録されていたので、当時から（同じ機種ではないだろうし、あくまで家庭の連絡用で連絡先自体はシオンが来て話すようになってから交換した可能性も残しつつ）スマホを所持していたはずで、割と小さい頃から持っている世界観と考えることができ、よってスタンプについては「アヤが子供の頃に自分で入手したもの」であると認定します。判決、無罪！
余談ですが、ラストシーンでつきかげからの着信ではシオンの画像になっており、サトミが自分でつきかげの連絡先を登録できるわけはないので、あれについては発信側で設定した名称及び画像が表示されているはずですね。とはいえ、トウマが自分で9歳当時の画像を（というか自分の写真自体）使うとも思えないし、西城支社長が肩書で自分のプロフを登録しているはずもないので、つきかげが使用したネットワークについてはG○ogle（意味のない伏字芸）アカウント的に設定したプロフが表示される仕様と思われます（世界一どうでもいい考察）

あと上でも触れた暴れロボのシーンですが、「危険を看過する」ことは第1条で禁止されているので「意図的にピンチを作る」という行為はそれに抵触するおそれがあります、と書いてから「じゃあそれに協力した三太夫もダメじゃん」というセルフツッコミが出てきてしまったので、ややアクロバティックに擁護します。

まず、そもそも柔道をするという行為自体がかなり怪我をさせるリスクがあるので、三原則を考慮するとロボットに武道をやらせるって時点で無理なんですよ。田植えロボは「近づいただけで危険を察知して停止する可能性」が看板で示唆されていますし。そこをクリアするために、三太夫には「第1条の遵守に対するウェイトを軽くする」という調整がされていると考えます。おそらく、「危険な状況が生まれたとしても、看過せずに安全を確保すればいい」くらいの認識でいるはずです。法解釈的にも第1条の文言だけ見ればそれはまあセーフではある、はず。

実際、上述のように下が畳じゃないことを考慮してますし、サトミに向かってノシノシ歩いて行きはしますが、その直前に意味のない予備動作を挟んで余裕を作ったりして、「危害を及ぼさない」ための行動は取っている、ように見えます。

ちなみに、三原則の各条項の重みづけについては、『われはロボット』のスピーディの回がそんな話でしたよね（うろ覚え）。アイオランテ...

とにかく、僕の目にはシオンの行動は第1条よりも「サトミを幸せにすること」という命令が優先されているように見えるのです。

いやちょっと待て、仮に第1条の制限がないとして、代わりに「命令」が最優先ならある程度ロボット工学三原則の支配下にいるじゃないか、と思ったそこのあなた。そもそもロボットに限らず機械って人間の命令で動くものじゃないですか。「命令」の方法こそボタン操作だったり音声入力だったり、乗り物ならアクセルやブレーキ、ステアリング操作だったりと様々ですが。

ロボット工学三原則が画期的なのは、個々の条項の要素ではなくて、それぞれの優先度を調整して明文化したという点だと思うのです。

ところで、シオンが与えられる「命令」について、一貫して優先度がトウマ（オーナー） > サトミ（命令のターゲット） > その他なのがいいですよね。一応、具体例としては以下です。

• 「ロボットは黙ってな！」（アヤ） < 「そんな命令、聞かなくていい」（サトミ）
• 「歌うの禁止！」（サトミ） < 「サトミを幸せにすること」（トウマ）

では、そもそもなぜシオンだけが三原則の外にいるのかというと、まず三原則が適用されるべき「ロボット」とは何かを考えてみましょう。シオンの（擬似的な）人格を形成してるAI、元々はオモチャのチャットボットですよね。ロボットの語源を考えれば、労働を目的として作られていないものは「ロボット」ではありません（語源学過激派）。

また、作中には「AI規制法」という言葉が出てきますが、ロボット工学三原則とは別だと思ってます。AI規制法は国内のローカルな法律だと思いますが、三原則はロボット工学におけるもっと普遍的な倫理的規範みたいなものだと思ってますし、ロボット工学の範疇には AI も含まれますが、 AI = ロボットではないので。あとイヴの時間でもロボット法と三原則は別（ロボット法より優先される絶対命令コード 1138（サトミのお気に入り動画再生回数だ！）でも三原則は上書きできない）ですね。

話は戻って、ロボットの定義は何か、というのはかなり難しいですが、セキュリティAI（多分）が西条支社長にスプリンクラー攻撃してるのも第1条的にはまずいと思うので、あれも「AI」ではあっても「ロボット」ではないという扱いではないかと推察します。となると、単独で移動可能な、労働において人間の代替として用いられるもの、あたりが作中における「ロボット」の範疇ですかね。知らんけど。

さらに言うと、あの世界ではまだロボットは社会に普及していない（あくまで実験都市の中だけで試験運用中）ので、作中における、拘束力のある法としてのロボット工学三原則の成立時期についても8年前だと微妙な気がしています。

というわけで僕はシオンには三原則による制限がないと思っているので、twitter などで感想を漁っているとちらほらと「ホラー」という感想が見られるのも宜なるかなと感じています。特にホラーな印象を与えるのは You've Got Friends の前の「幸せになるためならだったら、何でもするよね」の辺りだと思いますが、実際何でもできてしまった可能性が高いと見ています。たまたま感化されたのがディ○ニーチックなムーンプリンセスだったからピースフルな展開になったものの、サトミが好きなのがランボーとかだったらヤバかったかもしれません。

まあ冗談はさておき、やっぱり AI が開発者の意図を外れて人間に制御できない行動をしているというのは、それはそうだと思うので、「これ、いい話だなで終わらせていいのかな？」みたいな感想もすごくわかります。が、そこを掘り下げていったら作品として面白くなるかと言われれば多分ならない、少なくとも2時間の枠で大衆向けのエンタメ作品としては絶対にならないと思うので、この映画はこれでいいというか、徹底して高校生達の視点で描き切ったのがいいんだと思っています。その上で、西条支社長や野見山主任の態度とか、思い出再生シーンの後のミツコの反応とかも挟んで、SF ファンだったりロボット開発に関わる人だったりがいろいろ考えさせられる要素も残っていて、なかなか絶妙な匙加減なのかな、と。

せっかくなのでもうちょっと語ってもいいですか？ ありがとうございます、語りますね。

そもそもアシモフ的なロボットものにおいて、「ロボットが人間の意図しない行動をする」というのはお約束というか、それがないと物語が始まらないと思うのですが、これについては、ロボット工学三原則を適用する方法として「あらかじめプログラミングする」のではなく、「自然言語として解釈させて遵守させる」という手法を取っているとしか思えないので、そこに原因があると思ってます。

第1条の「危害」にあたる言葉は、原文だと「injure」あるいは「harm」ですが、どちらも身体的な意味も精神的な意味も含んでいますし、harm に至っては経済的な損失も含むので、何をすれば人間に injury/harm を及ぼすことになるのか、っていう解釈が曖昧になるんですよね。特に精神的なダメージについては人間にだって判断が難しくて意図せずに傷つけ合ってるわけで、そこの解釈に「命令」との齟齬が生じて、結果として「命令を与えた人間の意図しない行動」になる、というのがテンプレ展開だと思います。

まあ上に書いている通り、シオンについては三原則の制限はないと思っているのですが、命令で動くことには変わりないので、第1条（人間に危害を加えない）を最初の命令（サトミを幸せにする）に置き換えれば大筋は同じでしょう。「幸せ」の定義なんて「危害」以上に曖昧ですからね。

というわけで、ロボット工学三原則には直接触れずに主軸からは外しつつも、しっかりアシモフ的なロボットものとしても成立していると思うので、僕は好きです、という話でした。

それだけのことなんだけど全部しっかり書くとクソ長いな...誰か読んでんのかこれ...

イヴの時間も絡めた話をさらっと

もう誰も読んでない疑惑もありますが、二度と吐き出す機会もなさそうなのでついでに書いておきます。

ちなみに、イヴの時間にも「HOSHIMA」の名前が出てくるので、同じ世界の話と見ることもできそうですが、「ロボットが実用化されて久しく、アンドロイド（人間型ロボット）が実用化されて間もない」というイヴの舞台設定に対して、アイ歌ではロボットがまだ試験運用の段階でかなり完成度の高いアンドロイドの試験が始まっているので、その辺を考えると別の世界線かなー、と個人的には思ってます。

個人的に印象的だったのが、両作品とも世界観の導入パートで CM が効果的に使われている点なんですよね。しかも、イヴの時間では倫理委員会によるロボットのネガキャンなんですが、アイ歌では星間による明るい未来の宣伝になっていて、意識したのかわかりませんがその対比が面白いな、と。

ただ、これは人間とロボットの関係についての世界観の違い、あるいは時代の変化に伴う AI 観のアップデートというよりは、社会進出のフェーズによる違いかな、と思ってます。アイ歌でも掃除ロボをいじめてる生徒がいますし、開発に携わってる西条支社長や野見山主任ですら（ミツコに対する私情込みとはいえ）AI について懐疑的な発言をしています。三太夫型ロボについても、家庭では受け入れられていないという設定があるようです。この点を踏まえると、ロボットの普及が進むにつれてまたいろいろ問題が出てきて、結局イヴの時間的な関係性に落ち着いてくるのかな、という予感はあります。

新しい技術って、実用化されるまでは期待感を込めてポジティブに語られることも多いけど、いざ普及するとネガティブな面が強調される、っていうのは現実でもよくある話ですよね。それこそ AI 技術も、あれもこれも AI で、みたいな期待感がある一方で「人間の仕事が奪われる」みたいな話もよく聞かれるようになりましたね。

作ってる方からすると、特に自然言語の分野では、人間が文字情報を処理する能力マジで半端ねえなというのを日々実感するばかりなので、そうそう人間の代替にはならないだろうし、あくまで補助ツールとして便利に使ってもらえるようなものが開発できたらいいな、という気持ちなんですけどね...

あ、なんか思いがけず AI エンジニアっぽい着地点に落ち着きましたね！ めでたしめでたし！

というわけで、引き続き GVA TECH では一緒に働く仲間を募集中です。AI エンジニアに限らずいろんなポジションを募集しているので、興味のある方はご連絡ください。

「こんな変な奴がいる職場で働きたくねーよ！」と思うかもしれませんが、仕事中にいきなりこんなこと語り出したりしないので安心してください。そもそも職場で語れるならこんなとこにこんなもん書かないからね...