仮説が外れたので、記事の重心を移した

書こうとしていた記事の前提が、書く前の計測で崩れたら、どうしますか？

私たちMenuMenuは、サイト・ブランドがAI検索に選ばれる側に立つための調査をしています。記事を書く前に、できるだけ自分たちで測る。今回はその計測で、仮説が外れました。

きっかけは、10月21日にGoogleが出した robots.txt の動画です。日本語のような英語以外の文字をパスに書くなら、エンコードした表記で書くように、という内容でした。

最初に立てた筋は「日本のrobots.txtはShift_JISの名残で危ない」。ところが日本語サイト50件のrobots.txtを取りに行くと、取得できた28件にShift_JISのファイルは0件。規則の行に生の日本語を書いていたのも1件だけでした。

だから、記事の重心を移しました。測った範囲では、現場の多くは既に安全側にいる。危ないのは、これから日本語のスラッグを作るサイトで、誰かが生の日本語で規則を書き足すとき。そして、OpenAIやAnthropicなどAIクローラーの文書には、この文字コードの扱いが書かれていない、という点です。

「書かれていない」を「対応していない」と言い換えないことも、チームで決めているルールです。言えるのは「保証がない」まで。

一緒に働きたいのは、仮説が外れたときに「面白い」と言える人です。AI検索の仕様を、原文と実測で確かめる仲間を募集中です。

https://menumenu.life/blog/robots-txt-japanese-path-percent-encoding-ai-crawlers

#AI検索最適化 #LLMO #robotstxt #仲間募集 #MenuMenu