個人開発：出典つきで回答するRAGチャット（入居者サポートポータル）
ビルのご利用ガイド（PPTX/PDF/DOCX）を根拠に、AIが出典つきで回答するWebアプリを個人開発しました。 【技術】Next.js(App Router) / TypeScript / Supabase（PostgreSQL + pgvector）/ OpenAI API / Zod / Vitest / Vercel 【やったこと】RAGを自前実装しました。3形式から本文を抽出して正規化し、800文字・重なり100で分割し、1536次元で埋め込み、pgvectorでコサイン類似検索しています。 【品質】テストは363件（38ファイル）、受入テスト13本はすべてPassです。精度は自己採点せず、30問×2セットを別のAIに採点依頼しました。スコアは21/30から始まり、4回の改修で合格基準（27）を超える30/30・27/30に到達しました。現在はVercelで本番稼働中です。 【主な発見】 ・構造化出力のフィールド順序がLLMの思考順序を規定していました。判定フィールドを回答文より前に置いていたため、正しい回答を生成しながら「見つからなかった」と判定する自己矛盾が起きていました。順序を入れ替えて正解数が18問から27問に上がりました。 ・類似度の閾値は判別器になりませんでした。対照群が5件しかない状態で一般化しており、24件に増やすと関連群と分布がほぼ完全に重なりました。 ・temperature未指定が測定を汚していました。 ・チャンキングの見直しは、DBを一切変更せず副作用ゼロの実測だけで効果なしと判断し、撤退しました。