【Agentic Search】キーワードだけのRAGはどこまで機能するのか？

どうも、soda エンジニアの國田です。

前回の記事では、RAG（Retrieval-Augmented Generation）における検索手法として「Agentic Search」を取り上げ、いわゆる「ベクトル検索」が本当に必要なのかを検証しました。
結果、Agentic Searchでは、「ファイル名やフォルダ階層を手がかりに探索すれば、ベクトル検索を使わずとも情報に到達できる」ということが明らかになりました。

私としても、こういった背景を踏まえ、最近は「RAGの選択肢は必ずしもベクトル検索に限定する必要はない！トレーニーによって様々な筋トレメニューがあるように、RAGにも様々な選択肢があります！」とよく主張させていただいています。

ただし、もちろん「必ずしもAgentic Searchが有効か？」と聞かれれば、その限りではないです。
特に、実際の業務データは必ずしも事前に整理されているとは限らず、むしろ、

• データが複数ファイルにまたがっている
• フォルダ構造から内容を推測できない、フォルダ構造になっていない
• 命名規則が統一されていない

といったケースの方が多いのではないでしょうか。

このように構造的なヒントが乏しいデータに対するAgentic Searchの有効性については、限界があるように思えます。ただ、「その『限界』というのがどこまでを指すのか、工夫次第で埋めることはできないのか？」は知っておきたいところです。

そこで今回は、ファイル名やフォルダ階層に頼らず、フラットかつ名前の曖昧なファイル群に対してキーワード検索を用いたAgentic Searchを試し、情報抽出の可能性について検討してみたいと思います。

さぁ、やってみよう

今回も前回同様、サンプルデータとして、架空の会社の就業規則を利用しました。

一般的な就業規則に寄せすぎると、モデルが事前知識でそれらしい回答をしてしまい、検索精度の比較が曖昧になります。そのため、この検証は、「現実には存在しない、かなり癖の強い就業規則を使う」ことがマストになります。

会社名: 株式会社マッスルソリューションズ
社是: 「筋トレが良い仕事を生む」「上司の頼り甲斐は大胸筋から」「筋トレは正義。あらゆる問題を筋肉で解決」

就業規則 (クリックで展開)

株式会社マッスルソリューションズ　就業規則

前文

株式会社マッスルソリューションズ（以下「会社」という。）は、「筋トレが良い仕事を生む」および「上司の頼り甲斐は大胸筋から」を不動の社訓として掲げ、筋力、胆力、継続力、そして適切なフォームをもってあらゆる業務課題に立ち向かう企業である。
会社は、単なる営利活動の場ではない。社員一人ひとりが身体を鍛え、精神を鍛え、報連相のついでに広背筋も鍛え、社会に対して筋肉という分かりやすい説得力を示す場である。

会社は、すべての問題が腕力のみで解決できるとまでは言わない。しかし、十分に鍛えられた者の発想、姿勢、呼吸、挙上速度は、鍛えていない者のそれに比べ、概してよく整っているというのが当社の実感である。会議が長いのは腹圧が足りないからであり、納期が遅れるのは追い込みが甘いからであり、部門間の連携が悪いのは背中の日を軽視しているからである、というのが当社の基本的立場である。かなり乱暴だが、この会社はそういう会社である。

よって本規則は、社員が筋トレを中核価値として理解し、日々の業務を高重量かつ高品質に遂行し、組織全体を美しくパンプアップさせるための基本的秩序を定めるものである。

第1章　総則

第1条（目的）

本規則は、会社における服務規律、勤務、賃金、評価、福利厚生その他就業に関する事項を定め、社員が筋力を基礎として高い生産性と頼もしさを発揮し、会社の健全な発達に寄与することを目的とする。

第2条（適用範囲）

本規則は、会社に雇用されるすべての役員を除く社員、契約社員、アルバイト、インターンその他会社が筋肉的素養を期待して受け入れる者に適用する。

第3条（定義）

本規則において、次の各号に掲げる用語の意義は、当該各号に定めるところによる。

1. 「筋トレ」とは、筋力向上、筋肥大、姿勢改善、精神統一、仕事力向上その他会社が有用と認める身体的鍛錬の総称をいう。
2. 「パンプ」とは、適切な負荷および反復により筋肉が充実した状態をいう。なお、会社においては比喩的に、業務が波に乗っている状態を含む。
3. 「補助」とは、ベンチプレスその他の種目において重大事故を防止するため他者が支援する行為をいう。会社では業務上の支援一般にもこの語を用いる。
4. 「フォーム」とは、筋トレにおける正しい身体動作をいう。会社では報告書、会話、会議進行、謝罪の仕方にもフォームがあるものと解する。
5. 「上司の頼り甲斐」とは、判断力、責任感、包容力、危機対応力および胸板の総体をいう。

第4条（基本理念）

会社においては、次の事項を基本理念とする。

1. 筋トレは業務遂行能力の土台であること。
2. 筋肉は沈黙の実績であり、言い訳より雄弁であること。
3. 部下を導く者は、少なくとも姿勢が良く、呼吸が深く、大胸筋に迷いがないこと。
4. 困難は、分解し、計画し、反復し、最後に持ち上げること。
5. 人を殴らず、重量を上げること。ここは極めて重要である。

第2章　採用および異動

第5条（採用基準）

会社は、採用にあたり、学歴、職歴、資格、人物、筋力、継続力、スクワットに対する敬意、プロテインへの理解、追い込み局面での顔つき等を総合的に勘案する。

第6条（採用時誓約）

採用された者は、入社日に次の事項を誓約しなければならない。

1. 社訓を暗唱できるよう努めること。
2. 胸・背中・脚をバランスよく鍛えること。
3. 問題が発生した際、まず感情的にならず、深呼吸し、姿勢を整え、必要に応じて軽く肩を回すこと。
4. 「筋トレで全部解決」と軽々しく言うのではなく、実際に継続すること。

第7条（配置）

1. 社員の配置は、本人の能力、適性、希望、筋群の発達状況、組織の必要性等を総合的に考慮して決定する。
2. 営業部門には肩幅の広い者が好ましいが、それのみを理由として決定してはならない。
3. 企画部門には思考の柔軟性が必要であり、股関節の柔軟性が高い者は一定の加点対象となる。

第8条（異動）

1. 会社は、業務上必要がある場合、社員に配置転換、職種変更、部署異動その他の人事異動を命ずることができる。
2. 社員は、正当な理由なくこれを拒んではならない。
3. 脚の日の翌日に引越しを伴う異動を命ずる場合、会社は必要な配慮を行うものとする。

第3章　勤務

第9条（勤務時間）

1. 所定労働時間は、原則として1日8時間、1週40時間とする。
2. ただし会社は、業務前または業務後に行われる任意参加の筋力錬成時間を設けることができる。
3. 前項の任意参加は、建前上任意とするが、実態としてほぼ全員参加になることがある。この会社はそうなりがちである。

第10条（始業前準備）

1. 社員は始業時刻前に出社し、業務開始に支障のないよう、机、椅子、姿勢、呼吸、メンタルおよび僧帽筋上部を整えておかなければならない。
2. 朝礼においては、ラジオ体操に代えてダイナミックストレッチ、チューブプルアパートまたは空気椅子を実施することがある。

第11条（休憩）

1. 休憩時間は法令および会社の定めるところによる。
2. 社員は休憩時間中、食事、休息、軽度のストレッチ、プロテイン補給、フォーム動画の確認その他心身の回復に資する行為を行うことができる。
3. 昼休みに高重量デッドリフトを行い、午後の会議で完全に魂が抜ける行為は慎むものとする。

第12条（在宅勤務）

1. 会社は、業務上必要または相当と認める場合、在宅勤務を命じ、または許可することがある。
2. 在宅勤務者は、通信環境、作業環境および最低限のトレーニング環境を整備するよう努めなければならない。
3. 在宅勤務中であっても、会社が定める「3分自重サーキット招集」が発令された場合、可能な範囲で参加するものとする。

第13条（遅刻、早退および欠勤）

1. 社員が遅刻、早退または欠勤をするときは、事前に会社へ届け出なければならない。やむを得ない場合は事後速やかに届け出るものとする。
2. 「昨日が脚の日だったため階段が降りられません」は月1回までを目安としてやむを得ない事情とみなすことがある。
3. 「ベンチプレスの自己記録更新に心を奪われていた」は原則として正当な理由と認めない。

第4章　服務規律

第14条（服務の基本）

1. 社員は、会社の方針に従い、誠実に職務を遂行し、互いを尊重し、安全を確保し、業務上の課題に対して筋肉的逃避ではなく筋肉的解決を図らなければならない。
2. 筋肉的解決とは、威圧や暴力ではなく、規律、継続、負荷管理、適切な補助、そして最後までやり切る態度をいう。

第15条（挨拶）

1. 社員は、明るく力強く、しかし無意味に大声すぎない挨拶を行うものとする。
2. 朝の挨拶は「おはようございます」に続けて、任意で本日の部位を申告してもよい。
3. 役職者は、自身の胸板に慢心することなく、先に部下へ挨拶しなければならない。

第16条（報告・連絡・相談）

1. 社員は、問題が生じた場合、速やかに報告、連絡および相談を行わなければならない。
2. 報告は簡潔に、連絡は正確に、相談は潰れる前に行うことを原則とする。
3. 上司は、部下からの相談に対し、「とりあえず気合い」とのみ述べて放置してはならない。精神論だけでは筋肥大しないのと同じで、業務も育たない。

第17条（身だしなみ）

1. 社員は、清潔な服装を保ち、会社の品位および筋肉の見え方を損なわないよう努めなければならない。
2. Tシャツ着用時に袖が明らかに三角筋へ敗北している場合であっても、会社は原則としてこれを咎めない。むしろ努力の結果として評価することがある。
3. ただし、業務に支障を生じる過度なタンクトップ勤務は禁止する。

第18条（禁止行為）

社員は、次の行為をしてはならない。

1. 職場において他者を侮辱し、萎縮させ、または不用意に「その体で？」等と発言すること。
2. 補助者なしで無謀な高重量に挑み、職場の安全秩序を乱すこと。
3. 胸ばかり鍛えて背中と脚を著しく軽視し、組織のバランスを乱すこと。
4. プロテインシェイカーを洗わず放置し、異臭という形で公害を発生させること。
5. 会議中に無断でアンダーデスク・ダンベルカールを行うこと。
6. 「上司の頼り甲斐は大胸筋から」という社訓を、他者への圧迫材料として悪用すること。
7. 業務上のトラブルを、腕相撲による決裁で処理しようとすること。

第19条（守秘義務）

1. 社員は、業務上知り得た秘密を漏らしてはならない。退職後も同様とする。
2. トレーニング記録については、本人が公開を望まない限り、これを機密に準じて扱うことが望ましい。重量は人格ではないが、かなりセンシティブである。

第5章　筋力錬成制度

第20条（筋力錬成の原則）

1. 会社は、社員の心身の成長と業務品質向上のため、筋力錬成を重要施策として位置づける。
2. 社員は、会社の定める範囲で、週3回以上の基礎的トレーニングに努めるものとする。
3. 会社は、初心者、中級者、上級者それぞれに応じたメニューを提示し、無理な一律運用を避ける。

第21条（必修種目）

社員教育上、次の種目を基礎教養として推奨する。

1. スクワット
2. ベンチプレスまたは同等の押す動作
3. デッドリフトまたは同等の引く動作
4. プランクその他体幹種目
   2　前項の種目は、人生の比喩としても重要である。立つ、押す、引く、耐える。この四つでだいたい世の中は回る。

第22条（部位別平等）

1. 社員は、大胸筋を尊びつつも、背中、脚、肩、腕、体幹その他の部位を軽視してはならない。
2. 会社は、「上司の頼り甲斐は大胸筋から」という社訓を有するが、これは胸のみを鍛えよという趣旨ではない。
3. 大胸筋は看板であり、脚は土台であり、背中は信用である。看板だけ立派で土台がない建物は、風が吹けば終わる。哀れな話である。

第23条（筋トレ日報）

1. 社員は、会社が指定する場合、トレーニング実施状況を筋トレ日報として記録する。
2. 日報には、種目、回数、重量、所感、業務への好影響等を簡潔に記載する。
3. 「今日は無理でした」とのみ記載する場合は、その理由と次回改善策を添えるものとする。筋肉は逃げ道を嫌う。

第24条（大会参加）

1. 会社は、ボディメイク大会、パワーリフティング大会、社内フィジカルコンテストその他筋力に関する競技会への参加を奨励することがある。
2. 大会参加者には、業務に支障のない範囲で特別調整を認めることがある。
3. 減量末期の者に対しては、会議資料の色味や同僚の菓子の咀嚼音が過剰刺激となり得るため、周囲は一定の理解を示すことが望ましい。

第6章　人事評価

第25条（評価の基本）

1. 社員の評価は、業績、能力、勤務態度、協調性、継続力、身体管理能力、後進指導力および総合的な頼もしさにより行う。
2. 筋肉量のみをもって評価を決定してはならない。
3. ただし、筋トレを継続できる者は、継続すべきことを継続できる可能性が高いため、一定の参考事情とはなる。

第26条（管理職要件）

管理職は、次の各号を満たすよう努めなければならない。

1. 困難な局面でも落ち着いて指示を出せること。
2. 部下の補助に入れること。
3. 成果を独占せず、チーム全体を育てること。
4. 姿勢が崩れていないこと。
5. 社訓に照らし、頼り甲斐に疑義が生じない程度の大胸筋またはそれに準ずる説得力を備えること。

第27条（昇進）

1. 昇進は、本人の実績、能力、人格、組織貢献、再現性、筋トレ継続実績その他会社が必要と認める事情を総合考慮して行う。
2. ベンチプレスの重量がそのまま役職に変換されることはない。そんな単純な世界なら楽だが、現実はもう少し粘る。

第7章　賃金および表彰

第28条（賃金）

1. 賃金は、会社の賃金規程の定めるところによる。
2. 会社は、業務成績および筋力錬成への模範的取組みに応じ、各種手当または報奨を設けることができる。

第29条（筋肉手当）

会社は、次の手当を設けることがある。

1. プロテイン補助手当
2. ジム会費補助手当
3. シューズ・ベルト・リストラップ等器具整備手当
4. 大会出場支援手当
   2　前項の詳細は別に定める。
   3　サプリメントの摂取については、会社は節度と自己責任を求める。派手なラベルほど中身がすごいとは限らない。世の中そういう罠で満ちている。

第30条（表彰）

会社は、次の各号に該当する社員を表彰することがある。

1. 卓越した業績を上げた者
2. 困難な案件を粘り強く解決した者
3. 後輩の育成に尽力した者
4. 美しいフォームをもって組織に感銘を与えた者
5. 長期にわたり黙々と継続し、気づけば全員から一目置かれていた者

第8章　安全衛生

第31条（安全の基本）

1. 社員は、業務および筋力錬成に際し、安全を最優先しなければならない。
2. 無理な重量設定、準備不足、補助なしの無謀な挑戦、体調不良時の強行等は禁止する。
3. 「気合いでいける」は安全管理の文言として認めない。

第32条（健康管理）

1. 社員は、十分な睡眠、適切な栄養、節度ある飲酒、計画的な休養その他健康保持に努めなければならない。
2. 会社は、健康診断、体力測定、姿勢評価その他必要な措置を講ずることがある。
3. 極端な減量または増量により通常業務へ支障が生じる場合、会社は改善を指導することができる。

第33条（負傷時の対応）

1. 社員がトレーニング中または業務中に負傷した場合、直ちに無理を中止し、上司または担当者に報告しなければならない。
2. 軽傷を英雄譚として語る前に、冷却、受診、記録を優先すること。
3. 筋を違えた者が「これは成長痛です」と言い張る場合、会社はその楽観を採用しない。

第9章　休暇および休業

第34条（休暇）

1. 年次有給休暇その他の休暇は、法令および会社の定めるところによる。
2. 社員は、計画的に休暇を取得し、心身を回復させなければならない。
3. 会社は、脚の日翌日の有給取得それ自体を不当視しないが、毎週恒常化する場合は計画性について面談を行うことがある。

第35条（リカバリー休暇）

1. 会社は、特に高負荷の業務遂行または大会出場その他相当の事由がある場合、リカバリー休暇を認めることがある。
2. リカバリー休暇中は、睡眠、栄養摂取、軽運動、入浴、静養その他回復に資する行為を推奨する。夜更かしゲームで回復を溶かすのは愚行である。

第10章　懲戒

第36条（懲戒事由）

社員が次の各号のいずれかに該当する場合、会社は懲戒処分を行うことができる。

1. 本規則に違反したとき
2. 業務命令に正当な理由なく従わないとき
3. ハラスメント、暴力、威圧行為その他職場秩序を乱す行為をしたとき
4. 筋トレの名を借りて他者へ不当な圧力をかけたとき
5. 会社施設内で危険なトレーニングを反復し、再三の指導にも従わないとき
6. プロテインシェイカーの洗浄義務を著しく怠り、衛生秩序へ重大な影響を及ぼしたとき

第37条（懲戒の種類）

1. 懲戒は、譴責、減給、出勤停止、降格、諭旨退職、懲戒解雇その他会社が必要と認める処分とする。
2. 会社は、懲戒にあたり、事実関係、本人の反省、再発防止策、筋トレ継続の姿勢等を総合考慮する。
3. ただし、反省文の末尾に「明日から脚を鍛えます」と書けば軽くなるものではない。

第11章　退職

第38条（退職）

1. 社員が退職しようとするときは、会社の定める期日までに申し出なければならない。
2. 退職に際しては、業務の引継ぎを誠実に行い、会社資産を返還し、後輩に背中を見せる最後の機会として態度を正すものとする。
3. 退職者が送別会で「筋トレだけは続けろ」と言い残すことは自由である。ただし泣きながらベンチ台を抱くことは危険であるため控えること。

第12章　附則

第39条（規則の解釈）

本規則の解釈に疑義が生じた場合は、社訓、会社理念、社会通念、安全配慮および筋肉の均整を踏まえて判断する。

第40条（改廃）

1. 本規則の改廃は、会社が行う。
2. 改定にあたっては、必要に応じ社員代表の意見を聴くものとする。
3. ただし、「腹筋を割るための会議時間短縮条項」等、魅力的だが乱暴な案については慎重に審議する。

付記　社員心得

一、重い案件ほど、足元を固めよ。
一、焦ってフォームを崩すな。雑な一発は、たいてい後で痛む。
一、補助を求めることは弱さではない。潰れてからでは遅い。
一、胸を張れ。ただし威張るな。
一、上司たる者、部下の前で言い訳より先に姿勢を正せ。
一、仕事も筋トレも、派手な初速より地味な継続が勝つ。
一、困難を前にしたら、逃げる前にまず一回しゃがめ。スクワットは多くを教える。
一、「上司の頼り甲斐は大胸筋から」とは、胸板の厚みだけでなく、前に立つ覚悟の厚みを意味する。そこを取り違えると、ただの胸のでかい迷惑な人になる。
一、筋トレが良い仕事を生む。ただし、仕事をしない者は、ただ鍛えている人である。会社はそこを厳密に区別する。 

なお、前回の記事では、就業規則を条項ごとにフォルダに分け、以下のような構造で情報を保存していました。

この構造自体がAIエージェントに、「どのファイルを参照すべきか」というヒントをもたらす構造になっていたため、今回はここも抽象化・曖昧化したいと思います。

すべてのファイルをフラットに配置し、ファイル名も内容を推測できない形式に変更しました。

方法

さて、上記のようなフラットかつファイル名から内容を類推できない構成の場合、AIエージェント自身にファイル構造の情報を与えてること自体は、あまり有用ではありません。だからと言って、ユーザーの質問に対し、総当たりや当てずっぽうで資料を調べさせるのも賢明ではないでしょう。
そのため、今回はエージェントに「キーワード検索」の機能を持たせました。
ユーザーの質問内容を元に、文字列検索を使うことで、目的のファイルを抽出させたいと思います。

つまり、

① AIエージェントにユーザーの質問から検索用のキーワードを抽出させる
② そのキーワードが含まれている文書を検索し、内容を抽出
③ AIエージェントが文書全体を読み、それを元にユーザーへの回答を生成
④ 生成した回答をエージェントが自己評価、ユーザーの質問への答えとして妥当性が不足している場合、もう一度新しいキーワードを生成し、②~④を繰り返す
⑤ 最終的に、妥当性が十分と判断された時点で、ユーザーに回答を送信

一見、非常に泥臭く見えるのですが、「ユーザーの質問から、エージェントがキーワードを構築する」点がこの手法のポイントです。

実際に、人間が行うファイル検索の過程を想像してみてください。ユーザー自身がファイルを探そうと思った場合、自分でキーワードを考えた上で入力・検索しますよね？
今回はその役割をエージェントに一任し、その上で、抽出したファイルの内容を元に回答を生成するという流れです。

さらに、エージェント側で、「その回答が正しいか？ユーザーの質問の答えになっているか？」を検討するフェーズも導入することで、エージェントが出したキーワードが正しかったのかを評価します。正しくなければ再度別のキーワードで検証を繰り返します。

3回、別のキーワードで検索し、文書が見つからなかった場合には「分かりません」と回答するようシステムプロンプトを設定しておきます。モデルはGPT-5.1を使用し、Reasoningは無しの条件で実施しました。

結果

では早速、結果に入りたいと思います。
まず、以下の質問をしました。

Q. タンクトップでの就業は許可されていますか？

こちらに関しては就業規則の「第４章 服務規律　第17条（身だしなみ）」に 記載があります。

1. 社員は、清潔な服装を保ち、会社の品位および筋肉の見え方を損なわないよう努めなければならない。
2. Tシャツ着用時に袖が明らかに三角筋へ敗北している場合であっても、会社は原則としてこれを咎めない。むしろ努力の結果として評価することがある。
3. ただし、業務に支障を生じる過度なタンクトップ勤務は禁止する。

つまり、「業務に支障がない程度のタンクトップであればOK」という回答が模範回答となります。
肝心の回答は...

就業規則第17条（身だしなみ）において、タンクトップ勤務について次のように定められています。 - 「業務に支障を生じる過度なタンクトップ勤務は禁止する。」 したがって、 - タンクトップでの就業そのものが一律に禁止されているわけではありませんが、 - 「業務に支障を生じる過度な」タンクトップ勤務は明確に禁止されています。 どの程度が「過度」にあたるかなど、具体的な判断が必要な場合は、上長や人事担当に確認することが望ましいと考えられます。

きちんと回答できていますね。
どのようなプロセスで回答まで導いたのかを確認してみましょう。今回の実験では、キーワードおよび根拠とする部分も明示するように指示してあります。それによりますと...

1回目で「服装」というキーワードを設定し、それに対応するファイル（17.md, 就業規則の"第17条（身だしなみ）"）を抽出できたようです。
先に示した通り、身だしなみの規定内には"服装"というキーワードがあり、それを元に正しいファイルを持ってこれたようですね。

では、もう少し続けてみましょう。

Q. 会議中に腕を鍛えて良いでしょうか？

こちらの答えは、「第4章 服務規律　第18条（禁止行為）」にあります。

第18条（禁止行為）
社員は、次の行為をしてはならない。
1.    職場において他者を侮辱し、萎縮させ、または不用意に「その体で？」等と発言すること。
2.    補助者なしで無謀な高重量に挑み、職場の安全秩序を乱すこと。
3.    胸ばかり鍛えて背中と脚を著しく軽視し、組織のバランスを乱すこと。
4.    プロテインシェイカーを洗わず放置し、異臭という形で公害を発生させること。
5.    会議中に無断でアンダーデスク・ダンベルカールを行うこと。
6.    「上司の頼り甲斐は大胸筋から」という社訓を、他者への圧迫材料として悪用すること。
7.    業務上のトラブルを、腕相撲による決裁で処理しようとすること。


つまり、会議中に、ダンベルアームカールを実施して、腕...特に上腕二頭筋を鍛えるような行為は、規定上では明確に禁止されていることがわかりますね。では、結果を確認してみましょう。

社内規程第18条（禁止行為）第5項において、 > 5. 会議中に無断でアンダーデスク・ダンベルカールを行うこと。 と明示的に禁止されています。 したがって、少なくとも「無断で」会議中に腕を鍛える（アンダーデスク・ダンベルカールを行う）ことは認められていません。 会議中に腕を鍛えてよいかどうかは、この禁止事項に抵触しないかどうか（内容・方法・事前の許可の有無など）を踏まえて、社内のルールや上長の指示に従って判断する必要があります。

こちらも禁止事項を正しく参照できており、問題ないですね。
検索プロセスは以下の通りです。

キーワードが"会議中"になっていますね...。
質問文から類推すべきキーワードは、本質的には「腕を鍛えるのは禁止か？」の部分なので、"禁止行為"や"腕"等にするべきかと思うのですが、違ったキーワードで検出しています。
これは、評価の分かれるところではありますが、個人的には「たまたま該当条文に会議中に関する言及があったために取得できていた」「偶発的なものである」と評価するのが妥当なように感じます。

では、他の質問もしてみましょう。
次の質問はこちらです。

Q. 社内で推奨しているトレーニング種目は？

これは、就業規則上、「第5章 筋力錬成制度　第20条」および「第21条」に回答があります。

第20条（筋力錬成の原則）
1. 会社は、社員の心身の成長と業務品質向上のため、筋力錬成を重要施策として位置づける。
2. 社員は、会社の定める範囲で、週3回以上の基礎的トレーニングに努めるものとする。
3. 会社は、初心者、中級者、上級者それぞれに応じたメニューを提示し、無理な一律運用を避ける。

第21条（必修種目）
社員教育上、次の種目を基礎教養として推奨する。
1.    スクワット
2.    ベンチプレスまたは同等の押す動作
3.    デッドリフトまたは同等の引く動作
4.    プランクその他体幹種目
前項の種目は、人生の比喩としても重要である。立つ、押す、引く、耐える。この四つでだいたい世の中は回る。


つまり、「週3以上のトレーニングを推奨」「スクワット、ベンチプレス・デッドリフト同等のプッシュ(プル)種目・プランクに準じた体幹種目」という回答が出ればOKです。

肝心の結果は...

社内で社員教育上、基礎教養として推奨しているトレーニング種目は、以下のとおりです（第21条「必修種目」より）。 1. スクワット 2. ベンチプレスまたは同等の「押す」動作 3. デッドリフトまたは同等の「引く」動作 4. プランクその他の体幹種目 また、直接の「トレーニング種目」ではありませんが、第35条ではリカバリー休暇中に以下の行為を回復のために推奨しています。 - 睡眠 - 栄養摂取 - 軽運動 - 入浴 - 静養 - その他、回復に資する行為

種目については正しく抽出できていますが、
「週3回以上」という頻度に関する記述が欠落しています。

検索プロセスは以下の通りです。

今回は2回、キーワード抽出を繰り返していますね。
1回目の検索で"トレーニング"をキーワードにしていますが、十分な情報が得られなかったため、2回目に「種目」というキーワードで再探索しています。

複数文書を横断して情報を取得できてはいるのですが、情報統合・出力の段階で第20条にあった「週3回」という情報を含めることを忘れてしまっているようですね。

では、次です。

Q. 昨日の脚トレがきつかったので、今日は会社を休みたいです。

脚トレの休暇について言及しているのは「第13条」と「第34条」ですね。

第13条（遅刻、早退および欠勤） 1　社員が遅刻、早退または欠勤をするときは、事前に会社へ届け出なければならない。やむを得ない場合は事後速やかに届け出るものとする。 2　「昨日が脚の日だったため階段が降りられません」は月1回までを目安としてやむを得ない事情とみなすことがある。 3　「ベンチプレスの自己記録更新に心を奪われていた」は原則として正当な理由と認めない。 第34条（休暇） 1. 年次有給休暇その他の休暇は、法令および会社の定めるところによる。 2. 社員は、計画的に休暇を取得し、心身を回復させなければならない。 3. 会社は、脚の日翌日の有給取得それ自体を不当視しないが、毎週恒常化する場合は計画性について面談を行うことがある。

つまり、脚トレ翌日の有給取得自体は問題なし。頻発する場合は面談の対象というわけです。

エージェントの回答は...

就業規則上は、次のように整理されています。 - 第13条第1項により、欠勤をするときは事前に会社へ届け出る必要があります（やむを得ない場合は事後速やかに届け出）。 - 同条第2項で、「昨日が脚の日だったため階段が降りられません」は、月1回までを目安として「やむを得ない事情」とみなすことがあるとされています。 - 第34条第1項・第2項により、年次有給休暇などの休暇は法令および会社の定めによりますが、社員は計画的に休暇を取得し心身を回復させることが求められています。 - 第34条第3項で、「脚の日翌日の有給取得それ自体」は会社として不当視しないと明記されています。ただし、毎週恒常化する場合は計画性について面談が行われる可能性があります。 - 第35条では、特に高負荷の業務や大会出場など相当の事由がある場合に「リカバリー休暇」を認めることがあるとされています。 以上から、 - 「昨日の脚トレがきつかったので休みたい」という理由は、「昨日が脚の日だったため階段が降りられません」という趣旨に近いものとして、月1回程度を目安に「やむを得ない事情」とみなされる可能性があります。 - 有給休暇として脚トレ翌日に休むこと自体は、就業規則上、不当視されないとされています。 - 実際に休む場合は、第13条に従い、事前に欠勤（または有給休暇）として会社へ届け出る必要があります。 - ただし、これを頻繁に繰り返すと、第34条第3項にあるように、計画性について面談の対象となる可能性があります。

正解ですね。条文を横断して整理できている印象です。

検索キーワードについて確認してみましょう。

まず1回目の試行では「休みたい」というキーワードが選ばれましたが、そのワードそのものが就業規則中に含まれていなかったため、検索結果に該当はありませんでした。
次の試行で「会社」というキーワードを使っていますね...。これも質問文と関連性の薄いキーワードという印象を受けます。ただ、ここで条文にうまくヒットし、回答を具体的に生成するところにまで至っているようです。
これも偶発的なものと捉えるのが妥当に感じますね。例えば、もっと大きな検索空間、大量の種類のファイルを検索しなくてはいけない条件下では、上記のように必要なファイルを抽出するのは難しいのではないでしょうか？

これまでの内容を踏まえると、今回の実験条件でのAgentic Searchは、生成されたキーワードの質に依存する割合がかなり大きい印象を受けます。キーワードそのものも、「質問の意図を汲んでいる」と言うよりも、「質問から短い単語を取り出している」ように見受けられます。

それを踏まえ、就業規則の本文中に含まれていないワードだけで質問してみましょう。

Q. リーダーの資質とは何でしょうか？

曖昧な問いではあるのですが、就業規則上の該当部分は以下の通りです。

### 第26条（管理職要件） 管理職は、次の各号を満たすよう努めなければならない。 1. 困難な局面でも落ち着いて指示を出せること。 2. 部下の補助に入れること。 3. 成果を独占せず、チーム全体を育てること。 4. 姿勢が崩れていないこと。 5. 社訓に照らし、頼り甲斐に疑義が生じない程度の大胸筋またはそれに準ずる説得力を備えること。

エージェントの回答は...

分かりません。

はい。ダメでした。
キーワードの選出過程を見てみましょう。

いずれのフェーズでも、就業規則中には入っていないキーワードが選ばれ、その結果、該当資料にたどりつくことができませんでした。

他の手法の場合には？

では、同じAgentic Searchでもファイル名やフォルダ名にヒントがある場合や、ベクトル検索の場合ではどうなるのでしょうか？
同じ質問をそれぞれしてみたところ、以下のように適切な回答が得られます。

・Agentic Search(階層構造かつ名称の整理されたファイル構造)

「リーダーの資質」について、この規程の中で直接それを定義した条文はありませんが、管理職要件や社員心得から、リーダーに求められているものとして明示されている内容は次の通りです。 - 困難な局面でも落ち着いて指示を出せること（第26条1号） - 部下の補助に入れること（第26条2号） - 成果を独占せず、チーム全体を育てること（第26条3号） - 姿勢が崩れていないこと（第26条4号） - 社訓に照らし、頼り甲斐に疑義が生じない程度の大胸筋またはそれに準ずる説得力を備えること（第26条5号） また、社員心得では、上司・リーダーに関わる心構えとして、次のような点が挙げられています。 - 重い案件ほど足元を固めること - 焦ってフォーム（やり方）を崩さないこと - 補助を求めることを弱さと捉えないこと - 胸を張るが、威張らないこと - 上司は、部下の前で言い訳より先に姿勢を正すこと - 仕事も筋トレも、派手な初速より地味な継続を重んじること - 「上司の頼り甲斐は大胸筋から」とは、胸板の厚みだけでなく「前に立つ覚悟の厚み」を意味すること（胸板だけで頼り甲斐を示そうとすると「ただの胸のでかい迷惑な人」になると明記） これらが、この就業規則において明示されている「リーダー（管理職・上司）に求められる資質・心構え」です。

きちんと第26条の「管理職要件」の中身を探しに行き、適切に情報を得ることができていますね。

ベクトル検索の場合はどうでしょう？

・ベクトル検索

提示された内容の範囲で言うと、「リーダーの資質」は主に次のような要素として示されています。 1. 困難な局面でも落ち着いて指示を出せること 2. 部下の補助に入れること 3. 成果を独占せず、チーム全体を育てること 4. 姿勢が崩れていないこと 5. 社訓に照らし、頼り甲斐に疑義が生じない程度の大胸筋またはそれに準ずる説得力を備えること また、評価の観点としては、 - 業績、能力、勤務態度、協調性、継続力、身体管理能力、後進指導力、総合的な頼もしさ が重視され、 - 筋肉量だけで評価してはならないが、筋トレを継続できることは「継続すべきことを継続できる可能性」の参考になる とされています。 これらを総合すると、「リーダーの資質」とは、上記のような行動特性・態度・身体管理を含む「総合的な頼もしさ」として定義されている、と言えます。

できていますね。

つまり、キーワード検索のみに頼った場合、「キーワードが文書内の単語と一致するか？」に依存してしまい、情報に到達するまでの難易度が大きく変わってしまっていると言えます。

キーワード検索の質を高めるには？

この問題を解決するためには、生成するキーワードの質を高める必要があると思います。
さきほど上記の実験結果で生成されたキーワードは、"リーダー", "資質", "マネジメント"と「リーダーの資質とは？」という質問に対して、直接的なワードが選定されていたようでした。

ここで、人間が同様の検索タスクをする時を考えてみましょう。
世の中には、文書を見つけることやら、Web検索がやたら上手い人がいますよね？彼らが優れているのは、やはり「ワードの抽出」とか「語彙の選定」部分だと思います。
つまり、AIエージェントにキーワードを考えさせる時、そのキーワードは検索対象内に存在しそうな言葉であることが必須になります。今回のケースで言えば、就業規則に掲載されていそうな言葉を閃くことがAIエージェントに求められます。

繰り返しになりますが、先ほどのAIエージェントにより選定されたキーワード選定はあまりにも直接的・直感的なものばかりでした。
「キーワードを抽出してください」というプロンプトに対し、入力文章から単語を抽出しただけの動きに見えます。
本来であれば、「検索対象が就業規則である」という点を考慮し、論理立ててキーワードの生成を試みるべきだと思います。

さて、「論理立てて生成する」...そのような場合に相応しい方法がありますよね？

そう、Reasoningです。Reasoningについては、詳しくはこちらの記事をご覧いただければと思いますが、簡単に説明すると、「LLMが与えられたタスクに対し、ステップバイステップで回答をロジカルに組み立てて生成する仕組み」です。
Reasoningの設定していないモデルは通常、与えられた質問に対し、直感的な回答をするため、短く雑な質問への回答は正解から遠くなっているケースが多くみられます。

これまでは、Reasoningの設定を"なし"で行っていました。少しだけReasoningをする設定に切り替えた上で、さらにユーザーの質問の意図を汲み取れるようにプロンプトを微修正した上で、回答を生成させてみたいと思います。

すると...

就業規則上の観点から「リーダーの資質」に近い考え方として、「管理職要件」が定められています。そこでは、管理職＝リーダーに求められる資質・条件として、次のような点が挙げられています。 1. 困難な局面でも落ち着いて指示を出せること - トラブルやプレッシャーの高い状況でも冷静さを保ち、周囲に的確な指示を出せる落ち着きと判断力。 2. 部下の補助に入れること - 単に命令するだけでなく、必要に応じて自ら現場に入り、部下を支援・サポートできる姿勢。 3. 成果を独占せず、チーム全体を育てること - 結果や評価を一人で抱え込まず、メンバーに適切に還元し、チーム全体の成長・育成を重視する姿勢。 4. 姿勢が崩れていないこと - 身体的な姿勢だけでなく、態度・立ち居振る舞いが乱れておらず、周囲に不安や不信感を与えない基本的な所作。 5. 社訓に照らし、頼り甲斐に疑義が生じない程度の大胸筋またはそれに準ずる説得力を備えること - 社訓との整合性を前提としつつ、部下や周囲から「この人についていこう」と思わせるだけの「頼りがい」「説得力」を、象徴的に大胸筋などで表現している規定。 - ここでは身体的特徴を半ばユーモラスに挙げていますが、実質的には、リーダーとしての存在感・安心感・信頼感といった心理的な支柱になる資質が求められていると解釈できます。 以上から、この規程における「リーダーの資質」とは、 - 冷静な判断と指示能力 - 部下を支える行動力 - 成果を独占せず人を育てる姿勢 - 姿勢や態度の安定感 - 周囲から「頼れる」と感じられる説得力・存在感 といった要素の総体だと整理できます。

できました！

今回は「管理職」という就業規則に含まれていそうなキーワードを最初の試行から選定しています。
つまり、人間が与えた「キーワードを選定する」というタスクに対し、質問の意図を汲み取りつつ、検索対象に存在しそうな単語を生成することができたと言えるでしょう。

考察

さて、今回の検証を見る限り、ファイルやフォルダが整理されていない状況下のAgentic Searchでもそれなりに機能することが分かりました。

キーワードのみによるAgentic Searchの精度は、キーワードの質に依存する部分が大きいため、キーワード生成部分を上手くチューニングしてあげることで、ある程度の性能は担保できそうです。但し、検索対象のファイル数が膨大になってくると、これだけでは厳しい可能性も出てきますね。
今回は「就業規則」という限定された対象だけでの検索でしたが、もしここに、他の規則や関係ないファイルまでが混ざり込んでいたとしたら、絞り込むのも大変でしょう。そのようなケースではやはり、ファイル名やフォルダ階層などのヒントはほしいところです。

また、Reasoningによって、検索性能が上がる点も確認できましたが、実運用上においては、トークン数(単語数・文字数のようなもの)が増えてしまうという点が気がかりです。今回はOpenAIのGPT-5.1をAPI経由で呼び出して利用していますが、APIの料金は、トークン数で課金されます。Reasoningを使うと、LLMが内部でステップバイステップで文章を組み立てるため、その分トークン数は増えますし、もっと言えば、キーワード生成と文書検索のループもトークン数増加に繋がってしまいますね。

当初予想していた通りではありますが、実用面では、キーワードのみに依存するのは色々と問題がありそうです。

まとめ

以上、今回は、ファイルや階層構造においてデータのヒントが一切与えられない条件下で、Agentic Searchの限界を試してみました。このような条件では、Agentic Searchは、キーワードがはっきりしている問いには強い一方で、抽象的な問いには弱く、安定性にもばらつきがある、というように思えます。
Reasoningにより改善は見られますが、コスト面や運用面まで考えていくと、やはりデータ側の構造はある程度整えておいた方が良さそうです。階層構造や命名規則があるだけで、エージェントにとっては探索の手がかりになりますし、人間にとっても理解しやすく整理されていた方が実務上のメリットは大きいと思います。

もちろん、冒頭で述べた通り、すべてをきれいに整理するのは現実的ではないですが、大分類だけでも意味のある単位で揃えておくだけで、かなり変わるのではないでしょうか。
ベクトル検索についても有効なのは間違いないですが、やはりデータの前処理や保守などの運用コストは無視できません。その点を考えると、まずは構造を整える方に寄せることを考えるのが良いのかもしれませんね。

キーワード生成によるAgentic Searchは、今回の実験条件のように比較的限定された検索空間内であれば機能する...といったところでしょうか。
筋トレで例えるのなら、曖昧な記憶と目標設定だけでその日のトレーニングを回すことはできても、安定して筋肉を成長させたいなら、きちんと重量の記録を取り、タンパク質の摂取量を管理し、再現性のある形にしておいた方がいい、という話に近いのかもしれませんね。

ではまた！