LLMから質の高い回答を引き出す「問い」の技術

ChatGPTのような生成AIに質問するとき、回答が表面的でもっと深掘りしてほしい、ということはよくあります。「どう聞けば本当に知りたいことにたどりつけるのか？」「正確で、価値ある答えを引き出すには、どんな問いがよいのか？」と問いの立て方に関する悩みは現代の共通の課題となっています。

大規模言語モデル（LLM）が急速に普及するなかで、「問い方（プロンプト）」が結果の質を大きく左右することが分かってきた一方で、プロンプト設計は未だに直感や試行錯誤に頼る部分が多く、再現性ある方法論が確立されていないのが現状です。

先日（2025年7月29日）にOpenAIからリリースされたChatGPTの学習モードにおいては、「ソクラテス式問答法」を活用することで人間の理解を深め、能動的な学習を促進できることが期待されるとされています¹。

一方で、このソクラテス式問答法は人間がAIに質問する際にも有効だという研究が既にあります。

スタンフォード大学のEdward Y. Chang氏による研究「Prompting Large Language Models With the Socratic Method」は、古代ギリシャの哲学者ソクラテスが用いた問答法をAIとの対話に応用し、プロンプト設計を体系化しようという試みです²。

本コラムでは、この研究の動機、提案されたソクラテス的な7つの問いの技術とそのLLM活用法、具体的な実験と結果、そして私たちがこの研究から得られる実践的なヒントを紹介します。

なぜAIにソクラテスなのか？ 

Chang氏は、Googleでの機械学習研究、HTCヘルスケアでの医療AI開発、そしてスタンフォード大学での教育活動を推進してきた人のようです。経て、AIとの建設的な対話方法に問題意識を持つようになりました。

彼の問いはこうです：

「人間がLLMにもっと良い問いを立てれば、AIはもっと良い相棒になるのではないか？」

しかし現在のプロンプト設計は直感や試行錯誤に依存しており、体系的な方法論に乏しいのが実情です。そこで着目したのが、紀元前の哲学者ソクラテスが行っていた「問いを通じて真理に迫る」対話手法、すなわちソクラテス式問答法でした。

Chang氏は、感情や上下関係に縛られないAIとの対話においては、むしろ人間よりもソクラテス的な問いかけが有効に機能するのではないかと考えたのです。

そもそもソクラテスの思想において最も重要視されたのは、「無知の知」と「対話による真理の探究」です。ソクラテスは、自らが無知であることを自覚し、その姿勢によって他者に問いを投げかけ、自分自身と対話相手の思考を深めていきました。この方法は、「産婆術」とも呼ばれ、問いを通じて相手の中に眠る知を引き出すことを重視しています。

このような思想は、現代の批判的思考、教育、自己内省、さらには創造的発想にもつながっています。この研究がこの古代の対話技法に立ち戻るのは、LLMという“感情を持たない知的対話相手”と人間の対話を、より構造化し、深めるための枠組みとして、ソクラテス的アプローチが理想的だったからです。

ソクラテス式の7つの問い方と、LLMへの応用例

この研究が参照しているソクラテス式問答法（Socratic Method）は、古代ギリシャの哲学者ソクラテスが用いた対話法に由来します。これはプラトンの『メノン』『ソクラテスの弁明』などに記録されており、主張に対して問いを重ねて前提を揺さぶり、内省と真理探求を促す手法です。

現代ではこの方法が、批判的思考（critical thinking）の教育において活用されており、特にChang氏はBrowne & Keeleyの著書『Ask the Right Questions: A Guide to Critical Thinking』をベースに、LLMに適用可能な問いの枠組みとして再構成しています。

この研究では、ソクラテス的思考法から特にLLM活用に有効とされる以下7つの手法を抽出し、それぞれに対応するプロンプト例を整理し、「CRIT（Critical Reading Inquisitive Template）」というテンプレートを開発しました。

手法	説明	LLM用プロンプト例
1. 定義（Definition）	概念や主張の意味を明確にする	「この文書の主張は何ですか？」
2. 反証（Elenchus）	根拠や理由の妥当性を問い直す	「この理由はどれほど妥当ですか？（10点満点）」
3. 弁証法（Dialectic）	反対意見や対立視点を提示させる	「この主張に対する反論はありますか？」
4. 産婆術（Maieutics）	潜在的な気づきを引き出す	「この比喩表現の意味をあなたなりに解釈してください」
5. 仮説除去（Hypothesis Elimination）	複数の仮説から不適切なものを除外する	「他に考えられる仮説は？それぞれの妥当性を評価してください」
6. 一般化（Generalization）	事例から共通法則を導く	「これらの例に共通する特徴は何ですか？」
7. 反事実思考（Counterfactual Reasoning）	“もし〜だったら”という仮定のもとで新たな展開を考える	「もしアダムとイブが果実を食べなかったら、聖書の物語はどうなっていたでしょう？」

CRITテンプレートとは何か？

CRITは、ある文書や主張を読み解き、「結論」と「その理由」を明示し、それらの正当性を問い、反論を挙げ、最終的に妥当性スコアを出すまでを一連のプロンプトで段階的に行うテンプレートです。

以下がその基本ステップです：

1. 結論の特定（Definition）
2. 理由の抽出（Definition）
3. 妥当性の評価（Elenchus）
4. 反論の生成（Dialectic）
5. 反論の妥当性評価（Elenchus）
6. 総合スコアの計算（Generalization）
7. 自己内省・要約（Maieutics）
8. 反事実での再評価（Counterfactual Reasoning）

なお、プロンプトは一括で投げても良いですが、段階的に一問一答形式で出した方が精度と深みが増したそうです。

実験：LLMは「小論文の採点者」になれるか？

この実験の目的は、LLM（大規模言語モデル）が与えられた元の文章の主張（結論）の論理的整合性や、それを支持する根拠の信頼性を評価する「採点者」として振る舞えるかを検証することでした。

具体的な評価プロセス：

1. 文章の主張と根拠の特定
   • 文章中の結論（主張）Ωを特定。
   • Ωを支持する根拠群Rを抽出。
2. 論理的整合性と信頼性の評価
   • 各根拠rの妥当性（γr）と情報源の信頼性（θr）を1〜10で評価。
   • ソクラテス的手法であるエレンコス法（反駁・吟味）に基づいて実施。
   • 根拠の種類（意見、統計、他の主張など）も同時に分類。
3. 反論の生成と評価
   • 最も弱い根拠に対して反論R’を生成。
   • その反論にも妥当性と信頼性のスコアを付与。
4. 最終スコアの算出と正当化
   • 加重平均により全体の信頼スコアΓを算出。
   • スコアの根拠を自己説明させる。
5. LLMを採点者とする意義
   • この研究は、LLMが単なる読解機ではなく、批判的思考を実行する「分析者」「採点者」として振る舞えるかに焦点を当てた。
   • ソクラテス的メソッドを用いることで、感情や権威に左右されず、冷静かつ構造的な評価が可能になる。

得られた知見とビジネスへの示唆

創造性への応用：ソクラテス式問答法による発想支援

ソクラテス式問答法は批判的思考だけでなく、創造的思考を刺激する強力なツールでもあります。問いを重ねることで、既存の前提を揺さぶり、新しい視点を発見し、アイディアの跳躍を促す構造を持っています。

1. 前提の問い直しによる思考のリフレーミング
   「なぜそれが常識なのか？」「本当にそうだと言えるか？」という問いを繰り返すことで、固定化された前提を可視化し、乗り越えるための視座を得ることができます。
2. 反事実的な仮定からのシナリオ発想
   「もし〜だったら？」という問いは、未来洞察、イノベーション創出、シナリオプランニングにおいて極めて有効です。LLMとの対話においても、新しい視点を探索する触媒となります。
3. 多視点による共感的デザイン思考への接続
   反論や異なる視点を積極的に取り入れるステップ（Dialectic）は、UX設計やサービスデザインにおける「他者視点」の取り込みと一致しており、ソリューションの共感力を高めることに寄与します。
4. アイディア発想のための問いテンプレートとして活用可能
   ソクラテス式の7手法（定義、反証、弁証法、産婆術、仮説除去、一般化、反事実）は、そのまま「問いのカタログ」としてアイディア創出のフレームワークとして再利用できます。AIとの協働による発想補助にも極めて有効です。

このように、ソクラテス式問答法は、単に論理を検証するだけでなく、新しい知や価値を生み出すための「思考の起爆剤」として活用できます。

この研究から得られる最大の知見とビジネスへの示唆は、以下のように多面的に捉えることができます：

1. 良いプロンプトは、良い問いから始まる。
   ソクラテス式の構造的な問いかけをLLMに対して行うことで、単なる情報検索では得られない「論点の構造化」「論理的整合性の検証」「価値判断の支援」などが可能になります。これは、AIとの対話を通じた思考の外在化・可視化という観点でも非常に意義があります。ビジネスにおいては、戦略立案・意思決定・ファシリテーションの質を高める土台として機能します。
2. AIは「対話的に教える教師」「批判的な伴走者」になれる。
   CRITのような構造を通じて、LLMはただの応答装置ではなく、「問い直し」「評価」「内省」を通じてユーザーの思考を深めるメタ認知支援装置となり得ます。これは、教育や自己学習だけでなく、コンサルティング、会議支援、プロジェクトレビューなど、思考を深めるあらゆる場面に活用可能です。人間の認知バイアスを相対化し、他者視点を取り入れる“思考の鏡”としての役割も期待されます。
3. 創造性すら問いかけ次第で引き出せる。
   「もし〜だったら？」という反事実的な問いを通じて、LLMは新しい仮説・物語・アイデアを生成します。これは、イノベーション・未来洞察・シナリオプランニングにおけるAI活用の突破口となりうるもので、たとえば「新規事業の仮説出し」「業界変化の影響分析」「パーパス経営の言語化支援」といった創造性を要する実務に直結します。
4. AIを「採点者」や「論理検査官」として使う発想。
   本研究の実験は、LLMが人間の書いた文章に対して、結論の妥当性・根拠の信頼性・反論可能性などを評価するプロセスを通じて、まるで小論文の採点者のように機能することを示しました。これは、社内文書レビュー、報告書の品質管理、ナレッジ共有のクオリティチェックなどにも応用可能です。特に、説明責任や透明性が求められる組織において、「AIによるロジックレビュー」は今後の重要技術となるかもしれません。
5. 信頼性の定量評価という新しい基準。
   CRITでは、根拠や反論に対して「妥当性」と「信頼性」という2軸でスコアリングするアプローチがとられています。これは、議論や提案の質を数値化・可視化する方法論として、レビュー支援や教育だけでなく、リスク評価やコンプライアンスチェックなどにも適用可能な枠組みです。

総じて、この研究は「問い方」ひとつでLLMの知的能力を大きく引き出せること、そしてその能力が「正答生成」ではなく「思考の触媒」や「構造的評価者」として活かせることを明示しました。これは、AIと共に働く未来において、人間の役割を問い直し、問いの力を再定義するインパクトある視座を提供しています。

おわりに：AIに「問う力」を武器にする

AIにすべてを任せるのではなく、AIに正しく問いかける力を持つ人間が強くなる時代。

この研究は、AIをただの道具ではなく、「問いを通して考えるパートナー」に昇華するための道筋を示してくれました。

プロンプト設計に悩む方はもちろん、教育・創造・戦略的思考にAIを活用したいと考えているすべてのビジネスパーソンにとって、ソクラテス式プロンプティングは今後の強力な武器になるでしょう。

1. https://openai.com/ja-JP/index/chatgpt-study-mode/ ↩︎
2. https://arxiv.org/pdf/2303.08769 ↩︎

---

AIを用いたサーベイ、コーチングサービスはこちら↓