Azure OpenAIでThinkingモードを理解する

はじめに

MS開発部の松坂です。
AIチャットでは、すべての質問を同じ重さで処理する必要はありません。簡単な質問には素早く、条件が多い質問には少し深く――この切り替えを支えるのが、Thinking モードです。Azure OpenAI では、reasoning.effort のような設定で推論の深さを調整でき、用途に応じた応答を作りやすくなります。

Thinking モードとは

Thinking モードは、回答前に前提や条件を整理し、筋道立てて推論するための設定（考え方）です。単に長く考えるのではなく、複雑な条件や曖昧な指示に対して、より筋の通った応答を返しやすくするための仕組みだと捉えると分かりやすいです。

Azure OpenAI の reasoning models では、この推論の強さを low、medium、high のように調整できます。既定値は環境によって異なる場合があり、必要に応じて深さを上げたり下げたりできます。

どう使い分けるか

Thinking は、常に強くすればよいわけではありません。単純な質問まで深く考えさせると、応答は安定しても、時間やコストが増えやすくなります。
一方で、条件分岐が多い依頼、複数の情報を踏まえた判断、誤解しやすい曖昧な質問では、Thinking を強めることで回答品質が上がりやすいです。
実務では、「軽い質問は軽く、重い質問は深く」という使い分けが現実的です。これはユーザー体験を損なわずに、必要な場面にだけ推論コストを割く考え方です。

どんな場面で効くか

たとえば、複数条件を満たす回答、例外条件の多い問い合わせ、前提を整理しないと誤答しやすい質問では、Thinking の価値が出やすいです。逆に、単純な定型応答や短い確認には、軽い推論のほうが使い勝手がよいこともあります。
実際の運用では、ユーザーの問いを見て、短く答えられるものは軽く処理し、判断が必要なものだけ深く考える、という設計が向いています。

実際に以下の例をもとに Thinkingをつかう場面を確認していきましょう。

実例1: 最新情報の比較調査

Web Search ツールを使い以下のプロンプトでThinking の有無を比較しました。 プロンプト例

結果

Thinking を使うことで、より詳細に検索を行い、様々な観点から推論を行います。

実例2: CSVの集計と分析

Azure OpenAI の Responses API は code interpreter を統合できるため、数値処理や検算を伴う業務に使いやすいです。
例として、国土交通省の宿泊旅行統計集計（https://www.mlit.go.jp/kankocho/tokei_hakusyo/shukuhakutokei.html）の結果をもとに回答を行いました。
プロンプト例

Thinking を使うと、回答だけでなく、この回答に至った推論をデータとして出力も行い、より説明の筋道が立ちます。

実例3: RAG で社内 FAQ 回答

社内規程や障害対応手順を参照しながら回答する RAG では、Thinking が「どの文書を採用するか」「どこまで要約するか」の判断に効きます。Azure OpenAI の Responses API は Azure AI Search(MCP) と組み合わせやすく、社内ナレッジを根拠付きで返す業務アプリに向いています。
例として、個人情報保護委員会 ガイドライン等（https://www.ppc.go.jp/personalinfo/legal/）にある以下のデータをIndexに取り込み、Thinkingの比較を行いました。

• 個人情報の保護に関する法律についてのガイドライン（通則編）
• 「個人情報の保護に関する法律についてのガイドライン」に関するQ&A
• 個人データ取扱要領(例)
• 自己点検チェックリスト

プロンプト例

同じ質問でも、Thinkingの有無で回答の粒度が変わります。 Thinkingなしでは原則の要約にとどまりやすい一方、Thinkingありでは判断の軸を分けて整理し、実務で確認すべき点まで含めて返しやすいです。

コストと応答時間

Thinking を強めると、応答の質が上がる一方で、推論に使うトークンが増えるため、コストと応答時間の両方に影響します。
そのため、実務では high を常用するより、必要なときだけ深く考えさせるほうが扱いやすいです。Azure の reasoning models でも、推論の深さは用途に応じて調整する前提で紹介されています。

まとめ

Thinking は、AIチャットをより実務向けにするための考え方です。reasoning.effort を使えば、軽快さと慎重さの間で推論深度を調整でき、質問の難しさに応じた応答を設計できます。

大事なのは、常に深く考えさせることではなく、必要な場面だけ Thinking を使うことです。そうすることで、ユーザー体験、コスト、応答速度のバランスを取りやすくなります。