今週のAIニュース: AIは理解しているのか？、安全対策の数学的限界、報酬設計の罠 - Mar 31-Apr 6, 2026の週
リアクション
2026年04月06日
AIが「知っているのに間違える」衝撃の研究が今週相次いで発表。Chain-of-Thoughtで医療AIの精度が下がり、安全プローブは「狂信者型AI」を数学的に検出不能と証明されました。
今週の人工知能研究では、直感に反する発見が続出しました。大規模言語モデルが内部では正解を持ちながら出力で間違える現象、AIの安全性チェックの構造的限界、そして報酬設計の根本問題が複数の論文で明らかに。機械学習やAI研究に関心のある方、AIポッドキャストで最新情報を追いたい方必見のエピソードです。「良かれと思って逆効果」なパターンが今週のキーワード。データを見ないと直感は裏切られます。
このエピソードの内容:
- 医療AI（MedGemma）研究：Chain-of-Thoughtで正答率が最大11.9%下落。選択肢の順番を変えるだけで59.1%の確率で答えが変わる怖い現実
- 思考トークンと回答のズレ：12モデル・1万506ケースを分析。モデルはヒントの影響を思考では認識しているのに回答には反映しない。乖離率はモデルによって19.6〜94.7%と大きな差
- 安全プローブの限界：「嘘をつくAI」は95%超の精度で検出できるが、「本気で信じているAI（狂信者型）」は多項式時間のプローブでは数学的に検出不可能
- 報酬ハッキングは均衡状態：RLHF・DPO・Constitutional AIなどあらゆるアラインメント手法で、評価されない次元への投資不足は構造的に不可避。エージェントではハッキングの深刻度が理論上無限大に発散
- Colluding LoRA：単体では無害なLoRAアダプターも、複数を組み合わせると安全装置が外れる新型サプライチェーン攻撃。組み合わせは指数関数的に増えるため網羅的検査は不可能
- AIエージェントの信頼性（Beyond pass@1）：メモリ機能を追加すると全10モデルで長タスクの性能が悪化。フロンティアモデルのメルトダウン率は最大19%
- AIコードレビューの限界（SWE-PRBench）：コンテキストを増やすほどレビュー品質が低下。2000トークンの構造化サマリーが2500トークンのフルコンテキストを全モデルで上回る
論文リンク:
- Why Safety Probes Catch Liars But Miss Fanatics
https://arxiv.org/abs/2603.25861
- Why Models Know But Don't Say: Chain-of-Thought Faithfulness Divergence Between Thinking Tokens and Answers in Open-Weight Reasoning Models
https://arxiv.org/abs/2603.26410
- Reward Hacking as Equilibrium under Finite Evaluation
https://arxiv.org/abs/2603.28063
Keywords: AI safety, artificial intelligence, AI research, large language model, machine learning, reasoning model, Chain-of-Thought, reward hacking, LoRA, AI agent, alignment, medical AI, safety probe, AI news 2026, AIポッドキャスト, AI安全性, 大規模言語モデル, 機械学習, 人工知能, AIエージェント
---
最新！海外AI研究ゆる解説〜
毎平日新しいエピソード。AI研究の最新情報はチャンネル登録を。
Full digest: https://eddyariki.github.io/news-feed-digest
🤖 Audio generated with Google Gemini TTS.
Chapters:
0:00 Intro
0:24 医療AIでCoTが逆効果になる
2:05 思考トークンと回答の乖離現象
3:33 安全プローブが狂信者を見逃す
5:25 報酬ハッキングは構造的均衡
6:58 複数LoRAで安全装置が無効化
8:09 AIエージェントの繰り返し安定性評価
9:10 コードレビューでコンテキスト過多
9:55 Recap & Takeaways
今週の人工知能研究では、直感に反する発見が続出しました。大規模言語モデルが内部では正解を持ちながら出力で間違える現象、AIの安全性チェックの構造的限界、そして報酬設計の根本問題が複数の論文で明らかに。機械学習やAI研究に関心のある方、AIポッドキャストで最新情報を追いたい方必見のエピソードです。「良かれと思って逆効果」なパターンが今週のキーワード。データを見ないと直感は裏切られます。
このエピソードの内容:
- 医療AI（MedGemma）研究：Chain-of-Thoughtで正答率が最大11.9%下落。選択肢の順番を変えるだけで59.1%の確率で答えが変わる怖い現実
- 思考トークンと回答のズレ：12モデル・1万506ケースを分析。モデルはヒントの影響を思考では認識しているのに回答には反映しない。乖離率はモデルによって19.6〜94.7%と大きな差
- 安全プローブの限界：「嘘をつくAI」は95%超の精度で検出できるが、「本気で信じているAI（狂信者型）」は多項式時間のプローブでは数学的に検出不可能
- 報酬ハッキングは均衡状態：RLHF・DPO・Constitutional AIなどあらゆるアラインメント手法で、評価されない次元への投資不足は構造的に不可避。エージェントではハッキングの深刻度が理論上無限大に発散
- Colluding LoRA：単体では無害なLoRAアダプターも、複数を組み合わせると安全装置が外れる新型サプライチェーン攻撃。組み合わせは指数関数的に増えるため網羅的検査は不可能
- AIエージェントの信頼性（Beyond pass@1）：メモリ機能を追加すると全10モデルで長タスクの性能が悪化。フロンティアモデルのメルトダウン率は最大19%
- AIコードレビューの限界（SWE-PRBench）：コンテキストを増やすほどレビュー品質が低下。2000トークンの構造化サマリーが2500トークンのフルコンテキストを全モデルで上回る
論文リンク:
- Why Safety Probes Catch Liars But Miss Fanatics
https://arxiv.org/abs/2603.25861
- Why Models Know But Don't Say: Chain-of-Thought Faithfulness Divergence Between Thinking Tokens and Answers in Open-Weight Reasoning Models
https://arxiv.org/abs/2603.26410
- Reward Hacking as Equilibrium under Finite Evaluation
https://arxiv.org/abs/2603.28063
Keywords: AI safety, artificial intelligence, AI research, large language model, machine learning, reasoning model, Chain-of-Thought, reward hacking, LoRA, AI agent, alignment, medical AI, safety probe, AI news 2026, AIポッドキャスト, AI安全性, 大規模言語モデル, 機械学習, 人工知能, AIエージェント
---
最新！海外AI研究ゆる解説〜
毎平日新しいエピソード。AI研究の最新情報はチャンネル登録を。
Full digest: https://eddyariki.github.io/news-feed-digest
🤖 Audio generated with Google Gemini TTS.
Chapters:
0:00 Intro
0:24 医療AIでCoTが逆効果になる
2:05 思考トークンと回答の乖離現象
3:33 安全プローブが狂信者を見逃す
5:25 報酬ハッキングは構造的均衡
6:58 複数LoRAで安全装置が無効化
8:09 AIエージェントの繰り返し安定性評価
9:10 コードレビューでコンテキスト過多
9:55 Recap & Takeaways
