A Theoretical Understanding of Chain-of-Thought: Coherent Reasoning and Error-Aware Demonstration 閱讀心得
文章原文： 2410.16540
閱讀心得
本論文在理解思維鏈的運作原理過程中發現一種有效改進思維鏈的推理方式 - Coherent CoT（連貫整合式思維鏈） 。這個方式經過實驗證明，與前人提出的 Stepwise ICL（步進式上下文學習）相比，若將早期推理步驟與使用 Coherent CoT 整合，則 Transformer 模型會具備更好的錯誤修正能力和更準確的預測。
也由於此點的發現此篇論文更進一步探討整個推理過程中，不同階段對於 Coherent CoT Transformer 的敏感度，並且發現模型對於中間推理步驟的錯誤與最終結果的錯誤相比是更加敏感的。
也因為這個發現，所以提出了一個中改進 CoT 的方式 - Coherent CoT，這個方式在提示範例中，同時加入正確和錯誤的推理路徑，並且透過實驗證明了這個方式的有效性。
Coherent CoT 說明
假設以下是我們的主要問題
「Jane 每月 16 號都會去書店，從 2009 年 10 月開始。今天是她第五次去書店。今天的日期是什麼？一年前的今天是什麼日期？（格式為 MM/DD/YYYY）」
選項：
(A) 08/16/2009
(B) 02/16/2009
(C) 02/16/2004
(D) 03/13/2009
(E) 01/26/2009
(F) 02/15/2009
標準的思維鏈提示方式為：
「Jane 每月 16 號都會去書店，從 2009 年 10 月開始。今天是她第五次去書店。今天的日期是什麼？一年前的今天是什麼日期？（格式為 MM/DD/YYYY）」
選項：
(A) 08/16/2009
(B) 02/16/2009
(C) 02/16/2004
(D) 03/13/2009
(E) 01/26/2009
(F) 02/15/2009
A1: 讓我們一步步推理。
Jane 每月 16 號去書店，從 2009 年 10 月開始。
她第五次去書店的日期應該是 2010 年 2 月 16 日。
一年前的今天，即從 2010 年 2 月 16 日回推一年，應該是 2009 年 2 月 16 日。
所以答案是 (B)。
Q2: 示例問題 2
A2: 讓我們一步步推理......（推理過程）
Q3: 示例問題 3
A2: 讓我們一步步推理......（推理過程）
增加正確 以及 錯誤推論路徑的思維鏈（Coherent CoT）方式則是
「Jane 每月 16 號都會去書店，從 2009 年 10 月開始。今天是她第五次去書店。今天的日期是什麼？一年前的今天是什麼日期？（格式為 MM/DD/YYYY）」
選項：
(A) 08/16/2009
(B) 02/16/2009
(C) 02/16/2004
(D) 03/13/2009
(E) 01/26/2009
(F) 02/15/2009
Q1: Jane 每月 16 號去書店，從 2009 年 10 月開始。今天是她第五次去書店。今天的日期是一年前的今天日期是什麼？
錯誤解答：
如果 Jane 每月 16 號去書店，從 2009 年 10 月開始，今天是她第五次去書店，那麼今天的日期是 2010 年 3 月 16 日。
一年前的今天，即從 2010 年 3 月 16 日回推一年，應該是 2009 年 3 月 16 日。所以答案是 (D)。
錯誤原因：這段推理錯誤地計算了第五次的日期。Jane 實際應該從 2009 年 10 月開始，五個月後應該是 2010 年 2 月 16 日，而非 3 月。
正確解答：
A: 讓我們一步步推理。
Jane 每月 16 號去書店，從 2009 年 10 月開始。
她第五次去書店的日期應該是 2010 年 2 月 16 日。
一年前的今天，即從 2010 年 2 月 16 日回推一年，應該是 2009 年 2 月 16 日。
所以答案是 (B)。
（其他示例）