提示工程[2]

1. 有那些在不訓練模型的情況下強化語言模型的方法 2 1 語言模型語言模型 3 語言模型語言模型

2. 拆解任務複雜的任務任務輸入任務輸出任務輸入任務輸出步驟一步驟二步驟三

3. 拆解任務關於生成式 AI 的報告 https://arxiv.org/abs/2210.06774 大綱 • 重要性 • 種類 • 技術先寫大綱 Recursive Reprompting and Revision (Re3) • …… 摘要

4. 拆解任務這就是為什麼叫模型思考對現在的GPT3.5幫助不大，因為GPT3.5解數學題都預設會列式了 … • 為什麼叫模型思考 (Chain of Thought, CoT) 或解釋會有用數學問題語言模型生成文字的時候是用文字接龍語言模型詳細列式數學問題詳細列式語言模型詳細列式答案語言模型答案

5. 語言模型檢查自己的錯誤任務輸入語言模型任務輸出擬人的講法：語言模型可以自我反省語言模型檢查後的輸出 • 就好像你考試時寫完考卷後，再檢查一次可以檢查出錯誤來 • 有很多問題是得到答案難，但驗證答案是否正確容易現在籠子裡有雞和兔子在一起。從上面數一共有三十五個頭，從下面數一共有九十四隻腳，問一共有多少隻雞、多少隻兔子？ A: 20 隻雞、20隻兔子

6. 語言模型檢查自己的錯誤 GPT-4

7.

8.

9. 語言模型檢查自己的錯誤 GPT-3.5

10. 語言模型檢查自己的錯誤

11. Constitutional AI: Harmlessness from AI Feedback https://arxiv.org/abs/2212.08073 (先不要給人看) (人類真正看到的)

12. 再次考考大家的觀念介紹玫瑰花節 … 語言模型介紹玫瑰花節 … 語言模型玫瑰花節的介紹 … 請檢查 …. 沒有玫瑰花節自我反省再一次介紹玫瑰花節 … 語言模型 1. 玫瑰花節的介紹 … 2. 沒有玫瑰花節語言模型會怎麼回應 (不考慮隨機性) 反省的過程中沒有任何模型被訓練，函式是固定的 Constitutional AI 最終如何讓模型從自我反省中學習就是另一個故事了

13. 為什麼同一個問題每次答案都不同？ 50% 台灣大 50% 機率 25% 語言模型學 …… 學車所有可以選擇的符號擲骰子

14. 為什麼同一個問題每次答案都不同？什麼是大型語言模型？語言模型大什麼是大型語言模型？大語言模型型什麼是大型語言模型？大型語言模型是 ……..。語言模型每次答案都不相同! [END]

15. 為什麼同一個問題每次答案都不同？輸入：數學問題語言模型 … 答案是 3 語言模型 … 答案是 5 答案是 3 Self-Consistency 語言模型 … 答案是 3 https://arxiv.org/abs/2203.11171

16. 複雜的任務拆解成多個步驟任務輸入步驟一步驟二步驟三語言模型任務輸出語言模型任務輸出檢查後的輸出模型檢查自己的答案任務輸入同一個問題每次答案都不同什麼是大型語言模型？大語言模型大

17. 打一套組合拳 Tree of Thoughts (ToT) 語言模型步驟二任務輸入步驟一步驟三步驟二 https://arxiv.org/abs/2305.10601

18. Algorithm of Thoughts Graph of Thoughts https://arxiv.org/abs/2308.10379 https://arxiv.org/abs/2308.09687

19. 有那些在不訓練模型的情況下強化語言模型的方法 2 1 語言模型語言模型 3 語言模型 4 語言模型語言模型

20. 使用工具語言模型也有不擅長的事情 (例如：算數學) 人類沒有尖牙利爪 134,023,057,035 GPT 3.5 語言模型能不能使用工具呢？但是人類發明了各種工具

21. 使用工具 – 搜尋引擎當作搜尋引擎來用???

22. 使用工具 – 搜尋引擎搜尋網路或資料庫專業問題額外資訊語言模型 Retrieval Augmented Generation (RAG) 3/29 NVIDIA 團隊會來跟大家講怎麼做 RAG

23. 使用工具 – 搜尋引擎當作搜尋引擎來用??? GPT-4 可以使用搜尋引擎資料來源

24. 使用工具 – 寫程式

25.

26. 使用工具 – 寫程式 • Program of Thought (PoT) https://arxiv.org/abs/2211.12588

27.

28. 使用工具 – 文字生圖 AI (DALL-E) • 過年的是不是收到很多長輩圖賀卡呢？

29. 使用工具 – 文字生圖 AI (DALL-E)

30. 使用工具 – 文字生圖 AI (DALL-E) https://youtu.be/A-6c584jxX8?si=od_UF9cdBsChyQJU

31. GPT Plug-in

32.

33. 語言模型是怎麼使用工具的呢？其實使用工具都是文字接龍我有 5 美金，可以換多少新台幣？ (特殊符號) 5 美金可以換呼叫工具呼叫工具搜尋(美金台幣匯率) 結束計算機(5 x 31.5) 結束 157.5 1 美金 = 31.5 台幣 157.5 元新台幣 [END]

34. 延伸閱讀 https://youtu.be/ZID220t_MpI?feature=shared

35. 使用 DALL-E (文字生圖的人工智慧) 畫了一張圖

36. 各種技巧加起來打一套組合拳 https://arxiv.org/abs /2402.04253

37. 有那些在不訓練模型的情況下強化語言模型的方法 2 1 語言模型語言模型 3 語言模型 4 語言模型 5 語言模型語言模型語言模型

38. 語言模型彼此合作 • 「三個臭皮匠甚過一個諸葛亮」的概念 • 未來不需要打造全能的模型，語言模型可以專業分工，不同團隊可以專注於打造專業領域的語言模型語言模型語言模型

39. 讓合適的模型做合適的事情任務輸入任務輸入 (語言) 模型模型 A 就決定是你了判斷那一個工作該給誰其實在展示平台上為你服務的不一定是同一個模型 FrugalGPT https://arxiv.org/abs/2305.05176 語言模型A 任務輸出語言模型B 語言模型C 不同能力、不同成本 video: https://youtu.be/vxxPtDCb9Go?si=WO4eqPTHDyS1pal3 https://youtu.be/VpKN3KvSK6c?si=lyqO8QSHBno89HIG

40. 讓模型彼此討論反省 X N 任務輸入語言模型任務輸出語言模型檢查後的輸出討論任務輸入語言模型A https://arxiv.org/abs/2303.17071 https://arxiv.org/abs/2305.19118 語言模型A 語言模型A 語言模型B 語言模型B 任務輸出

41. Multi-agent Debate https://arxiv.org/abs/2305.19118

42. 讓模型彼此討論 https://arxiv.org/abs/2305.19118

43. 多一點模型一起討論 https://arxiv.org/abs/2305.14325

44. 多模型怎麼討論 Exchange-of-Thought https://arxiv.org/abs/2312.01823 不同任務最合適的討論方式是不一樣的

45. 討論要怎麼停下來？語言模型A 我覺得 … 我不同意 … 未達成共識，討論繼續裁判模型語言模型A 那我覺得 … 有道理 … 裁判模型語言模型B 達成共識，結論是 …… 語言模型B

46. 討論會不會停不下來？ https://arxiv.org/abs/2305.19118 為反對而反對 https://arxiv.org/abs/2305.14325

47. 把一個人活成一個團隊引入不同的腳色 https://arxiv.org/abs/2303.17760 完成某項專案 CEO AI project manager 先做 A，再做 B，然後 C …… 寫程式 AI user 試用一下 … 給建議加上 XX 功能創造不同腳色： • 不同模型本來就有不同的專長 • “你是一個 project manager ” AI programmer AI project manager

48. Dynamic LLM Agent Network https://arxiv.org/abs/2310.02170 AI project manager 先做 A，再做 B，然後 C …… 寫程式 AI user 還可以打考績 CEO 根據上述對話，給每個人的貢獻度打分數? 分數太低的之後就不參與工作試用一下 … 給建議 Programmer: 10, User: 8 … Project manager: 7, User: 9 … Project manager: 7, Programmer: 10 … (免責聲明：學術論文目前通常是測試在比較簡單的任務上) AI programmer

49. 有那些在不訓練模型的情況下強化語言模型的方法 2 1 語言模型語言模型 3 語言模型 4 語言模型 5 語言模型語言模型語言模型