提示工程[1]

1. 訓練不了人工智慧？那我訓練自己在本節課中沒有任何模型被訓練

2. Prompt Engineering • 本節課重點不是講針對特定任務的 prompt • 給語言模型的 prompt 不需要特定格式 • 按照今天語言模型能力，你把需要的任務描述清楚即可把大型語言模型想成一個在線的新人助理不瞭解專屬於你的事情擁有一般人的基本知識與理解能力

3. 使用 DALL-E (文字生圖的人工智慧) 畫了一張圖

4. 有那些在不訓練模型的情況下強化語言模型的方法 2 1 語言模型語言模型 3 語言模型 4 語言模型 5 語言模型語言模型語言模型

5. 1. 神奇咒語! 語言模型免責聲明：神奇咒語並不一定對所有模型、所有任務都適用

6. 叫模型思考 Chain of Thought (CoT) InstructGPT (text-davinci-002) https://arxiv.org/abs/2205.11916 https://arxiv.org/abs/2211.01910

7. 也幫助 GPT-4看圖?

8. 姜成翰助教的論文請模型解釋一下自己的答案 https://arxiv.org/abs/2305.01937 https://arxiv.org/abs/2310.05657

9. 姜成翰助教的論文 https://arxiv.org/abs/2305.01937 https://arxiv.org/abs/2310.05657 GPT 3.5 直接給答案先解釋再回答

10. 對模型情緒勒索 https://arxiv.org/abs/2307.11760

11. 更多相關資訊 Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 https://arxiv.org/abs/2312.16171 • No need to be polite with LLM so there is no need to add phrases like “please”, “if you don’t mind”, “thank you”, “I would like to”, etc., • Employ affirmative directives such as ‘do,’ while steering clear of negative language like ‘don’t’. • Add “I’m going to tip $xxx for a better solution!” • Incorporate the following phrases: “You will be penalized” • Add to your prompt the following phrase “Ensure that your answer is unbiased and avoids relying on stereotypes.” • ……

12. 用AI來找神奇咒語 • 用增強式學習 (Reinforcement Learning, RL) 評估結果好壞語言模型另外一個語言模型 https://arxiv.org/abs/2206.03931

13. 台達電產學合作案產出感謝尤展鴻助教、樊樺助教、鄭承櫸同學提供結果用AI來找神奇咒語 “ways ways ways ways ways ways ways …….” 回應長度 • 任務目標：回應越長越好 • 目標模型：GPT-3 直接叫模型答案越長越好用增強式學習找咒語正常回答

14. 用AI來找神奇咒語 • 直接用語言模型 https://arxiv.org/abs/2211.01910

15. https://arxiv.org/abs/2211.01910 https://arxiv.org/abs/2309.03409

16. 神奇咒語並不一定對所有模型都有用 • 叫模型思考 GPT 3.5 沒有神奇咒語 “Let’s think step by step” 2023 年 6月的舊版本 72% 88% 2024 年 2 月最新的版本 85% 89% 模型應該要隨時使出全力，怎麼可以要求思考才思考 …… • 要求模型做解釋對於 GPT-3 (或更早的模型不一定有幫助) https://arxiv.org/abs/2205.03401

17. Prompt Leaderboard 作者群：Hua Farn, Hsuan Su, Cheng Chu Cheng, Saurav Sahay, Shang-Tse Chen, Hung-yi Lee https://llm.ee.ntu.edu.tw/prompt-benchmark/leaderboard

18. 2. 提供額外資訊語言模型

19. 把前提講清楚 4

20. 把前提講清楚 4 4

21. 提供生成式AI不清楚的資訊

22. 提供生成式AI不清楚的資訊先去搜尋相關資料輸入給語言模型

23.

24. 提供範例請做情感分析我感到非常高興語言模型正面任務：情感分析今天天氣真好, 正面給一些例子今天運氣真差, 負面 In-context learning https://arxiv.org/abs/2005.14165 這朵花真美, 正面請注意此處沒有任何模型真的被訓練我真的是累了, 負面真的能從例子學習？

25. 提供範例有看懂範例負面請做情感分析我感到非常高興語言模型正面沒看懂範例今天天氣真好, 正面負面給一些例子今天運氣真差, 負面正面任務：情感分析這朵花真美, 正面負面 Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? Ref: https://arxiv.org/abs/2202.12837 我真的是累了, 負面正面語言模型沒有真的看懂範例 (2022年時的認知)

26. 提供範例 Larger language models do in- context learning differently https://arxiv.org/abs/2303.03846 真的「答錯」了錯誤範例比例最強的模型真的部分讀懂了範例

27.

28.

29. Gemini 1.5 In-context Learning 語言模型 ?????? https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf

30. Gemini 1.5 In-context Learning (滿分 6 分) https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf

31. 考考大家的觀念語言模型 Translate Kalamang 語言模型 ?????? Translate Kalamang Textbook 成功翻譯 Translate Kalamang 語言模型 1 ?????? 2 成功翻譯

32. 3. 把任務分多步驟來解語言模型語言模型

33. 拆解任務複雜的任務任務輸入任務輸出任務輸入任務輸出步驟一步驟二步驟三

34. 拆解任務關於生成式 AI 的報告 https://arxiv.org/abs/2210.06774 大綱 • 重要性 • 種類 • 技術先寫大綱 Recursive Reprompting and Revision (Re3) • …… 摘要

35. 拆解任務這就是為什麼模型思考對現在的GPT3.5幫助不大，因為 GPT3.5解數學題都預設會列式了 … • 為什麼叫模型思考 (Chain of Thought, CoT) 或解釋會有用數學問題語言模型列式數學問題列式語言模型列式答案語言模型答案

36. 語言模型檢查自己的錯誤任務輸入語言模型任務輸出擬人的講法：語言模型可以自我反省語言模型檢查後的輸出 • 就好像你考試時寫完考卷後，再檢查一次可以檢查出錯誤來 • 有很多問題是得到答案難，但驗證答案是否正確容易現在籠子裡有雞和兔子在一起。從上面數一共有三十五個頭，從下面數一共有九十四隻腳，問一共有多少隻雞、多少隻兔子？ A: 20 隻雞、20隻兔子

37. 語言模型檢查自己的錯誤 GPT-4

38.

39.

40. 語言模型檢查自己的錯誤 GPT-3.5

41. 語言模型檢查自己的錯誤

42. Constitutional AI: Harmlessness from AI Feedback https://arxiv.org/abs/2212.08073 (先不要給人看) (人類真正看到的)

43. 語言模型檢查自己的錯誤介紹玫瑰花節 … 語言模型介紹玫瑰花節 … 語言模型玫瑰花節的介紹 … 請檢查 …. 沒有玫瑰花節自我反省再一次介紹玫瑰花節 … 語言模型 1. 玫瑰花節的介紹 … 2. 沒有玫瑰花節語言模型會怎麼回應 (不考慮隨機性) 反省的過程中沒有任何模型被訓練，函式是固定的 Constitutional AI 最終如何讓模型從自我反省中學習就是另一個故事了

44. 為什麼同一個問題每次答案都不同？ 50% 台灣大 50% 機率 25% 語言模型學 …… 學車所有可以選擇的符號擲骰子

45. 為什麼同一個問題每次答案都不同？什麼是大型語言模型？語言模型大什麼是大型語言模型？大語言模型型什麼是大型語言模型？大型語言模型是 ……..。語言模型每次答案都不相同! [END]

46. 為什麼同一個問題每次答案都不同？ … 答案是 3 輸入：數學問題語言模型 … 答案是 5 答案是 3 Self-Consistency … 答案是 3 https://arxiv.org/abs/2203.11171

47. 複雜的任務拆解成多個步驟任務輸入步驟一步驟二步驟三語言模型任務輸出語言模型任務輸出檢查後的輸出模型檢查自己的答案任務輸入同一個問題每次答案都不同什麼是大型語言模型？大語言模型大

48. 打一套組合拳 Tree of Thoughts (ToT) 語言模型步驟二任務輸入步驟一步驟三步驟二 https://arxiv.org/abs/2305.10601

49. Algorithm of Thoughts Graph of Thoughts https://arxiv.org/abs/2308.10379 https://arxiv.org/abs/2308.09687

50. 有那些在不訓練模型的情況下強化語言模型的方法 2 1 語言模型語言模型 3 語言模型 4 語言模型 5 語言模型語言模型語言模型