บทเรียนทั้งหมด

คอร์ส

AI ม.5: AI สร้างสรรค์และวิศวกรรมเอเจนต์

สร้างแอป LLM ด้วยพรอมต์ API การค้นคืน และเครื่องมือ แล้วทดสอบความปลอดภัย.

เรียนบทตามลำดับ. ท้ายสุดเธอนับโทเคน เปรียบเทียบข้อความด้วยความคล้ายของเอ็มเบดดิง และอธิบายการสุ่มตัวอย่างกับหน้าต่างบริบทได้. เธอเขียนพรอมต์ที่มีโครงสร้าง และเปรียบเทียบพรอมต์แต่ละเวอร์ชันด้วยชุดทดสอบได้. เธอหาบั๊กและความเสี่ยงในโค้ดที่ AI เขียน และเขียนเทสที่โค้ดนั้นต้องผ่านได้. เธอได้ JSON ที่มีโครงสร้างตรงกับสกีมา สร้างแชตบอตที่มีเพดานค่าใช้จ่าย และสร้างแอปที่ตอบจากเอกสารพร้อมบอกที่มาได้. เธอสร้างเอเจนต์ที่เครื่องมือจำกัดและมีกฎหยุด ป้องกันแอปจากการฉีดพรอมต์ สร้างชุดทดสอบอัตโนมัติ และส่งผู้ช่วยวิจัยที่ยึดแหล่งข้อมูลได้.

ใช้บทเรียนเหล่านี้ยังไง

  • เริ่มที่บทที่มีคำว่า ทำอันนี้. ทำบรรทัดใต้ชื่อบทได้เองแล้วค่อยไปต่อ.
  • เล่นเกมก่อน. แล้วทำแบบทดสอบ. ผ่านเมื่อถูก 8/10 ข้อ. ใบงานอยู่บนกระดาษ. เฉลยอยู่ด้านล่าง.
  • แต่ละบทต่อจากบทก่อน. เก็บชุดทดสอบไว้สำหรับทุกแอป แล้วรันหลังทุกครั้งที่เปลี่ยน.
  • บทเขียนโค้ดใช้ Python. ใช้เฉพาะบริการ AI ที่ครูอนุมัติ อย่าใส่คีย์ API ลงในโค้ด ตั้งเพดานค่าใช้จ่าย และห้ามส่งข้อมูลส่วนตัวเข้าโมเดล.

แต่ละบทมีเกม แบบทดสอบ และใบงาน

0/36

พื้นฐาน LLM

  1. 1โทเคนและคลังคำนับโทเคนและอธิบายว่าทำไมโทเคนถึงสำคัญ.
    • ตัดข้อความเป็นโทเคนด้วยโทเคไนเซอร์จริง.
    • เปรียบเทียบจำนวนโทเคนข้ามภาษา.
    • เชื่อมโทเคนกับค่าใช้จ่ายและขีดจำกัดบริบท.
  2. 2เอ็มเบดดิงเปรียบเทียบข้อความด้วยความคล้ายของเอ็มเบดดิง.
    • เอาเอ็มเบดดิงจากโมเดล.
    • คำนวณความคล้ายโคไซน์.
    • จัดอันดับประโยคตามความหมาย ไม่ตามคำที่ซ้ำกัน.
  3. 3LLM สร้างข้อความอย่างไรอธิบายการสุ่มตัวอย่าง อุณหภูมิ และหน้าต่างบริบทตอนที่ LLM สร้างข้อความ.
    • อธิบายการทำนายโทเคนถัดไป.
    • เปลี่ยนอุณหภูมิแล้วเปรียบเทียบผลลัพธ์.
    • แสดงว่าเกิดอะไรเมื่อข้อความเกินหน้าต่างบริบท.
  4. 4การฝึกล่วงหน้าและการปรับแยกการฝึกล่วงหน้า การปรับละเอียด และการปรับตามคำสั่ง.
    • บอกว่าแต่ละขั้นใช้ข้อมูลอะไร.
    • อธิบายข้อมูลป้อนกลับจากคน.
    • บอกว่าทำไมโมเดลถึงมีวันตัดความรู้.

วิศวกรรมพรอมต์

  1. 5พรอมต์ที่มีโครงสร้างเขียนพรอมต์ที่มีโครงสร้าง พร้อมบทบาท งาน กฎ และรูปแบบ.
    • แยกคำสั่งออกจากข้อมูลเข้า.
    • ระบุรูปแบบของผลลัพธ์.
    • เปรียบเทียบพรอมต์ที่มีโครงสร้างกับพรอมต์ที่ไม่มีโครงสร้าง.
  2. 6ตัวอย่างไม่กี่อันทำให้ผลลัพธ์ดีขึ้นด้วยตัวอย่างไม่กี่อัน.
    • ใส่ตัวอย่างสองหรือสามอัน.
    • เลือกตัวอย่างที่ครอบคลุมกรณีขอบ.
    • วัดความเปลี่ยนแปลงบนชุดทดสอบ.
  3. 7ข้อจำกัดใช้ข้อจำกัดจำกัดความยาว น้ำเสียง และรูปแบบ.
    • กำหนดขีดจำกัดความยาวและระดับการอ่าน.
    • บอกโมเดลว่าต้องทำอย่างไรเมื่อไม่รู้.
    • ตรวจผลลัพธ์กับข้อจำกัดแต่ละข้อ.
  4. 8ทดสอบพรอมต์เขียนชุดทดสอบและเปรียบเทียบพรอมต์แต่ละเวอร์ชัน.
    • เขียนข้อมูลทดสอบยี่สิบชุดพร้อมผลที่คาดไว้.
    • ให้คะแนนพรอมต์สองเวอร์ชัน.
    • เก็บเวอร์ชันที่ชนะ.

เขียนโค้ดด้วย AI

  1. 9สร้างโค้ดสร้างโค้ดที่ใช้งานได้จากสเปกที่ชัด.
    • เขียนสเปกพร้อมข้อมูลเข้า ข้อมูลออก และตัวอย่าง.
    • สร้างโค้ดจากสเปกนั้น.
    • รันโค้ดกับตัวอย่าง.
  2. 10ตรวจโค้ด AIตรวจโค้ดที่ AI เขียน แล้วหาบั๊กและความเสี่ยง.
    • ตรวจกรณีขอบและการจัดการข้อผิดพลาด.
    • จับฟังก์ชันและไลบรารีที่แต่งขึ้น.
    • จับโค้ดที่ไม่ปลอดภัย เช่น ความลับในซอร์ส.
  3. 11เทสก่อนเขียนเทสที่โค้ด AI ต้องผ่าน.
    • เขียนเทสด้วย pytest.
    • ให้ AI เขียนโค้ดให้ผ่านเทสเหล่านั้น.
    • เพิ่มเทสสำหรับทุกบั๊กที่เจอ.
  4. 12ดีบักด้วย AIแก้บั๊กด้วย AI แล้วอธิบายการแก้.
    • ทำตัวอย่างเล็กที่โชว์บั๊ก.
    • ถาม AI ถึงสาเหตุ ไม่ใช่แค่ทางแก้.
    • อธิบายว่าทำไมการแก้ถึงใช้ได้.

API ของ LLM

  1. 13เรียก API ครั้งแรกเรียก API ส่งคำขอแชตแล้วอ่านคำตอบ.
    • โหลดคีย์ API จากสภาพแวดล้อม.
    • ส่งคำขอด้วย SDK.
    • อ่านคำตอบและการใช้โทเคน.
  2. 14ข้อความระบบและข้อความผู้ใช้ใช้ข้อความระบบและข้อความผู้ใช้.
    • ใส่กฎในข้อความระบบ.
    • ใส่ข้อมูลที่ผู้ใช้ป้อนในข้อความผู้ใช้.
    • เก็บประวัติการสนทนา.
  3. 15เอาต์พุตที่มีโครงสร้างได้เอาต์พุตที่มีโครงสร้าง เป็น JSON ที่ตรงกับสกีมา.
    • นิยามสกีมา JSON.
    • ขอผลลัพธ์ที่ทำตามสกีมานั้น.
    • ตรวจผลลัพธ์ ถ้าไม่ผ่านให้ลองใหม่.
  4. 16แชตบอตสร้างแชตบอตที่มีประวัติและเพดานค่าใช้จ่าย.
    • เก็บประวัติการสนทนา.
    • ตัดข้อความเก่าออกให้พอดีกับบริบท.
    • หยุดเมื่อถึงเพดานค่าใช้จ่าย.

การสร้างพร้อมการค้นคืน

  1. 17ทำไมต้องค้นคืนอธิบายว่าการค้นคืนและการยึดแหล่งช่วยลดคำตอบที่แต่งขึ้น.
    • ถามโมเดลเรื่องเอกสารที่มันไม่เคยเห็น.
    • ใส่เอกสารแล้วถามอีกครั้ง.
    • วาดขั้นตอนค้นคืนก่อน แล้วค่อยสร้าง.
  2. 18การตัดเป็นท่อนตัดเอกสารเป็นท่อน.
    • ตัดตามขนาดพร้อมส่วนซ้อน.
    • ตัดตามหัวข้อ.
    • เก็บแหล่งที่มาและเลขหน้าไว้กับทุกท่อน.
  3. 19การค้นด้วยเวกเตอร์ใช้การค้นด้วยเวกเตอร์หาท่อนที่ใกล้คำถามที่สุด.
    • ทำเอ็มเบดดิงของท่อนแล้วเก็บไว้.
    • ดึงท่อนที่ตรงคำถามที่สุด.
    • วัดว่าเจอท่อนที่ถูกบ่อยแค่ไหน.
  4. 20ถามตอบจากเอกสารสร้างแอปที่ตอบจากเอกสารและบอกที่มา.
    • ใส่ท่อนที่ค้นคืนได้ลงในพรอมต์.
    • ให้ทุกข้ออ้างมีที่มา.
    • ตรวจว่าที่มาชี้ไปที่ข้อความจริง.

เครื่องมือ AI และเอเจนต์

  1. 21การเรียกเครื่องมือให้โมเดลเรียกเครื่องมือที่เป็นฟังก์ชัน.
    • อธิบายเครื่องมือด้วยสกีมา.
    • รันเครื่องมือที่โมเดลขอ.
    • ส่งผลกลับไปให้โมเดล.
  2. 22การวางแผนวางแผนโดยแบ่งงานเป็นขั้นที่โมเดลทำได้.
    • ขอแผนจากโมเดลก่อน.
    • ทำแผนทีละขั้น.
    • ตรวจแต่ละขั้นก่อนไปต่อ.
  3. 23สถานะและความจำเก็บสถานะและความจำว่าเอเจนต์ทำอะไรไปแล้ว.
    • เก็บแต่ละขั้นและผลของมัน.
    • สรุปประวัติที่ยาว.
    • ตัดสินว่าเอเจนต์ควรลืมอะไร.
  4. 24เอเจนต์ที่ควบคุมได้สร้างเอเจนต์ที่เครื่องมือจำกัดและมีกฎหยุด.
    • อนุญาตเฉพาะเครื่องมือที่ปลอดภัยและอ่านได้อย่างเดียว.
    • จำกัดจำนวนขั้น.
    • ถามคนก่อนทุกการกระทำที่เปลี่ยนบางอย่าง.

AI สร้างสรรค์หลายโหมด

  1. 25การสร้างภาพอธิบายว่าโมเดลดิฟฟิวชันสร้างภาพอย่างไร.
    • อธิบายการใส่สัญญาณรบกวนและการเอามันออก.
    • อธิบายว่าข้อความชี้นำภาพอย่างไร.
    • คุยเรื่องความยินยอมและลิขสิทธิ์ของภาพที่สร้าง.
  2. 26การมองเห็นและภาษาถามโมเดลเกี่ยวกับภาพ ด้วยการมองเห็นและภาษา.
    • ส่งภาพพร้อมคำถาม.
    • ได้คำอธิบายที่มีโครงสร้าง.
    • หาจุดที่โมเดลพูดผิด.
  3. 27เสียงพูดเปลี่ยนเสียงพูดเป็นข้อความ และข้อความเป็นเสียงพูด.
    • ถอดเสียงจากคลิปสั้น.
    • วัดอัตราคำผิด.
    • สร้างเสียงพูดและป้ายว่า AI เป็นคนทำ.
  4. 28ต้นแบบหลายโหมดสร้างต้นแบบหลายโหมดที่ใช้ข้อมูลเข้าสองชนิด.
    • เลือกข้อมูลเข้าสองชนิด เช่น เสียงและภาพ.
    • เชื่อมกันในแอปเดียว.
    • ทดสอบกับผู้ใช้ห้าคน.

ความน่าเชื่อถือและความปลอดภัย

  1. 29ภาพหลอนจับภาพหลอน คือคำตอบที่แหล่งข้อมูลไม่รองรับ.
    • ตรวจทุกข้ออ้างกับแหล่งข้อมูล.
    • เรียกโมเดลครั้งที่สองเพื่อปักธงข้ออ้างที่ไม่มีแหล่งรองรับ.
    • วัดว่าคำตอบได้รับการรองรับครบบ่อยแค่ไหน.
  2. 30การฉีดพรอมต์ป้องกันแอปจากการฉีดพรอมต์.
    • เขียนการโจมตีที่ซ่อนในข้อมูลผู้ใช้และในเอกสาร.
    • แยกคำสั่งที่เชื่อถือได้จากข้อความที่ไม่น่าเชื่อถือ.
    • จำกัดว่าการโจมตีจะถึงเครื่องมือใดได้.
  3. 31การประเมินให้คะแนนผลลัพธ์ด้วยเกณฑ์และชุดทดสอบ.
    • เขียนเกณฑ์ให้คะแนน.
    • ให้คะแนนด้วยมือและด้วยโมเดล.
    • ดูว่าทั้งสองตรงกันบ่อยแค่ไหน.
  4. 32ชุดทดสอบสร้างชุดทดสอบอัตโนมัติสำหรับแอป LLM.
    • ครอบคลุมความถูกต้อง รูปแบบ ความปลอดภัย และค่าใช้จ่าย.
    • รันด้วยคำสั่งเดียว.
    • ให้บิลด์ล้มเหลวเมื่อคะแนนตก.

สตูดิโอผลิตภัณฑ์ AI

  1. 33สเปกผลิตภัณฑ์เขียนผู้ใช้ ฟีเจอร์ และตัวชี้วัดความสำเร็จ.
    • เลือกชุดเอกสารวิจัยที่ได้รับอนุมัติ.
    • เขียนผู้ใช้และคำถามของพวกเขา.
    • ตั้งเป้าความถูกต้อง ที่มา และค่าใช้จ่าย.
  2. 34สร้างไปป์ไลน์สร้างไปป์ไลน์ของการค้นคืน คำตอบ และการอ้างอิง.
    • ทำดัชนีเอกสาร.
    • ตอบพร้อมที่มา.
    • รันชุดทดสอบ.
  3. 35พูดว่าฉันไม่รู้ทำให้แอปพูดว่าฉันไม่รู้ เมื่อหลักฐานไม่มี.
    • รู้ตัวเมื่อการค้นคืนไม่เจออะไรที่เป็นประโยชน์.
    • ตอบว่า «แหล่งข้อมูลไม่ได้บอก» แทนการเดา.
    • ทดสอบด้วยคำถามที่เอกสารตอบไม่ได้.
  4. 36ผู้ช่วยวิจัย AIส่งและนำเสนอผู้ช่วยวิจัยที่ยึดแหล่งข้อมูล.
    • นำแอปไปใช้ในห้องเรียน.
    • นำเสนอคะแนนความถูกต้อง การยึดแหล่ง ความปลอดภัย และค่าใช้จ่าย.
    • อธิบายขีดจำกัดของมัน.