全部課

課程

高三人工智慧：人工智慧系統、研究與創新

設計一套自己做的人工智慧系統，測試它，把它放上線，再當成結業專題發表。

照順序把每一課走完。學完以後，你會標出人工智慧系統裡的元件和服務，依品質、速度和成本做模型選擇，並畫出系統的架構設計並為它辯護。你會寫出一個你能檢驗的研究問題，以及一頁帶基線的專案提案。你會做出能用的原型，先寫實驗計畫，用有雜訊的輸入來測試穩健性，並在消融研究裡拿掉各部分、測量每一部分帶來什麼。你會做一次小型使用者研究，把示範上線並追蹤它的錯誤和成本，權衡誰獲益、誰可能受損，並發表一套自己做的人工智慧系統及其評估。

這些課怎麼用

  • 從標著做這個的課開始。標題下面那一行你自己會了，再往下。
  • 先玩遊戲。再做測驗。10題裡對8題就通過。練習紙在紙上。答案在最下面。
  • 每一課都把結業專題往前推一步。寫專題日誌：每個決定、每次實驗、每個結果，沒做成的也要記。
  • 選一個結業專題：科學、家教、機器人與視覺，或一個新創點子。只用你被允許用的資料。做使用者研究前先取得同意。API 金鑰要保密。設一個花費上限。

每一課都有遊戲、測驗和練習紙。

0/36

人工智慧系統架構

  1. 1系統元件標出人工智慧系統裡的元件和服務。
    • 說出資料層、模型層、服務層和介面層。
    • 把一個真實的人工智慧產品對到這些層上。
    • 找出單點故障。
  2. 2模型選擇依品質、速度和成本做模型選擇。
    • 在你自己的測試集上比較三個模型。
    • 量測每次請求的速度和成本。
    • 選一個，並說明取捨。
  3. 3自己做還是買決定何時自己做（訓練或微調），還是買 API。
    • 列出每種做法的成本。
    • 考慮資料、隱私和控制權。
    • 為你的結業專題做決定。
  4. 4架構設計畫出系統的架構設計並為它辯護。
    • 畫出元件和資料流。
    • 標出錯誤和攻擊可能出現的地方。
    • 發表它，並回答問題。

問題表述

  1. 5找到一個問題找到一個值得解決的真實問題。
    • 訪談有這個問題的人。
    • 查一查已經有什麼。
    • 說明人工智慧為什麼是合適的工具，或為什麼不是。
  2. 6研究問題寫出一個你能檢驗的研究問題。
    • 把一個寬的想法收成一個窄問題。
    • 說出你要量測什麼。
    • 說出什麼樣的結果能回答它。
  3. 7需求列出需求：系統必須做的，和絕不能做的。
    • 寫出功能需求。
    • 寫出準確率、速度、成本和安全的限度。
    • 按優先順序排好。
  4. 8專案提案寫一頁帶基線的專案提案。
    • 寫明問題、方法和資料。
    • 定一個要超越的簡單基線。
    • 定一條時間表。

進階人工智慧應用

  1. 9多模態系統把視覺、文字和音訊合進一個多模態系統。
    • 研究一個真實的多模態系統。
    • 選擇怎樣合併輸入。
    • 找出一種輸入能糾正另一種輸入錯誤的地方。
  2. 10代理系統設計帶檢查的多步代理系統。
    • 把工作分成規劃者、執行者和檢查者。
    • 在步驟之間加上檢查。
    • 限制工具和花費。
  3. 11科學裡的人工智慧說明科學裡的人工智慧怎樣加快科學發現。
    • 研究一個例子，比如蛋白質摺疊或天氣預報。
    • 說出人工智慧做了什麼，科學家做了什麼。
    • 找一個你可以用的科學資料集。
  4. 12原型做出能用的原型：第一版。
    • 做出從頭到尾跑得通的最小版本。
    • 拿它和基線比一比。
    • 列出先改進什麼。

實驗設計

  1. 13假設說出一個假設，以及什麼會推翻它。
    • 寫一個你能檢驗的假設。
    • 寫出能證明它是錯的結果。
    • 預測效應有多大。
  2. 14變數與對照只改一個變數，對照保持不動。
    • 說出自變數和因變數。
    • 固定隨機種子和設定。
    • 每種設定多跑幾次。
  3. 15資料集與切分做出公平的資料集與切分：訓練集、驗證集和測試集。
    • 防止切分之間洩漏。
    • 需要時按時間、地點或人來切分。
    • 把測試集鎖到最後。
  4. 16實驗計畫在執行任何東西之前，先寫實驗計畫。
    • 列出每一次執行和它的設定。
    • 事先定好指標。
    • 估計計算量與成本。

人工智慧評估

  1. 17評測基準選一個評測基準，並說明它的限度。
    • 為你的任務找一個公開的評測基準。
    • 檢查模型在訓練時是否可能見過它。
    • 加上你自己的測試案例。
  2. 18穩健性用有雜訊和發生偏移的輸入來測試穩健性。
    • 加上雜訊、錯字和模糊。
    • 用新地點或新時間的資料來測試。
    • 測量分數掉了多少。
  3. 19消融研究在消融研究裡拿掉各部分，測量每一部分帶來什麼。
    • 列出系統的各個部分。
    • 一次拿掉一個，再重新執行。
    • 把結果做成一張表。
  4. 20報告結果用誤差線和誠實的限度來報告結果。
    • 展示各次執行的平均值和散布。
    • 和基線比較。
    • 把限度寫明白。

人與人工智慧協作

  1. 21人工監督用人工監督決定哪裡必須由人來核准。
    • 按風險給決策排序。
    • 在高風險的決策上加上人。
    • 設計一個能輕易推翻人工智慧的辦法。
  2. 22可解釋性用可解釋性說明模型為什麼做出這個選擇。
    • 使用特徵重要性或顯著性圖。
    • 為生成的回答展示來源。
    • 測試使用者是否看懂解釋。
  3. 23回饋循環用回饋循環收集使用者回饋，來改進系統。
    • 加上評分和留言。
    • 把回饋變成新的測試案例。
    • 留意會帶來偏見的回饋。
  4. 24使用者研究做一次小型使用者研究並總結它。
    • 取得每位參與者的同意。
    • 給出任務，測量成功率和時間。
    • 總結什麼行得通，什麼行不通。

部署與維運

  1. 25推論服務把模型放在 API 後面，做成推論服務。
    • 把模型包進一個網頁 API。
    • 加上輸入檢查和逾時。
    • 做壓力測試。
  2. 26監控做監控：追蹤錯誤、速度和漂移。
    • 記錄請求，但不記個人資料。
    • 畫出錯誤和回應時間。
    • 發現輸入何時偏離訓練資料。
  3. 27成本與規模估算成本和規模：每位使用者的成本。
    • 測量每次請求的成本。
    • 估算 100 位和 10,000 位使用者時的成本。
    • 用快取或更小的模型降低成本。
  4. 28上線一個示範把示範上線，讓別人能試用。
    • 部署到一個免費主機。
    • 加上花費上限和速率限制。
    • 給使用者寫一份簡短指南。

人工智慧創新

  1. 29機會找出機會：人工智慧能滿足的一個需求。
    • 研究三個人工智慧產品和它們滿足的需求。
    • 找出一個還沒被滿足的需求。
    • 估計誰會用它。
  2. 30研究倫理檢查研究倫理：同意、隱私和傷害。
    • 檢查你的資料的授權和同意。
    • 去掉個人資料。
    • 列出可能的傷害，以及你怎樣減少它們。
  3. 31社會影響權衡社會影響：誰獲益，誰可能受損。
    • 標出系統影響到的每一個人。
    • 為每一組權衡好處和風險。
    • 因此改掉一個設計選擇。
  4. 32提案或路演寫一份研究提案，或一份帶商業方案的路演。
    • 選研究提案或新創路演。
    • 用你的結果支撐每一條說法。
    • 帶著回饋練一遍。

人工智慧結業工作室

  1. 33迭代做迭代：根據測試結果改進系統。
    • 從你的評估裡挑出最大的弱點。
    • 修好它，再重跑測試。
    • 把改動記進專題日誌。
  2. 34技術寫作用技術寫作寫出一份清楚的報告。
    • 寫出摘要、方法、結果和限度。
    • 做出清楚的圖和表。
    • 分享程式碼，讓別人能重複。
  3. 35海報與示範做一張海報和一次現場示範。
    • 做一張一頁的研究海報。
    • 準備三分鐘的現場示範。
    • 準備一個備用方案，以防示範失敗。
  4. 36人工智慧結業專題發表結業專題：一套自己做的人工智慧系統及其評估。
    • 發表問題、系統和結果。
    • 說明它和基線比怎麼樣。
    • 回答關於它的限度的問題。