コース

12年生のAI：AIシステム、研究、イノベーション

オリジナルのAIシステムを設計し、試し、デモを公開する。それからオリジナルのAIシステムとその評価を、総合課題として発表する。

レッスンを順番に進める。終わるころには、AIシステムのサービスを図にできる。品質、速さ、費用でモデルを選び、システムの設計を守れる。調べて確かめられる研究の問いと、ベースラインつきの1ページの提案を書ける。動く最初の版を作り、実験計画を書き、ノイズのある入力で試せる。部分を取り除き、それぞれが何を足すかをアブレーション研究で測れる。小さな利用者調査を行い、デモを公開し、誤りと費用を追える。誰が得をして、誰が損をしうるかを比べられる。オリジナルのAIシステムとその評価を発表できる。

このレッスンのつかいかた

「これをやる」のレッスンからはじめよう。タイトルの下の文が、ひとりでできたら、次へ進もう。
はじめにゲームをしよう。それからクイズをしよう。10問中8問正解で合格。ワークシートは紙。答えは下にある。
各レッスンは、総合課題を前に進める。プロジェクトの記録を残そう。決めたこと、実験、結果。失敗したものも含める。
総合課題は、科学、学習の支援、ロボットと画像、またはスタートアップのアイデアから選ぼう。使ってよいデータだけを使う。利用者調査の前に同意をとる。APIキーは秘密にする。支出の上限を決める。

どのレッスンにもゲーム、クイズ、ワークシートがあります。

0/36

AIシステムのアーキテクチャ

1AIシステムのサービスを図にするAIシステムのサービスを図にする。
- データ、モデル、配信、インターフェースの層の名前を言う。
- 本物のAI製品を、その層に対応づける。
- 単一障害点を見つける。
2品質、速さ、費用でモデルを選ぶ品質、速さ、費用でモデルを選ぶ。
- 自分のテストセットで、3つのモデルを比べる。
- リクエストごとの速さと費用を測る。
- 1つ選び、その引き換えを説明する。
3学習、微調整、APIのどれにするかいつ学習し、いつ微調整し、いつAPIを使うかを決める。
- それぞれの費用を挙げる。
- データ、プライバシー、制御を考える。
- 総合課題のために決める。
4システムの設計を守るシステムの設計を描き、それを守る。
- 部品とデータの流れを描く。
- 誤りや攻撃が起きうる場所にしるしをつける。
- 発表し、質問に答える。

問題の設定

5解く価値のある本物の問題解く価値のある本物の問題を選ぶ。
- その問題を持つ人に話を聞く。
- すでに何があるかを調べる。
- AIが正しい道具か、そうでないかを言う。
6調べて確かめられる研究の問い調べて確かめられる研究の問いを書く。
- 広い考えを、狭い問いにする。
- 何を測るかを言う。
- どの結果なら問いの答えになるかを言う。
7しなければならないこと、してはいけないことシステムがしなければならないことと、してはいけないことを挙げる。
- 機能の要件を書く。
- 正確さ、速さ、費用、安全の限度を書く。
- 優先度で並べる。
8ベースラインつきの1ページの提案ベースラインつきの1ページの提案を書く。
- 問題、やり方、データを述べる。
- 超えるための簡単なベースラインを決める。
- 日程を決める。

進んだAIの応用

9画像、テキスト、音声を組み合わせる画像、テキスト、音声を一つのシステムで組み合わせる。
- 本物のマルチモーダルなシステムを調べる。
- 入力の組み合わせ方を選ぶ。
- 一つの入力が、別の入力の誤りを直せる場所を見つける。
10確認つきの、何段も進むエージェント確認つきの、何段も進むエージェントを設計する。
- 仕事を、計画役、作業役、確認役に分ける。
- 段と段のあいだに確認を入れる。
- 道具と支出を限る。
11AIが科学の発見を速くするAIが科学の発見をどう速くするかを説明する。
- 一つの例を調べる。タンパク質の折りたたみや、天気の予報など。
- AIがしたことと、科学者がしたことを言う。
- 使えそうな科学のデータセットを見つける。
12動く最初の版動く最初の版を作る。
- 端から端まで動く、いちばん小さい版を作る。
- ベースラインと比べて走らせる。
- まず直すことを挙げる。

実験の設計

13仮説と、それを否定する結果仮説と、それを否定する結果を述べる。
- 調べて確かめられる仮説を書く。
- 仮説がまちがいだと示す結果を書く。
- 効果の大きさを予想する。
14一つだけ変える一つだけ変えて、ほかは動かさない。
- 独立変数と従属変数の名前を言う。
- 乱数の種と設定を固定する。
- それぞれの設定を、何度か走らせる。
15公平な訓練、検証、テスト公平な訓練セット、検証セット、テストセットを作る。
- 分割のあいだで漏れを防ぐ。
- 必要なときは、時間、場所、人で分ける。
- テストセットは、最後まで閉じる。
16実験計画何も走らせる前に、実験計画を書く。
- すべての実行と、その設定を挙げる。
- 指標を先に決める。
- 計算と費用を見積もる。

AIの評価

17ベンチマークとその限界ベンチマークを選び、その限界を説明する。
- 自分の課題の、公開ベンチマークを見つける。
- 訓練のときに、モデルがそれを見たかもしれないかを調べる。
- 自分のテストケースを足す。
18ノイズとずれのある入力ノイズのある入力と、ずれた入力で試す。
- ノイズ、誤字、ぼかしを足す。
- 新しい場所や時間のデータで試す。
- 点数がどれだけ下がるかを測る。
19アブレーション研究アブレーション研究で部分を取り除き、それぞれが何を足すかを測る。
- システムの部分を挙げる。
- 一つずつ取り除いて、もう一度走らせる。
- 結果の表を作る。
20誤差棒と正直な限界誤差棒と正直な限界をつけて、結果を報告する。
- 実行ごとの平均とばらつきを示す。
- ベースラインと比べる。
- 限界を、はっきり書く。

人とAIの共同

21人が承認するところ人が承認しなければならないところを決める。
- 決定を、リスクで並べる。
- リスクの高いものに、人を入れる。
- AIを簡単に上書きできる方法を設計する。
22モデルが選んだ理由モデルがなぜその選択をしたかを説明する。
- 特徴の重要度か、顕著性マップを使う。
- 生成した答えの出典を示す。
- 利用者が説明を理解するかを試す。
23利用者のフィードバックシステムを良くするために、利用者のフィードバックを集める。
- 評価とコメントを足す。
- フィードバックを、新しいテストケースにする。
- 偏りを足すフィードバックに注意する。
24小さな利用者調査小さな利用者調査を行い、まとめる。
- 参加者ひとりひとりから同意をとる。
- 課題を渡し、成功と時間を測る。
- うまくいったことと、いかなかったことをまとめる。

公開と運用

25APIの向こうでモデルを動かすAPIの向こうでモデルを動かす。
- モデルをウェブAPIで包む。
- 入力の確認と時間切れを足す。
- 負荷テストをする。
26誤り、速さ、ドリフトを追う誤り、速さ、ドリフトを追う。
- 個人データを入れずに、リクエストを記録する。
- 誤りと応答時間のグラフを作る。
- 入力が訓練データからずれたときを見つける。
27利用者ひとりの費用利用者ひとりあたりの費用を見積もる。
- リクエストごとの費用を測る。
- 100人と10,000人のときの費用を見積もる。
- キャッシュか、より小さいモデルで費用を下げる。
28デモを公開するほかの人が試せるデモを公開する。
- 無料のホストに公開する。
- 支出の上限と回数制限を足す。
- 利用者向けの短い案内を書く。

AIのイノベーション

29AIが満たせるニーズAIが満たせるニーズを見つける。
- 3つのAI製品と、それらが満たすニーズを調べる。
- まだ満たされていないニーズを見つける。
- 誰が使うかを見積もる。
30同意、プライバシー、害同意、プライバシー、害を確認する。
- データのライセンスと同意を確認する。
- 個人データを除く。
- 起こりうる害と、それを減らす方法を挙げる。
31得をする人と損をしうる人誰が得をして、誰が損をしうるかを比べる。
- システムが影響する人をすべて図にする。
- グループごとに、益とリスクを比べる。
- そのために、設計の選択を一つ変える。
32研究提案か事業計画研究提案か事業計画を書く。
- 研究提案か、スタートアップの発表かを選ぶ。
- それぞれの主張を、自分の結果で支える。
- フィードバックをもらって練習する。

AI総合課題スタジオ

33テスト結果から良くするテスト結果からシステムを良くする。
- 評価から、いちばん大きい弱点を選ぶ。
- 直し、テストをもう一度走らせる。
- 変更を記録に残す。
34わかりやすい技術報告わかりやすい技術報告を書く。
- 要旨、方法、結果、限界を書く。
- わかりやすい図と表を作る。
- ほかの人が繰り返せるように、コードを共有する。
35ポスターとライブデモポスターとライブデモを作る。
- 1ページの研究ポスターを作る。
- 3分のライブデモを用意する。
- デモが失敗したときの予備を用意する。
36オリジナルのAIシステムとその評価オリジナルのAIシステムとその評価を発表する。
- 問題、システム、結果を発表する。
- ベースラインとの比べ方を示す。
- 限界についての質問に答える。