课程
高三人工智能:人工智能系统、研究与创新
设计、测试并上线一套原创的人工智能系统,再把它作为结业项目来展示。
按顺序学习各课。学完后,你能标出人工智能系统里的组件和服务,按质量、速度和成本做模型选择,并画出系统的架构设计并为它辩护。你能写出一个你能检验的研究问题,以及一页带基线的项目提案。你能做出能用的原型,先写实验计划,用有噪声的输入来测试稳健性,并在消融研究里去掉各部分、测量每一部分带来什么。你能做一次小型用户研究,把演示上线并跟踪它的错误和成本,权衡谁获益、谁可能受损,并展示一套原创的人工智能系统及其评估。
这些课怎么用
- 从标着做这个的课开始。标题下面那一行你自己会了,再往下。
- 先玩游戏。再做测验。10题里对8题就通过。练习纸在纸上。答案在最下面。
- 每一课都把结业项目往前推一步。记项目日志:每个决定、每次实验、每个结果,没做成的也要记。
- 选一个结业项目:科学、辅导、机器人与视觉,或一个创业想法。只用你被允许用的数据。做用户研究前先取得同意。API 密钥要保密。设一个花费上限。
每一课都有游戏、测验和练习纸。
0/36
人工智能系统架构
- 1系统组件标出人工智能系统里的组件和服务。
- 说出数据层、模型层、服务层和界面层。
- 把一个真实的人工智能产品对到这些层上。
- 找出单点故障。
- 2模型选择按质量、速度和成本做模型选择。
- 在你自己的测试集上比较三个模型。
- 测量每次请求的速度和成本。
- 选一个,并说明取舍。
- 3自建还是购买决定何时自建(训练或微调),还是购买 API。
- 列出每种做法的成本。
- 考虑数据、隐私和控制权。
- 为你的结业项目做决定。
- 4架构设计画出系统的架构设计并为它辩护。
- 画出组件和数据流。
- 标出错误和攻击可能出现的地方。
- 展示它,并回答问题。
问题表述
- 5找到一个问题找到一个值得解决的真实问题。
- 访谈有这个问题的人。
- 查一查已经有什么。
- 说明人工智能为什么是合适的工具,或为什么不是。
- 6研究问题写出一个你能检验的研究问题。
- 把一个宽泛的想法收成一个窄问题。
- 说出你要测量什么。
- 说出什么样的结果能回答它。
- 7需求列出需求:系统必须做的和绝不能做的。
- 写出功能需求。
- 写出准确率、速度、成本和安全的限度。
- 按优先级排序。
- 8项目提案写一页带基线的项目提案。
- 写明问题、方法和数据。
- 定一个要超越的简单基线。
- 定一条时间线。
进阶人工智能应用
- 9多模态系统把视觉、文本和音频合进一个多模态系统。
- 研究一个真实的多模态系统。
- 选择怎样合并输入。
- 找出一种输入能纠正另一种输入错误的地方。
- 10智能体系统设计带检查的多步智能体系统。
- 把工作分成规划者、执行者和检查者。
- 在步骤之间加上检查。
- 限制工具和花费。
- 11科学里的人工智能说明科学里的人工智能怎样加快科学发现。
- 研究一个例子,比如蛋白质折叠或天气预报。
- 说出人工智能做了什么,科学家做了什么。
- 找一个你可以用的科学数据集。
- 12原型做出能用的原型:第一版。
- 做出从头到尾能跑通的最小版本。
- 拿它和基线比一比。
- 列出先改进什么。
实验设计
- 13假设说出一个假设,以及什么会推翻它。
- 写一个你能检验的假设。
- 写出能证明它是错的结果。
- 预测效应有多大。
- 14变量与对照只改变一个变量,对照保持不动。
- 说出自变量和因变量。
- 固定随机种子和设置。
- 每种设置多跑几次。
- 15数据集与划分做出公平的数据集与划分:训练集、验证集和测试集。
- 防止划分之间泄露。
- 需要时按时间、地点或人来划分。
- 把测试集锁到最后。
- 16实验计划在运行任何东西之前,先写实验计划。
- 列出每一次运行和它的设置。
- 事先定好指标。
- 估计计算量和成本。
人工智能评估
- 17基准选一个基准,并说明它的限度。
- 为你的任务找一个公开基准。
- 检查模型在训练时是否可能见过它。
- 加上你自己的测试用例。
- 18稳健性用有噪声和发生偏移的输入来测试稳健性。
- 加上噪声、错字和模糊。
- 用新地点或新时间的数据来测试。
- 测量分数掉了多少。
- 19消融研究在消融研究里去掉各部分,测量每一部分带来什么。
- 列出系统的各个部分。
- 一次去掉一个,再重新运行。
- 把结果做成一张表。
- 20报告结果用误差线和诚实的限度来报告结果。
- 展示各次运行的平均值和散布。
- 和基线比较。
- 把限度写明白。
人与人工智能协作
- 21人工监督用人工监督决定哪里必须由人来批准。
- 按风险给决策排序。
- 在高风险的决策上加上人。
- 设计一个能轻易推翻人工智能的办法。
- 22可解释性用可解释性说明模型为什么做出这个选择。
- 使用特征重要性或显著性图。
- 为生成的回答展示来源。
- 测试用户是否看懂解释。
- 23反馈循环用反馈循环收集用户反馈,来改进系统。
- 加上评分和评论。
- 把反馈变成新的测试用例。
- 留意会带来偏见的反馈。
- 24用户研究做一次小型用户研究并总结它。
- 取得每位参与者的同意。
- 给出任务,测量成功率和时间。
- 总结什么行得通,什么行不通。
部署与运维
- 25推理服务把模型放在 API 后面,做成推理服务。
- 把模型包进一个网页 API。
- 加上输入检查和超时。
- 做压力测试。
- 26监控做监控:跟踪错误、速度和漂移。
- 记录请求,但不记个人数据。
- 画出错误和响应时间。
- 发现输入何时偏离训练数据。
- 27成本与规模估算成本和规模:每位用户的成本。
- 测量每次请求的成本。
- 估算 100 位和 10,000 位用户时的成本。
- 用缓存或更小的模型降低成本。
- 28上线一个演示把演示上线,让别人能试用。
- 部署到一个免费主机。
- 加上花费上限和速率限制。
- 给用户写一份简短指南。
人工智能创新
- 29机会找出机会:人工智能能满足的一个需求。
- 研究三个人工智能产品和它们满足的需求。
- 找出一个还没被满足的需求。
- 估计谁会用它。
- 30研究伦理检查研究伦理:同意、隐私和伤害。
- 检查你的数据的许可和同意。
- 去掉个人数据。
- 列出可能的伤害,以及你怎样减少它们。
- 31社会影响权衡社会影响:谁获益,谁可能受损。
- 标出系统影响到的每一个人。
- 为每一组权衡好处和风险。
- 因此改掉一个设计选择。
- 32提案或路演写一份研究提案,或一份带商业方案的路演。
- 选研究提案或创业路演。
- 用你的结果支撑每一条说法。
- 带着反馈练一遍。
人工智能结业工作室
- 33迭代做迭代:根据测试结果改进系统。
- 从你的评估里挑出最大的弱点。
- 修好它,再重跑测试。
- 把改动记进项目日志。
- 34技术写作用技术写作写出一份清楚的报告。
- 写出摘要、方法、结果和限度。
- 做出清楚的图和表。
- 分享代码,让别人能重复。
- 35海报与演示做一张海报和一次现场演示。
- 做一张一页的研究海报。
- 准备三分钟的现场演示。
- 准备一个备用方案,以防演示失败。
- 36人工智能结业项目展示结业项目:一套原创的人工智能系统及其评估。
- 展示问题、系统和结果。
- 说明它和基线比怎么样。
- 回答关于它的限度的问题。