Alle lessen

Cursus

AI klas 12: AI-systemen, onderzoek en innovatie

Ontwerp een origineel AI-systeem, test het en zet een demo online. Presenteer daarna het originele AI-systeem en de evaluatie ervan als eindproject.

Doe de lessen op volgorde. Aan het eind kun je de diensten in een AI-systeem in kaart brengen. Je kunt een model kiezen op kwaliteit, snelheid en kosten, en een systeemontwerp verdedigen. Je kunt een onderzoeksvraag schrijven die je kunt testen, en een voorstel van één pagina met een basislijn. Je kunt een eerste werkende versie bouwen, een experimentplan schrijven en testen met invoer met ruis. Je kunt delen weghalen en meten wat elk deel toevoegt in een ablatiestudie. Je kunt een klein gebruikersonderzoek doen, een demo online zetten en fouten en kosten volgen. Je kunt afwegen wie wint en wie kan verliezen. Je kunt een origineel AI-systeem en de evaluatie ervan presenteren.

Zo gebruik je deze lessen

  • Begin bij de les met Doe dit. Ga verder als je de regel onder de titel zelf kunt doen.
  • Speel eerst de Spelletjes. Maak daarna de Toets. 8 van 10 goed om te halen. De Werkbladen zijn op papier. De antwoorden staan onderaan.
  • Elke les brengt je eindproject verder. Houd een projectlog bij: elke beslissing, elk experiment en elk resultaat, ook de mislukte.
  • Kies een eindproject in wetenschap, bijles, robotica en visie, of een startupidee. Gebruik alleen data die je mag gebruiken. Vraag toestemming vóór elk gebruikersonderzoek. Houd API-sleutels privé. Stel een bestedingslimiet in.

Elke les heeft spelletjes, een toets en werkbladen.

0 van 36

Architectuur van AI-systemen

  1. 1Diensten in een AI-systeemBreng de diensten in een AI-systeem in kaart.
    • Noem de lagen voor data, model, aanbieden en interface.
    • Breng een echt AI-product daarop in kaart.
    • Vind de enkelvoudige storingspunten.
  2. 2Kies een modelKies een model op kwaliteit, snelheid en kosten.
    • Vergelijk drie modellen op je eigen testset.
    • Meet snelheid en kosten per verzoek.
    • Kies er één en verantwoord de afweging.
  3. 3Trainen, fijn afstemmen of een APIBeslis wanneer je traint, fijn afstemt of een API gebruikt.
    • Noem de kosten van elke keuze.
    • Denk aan data, privacy en controle.
    • Beslis voor je eindproject.
  4. 4SysteemontwerpTeken een systeemontwerp en verdedig het.
    • Teken de onderdelen en de datastroom.
    • Markeer waar fouten en aanvallen kunnen gebeuren.
    • Presenteer het en beantwoord vragen.

Probleem formuleren

  1. 5Een echt probleemKies een echt probleem dat de moeite waard is om op te lossen.
    • Interview mensen die het probleem hebben.
    • Kijk wat er al bestaat.
    • Zeg waarom AI het juiste hulpmiddel is, of niet.
  2. 6OnderzoeksvraagSchrijf een onderzoeksvraag die je kunt testen.
    • Maak van een breed idee een smalle vraag.
    • Noem wat je gaat meten.
    • Zeg welk resultaat de vraag zou beantwoorden.
  3. 7Wat het systeem wel en niet moetNoem wat het systeem wel en niet moet doen.
    • Schrijf functionele eisen.
    • Schrijf grenzen voor nauwkeurigheid, snelheid, kosten en veiligheid.
    • Rangschik ze op prioriteit.
  4. 8Voorstel van één paginaSchrijf een voorstel van één pagina met een basislijn.
    • Noem het probleem, de aanpak en de data.
    • Bepaal een eenvoudige basislijn om te verslaan.
    • Maak een tijdlijn.

Gevorderde AI-toepassingen

  1. 9Beeld, tekst en audioCombineer beeld, tekst en audio in één systeem.
    • Bestudeer een echt multimodaal systeem.
    • Kies hoe je de invoer combineert.
    • Vind waar één invoer de fouten van een andere kan herstellen.
  2. 10Agenten in meerdere stappenOntwerp agenten in meerdere stappen met controles.
    • Verdeel het werk over de rollen planner, werker en controleur.
    • Voeg controles toe tussen de stappen.
    • Beperk gereedschap en uitgaven.
  3. 11AI versnelt ontdekkingLeg uit hoe AI wetenschappelijke ontdekking versnelt.
    • Bestudeer één geval, zoals eiwitvouwing of weersverwachting.
    • Zeg wat de AI deed en wat wetenschappers deden.
    • Vind een wetenschappelijke gegevensset die je zou kunnen gebruiken.
  4. 12Een eerste werkende versieBouw een eerste werkende versie.
    • Bouw de kleinste versie die van begin tot eind werkt.
    • Draai hem tegen de basislijn.
    • Noem wat je eerst verbetert.

Opzet van experimenten

  1. 13HypotheseStel een hypothese en wat haar zou weerleggen.
    • Schrijf een hypothese die je kunt testen.
    • Schrijf het resultaat dat haar zou ontkrachten.
    • Voorspel de grootte van het effect.
  2. 14Verander één dingVerander één ding en houd de rest gelijk.
    • Noem de onafhankelijke en afhankelijke variabelen.
    • Zet toevalsgetallen en instellingen vast.
    • Draai elke instelling een paar keer.
  3. 15Eerlijke train-, validatie- en testsetsBouw eerlijke trainings-, validatie- en testsets.
    • Voorkom lekken tussen de verdelingen.
    • Splits op tijd, plaats of persoon als dat nodig is.
    • Sluit de testset tot het einde.
  4. 16ExperimentplanSchrijf een experimentplan voordat je iets draait.
    • Noem elke uitvoering en de instellingen.
    • Beslis de metrieken van tevoren.
    • Schat de rekenkracht en de kosten.

AI-evaluatie

  1. 17BenchmarkKies een benchmark en leg de grenzen uit.
    • Vind een openbare benchmark voor je taak.
    • Controleer of modellen hem in de training gezien kunnen hebben.
    • Voeg je eigen testgevallen toe.
  2. 18Invoer met ruis en verschoven invoerTest met invoer met ruis en verschoven invoer.
    • Voeg ruis, typefouten en wazigheid toe.
    • Test op data van een nieuwe plaats of tijd.
    • Meet hoeveel de score daalt.
  3. 19AblatiestudieHaal in een ablatiestudie delen weg en meet wat elk deel toevoegt.
    • Noem de delen van je systeem.
    • Haal er één per keer weg en draai opnieuw.
    • Maak een tabel van de resultaten.
  4. 20Resultaten rapporterenRapporteer resultaten met foutbalken en eerlijke grenzen.
    • Toon het gemiddelde en de spreiding over de uitvoeringen.
    • Vergelijk met de basislijn.
    • Schrijf de grenzen duidelijk op.

Samenwerking tussen mens en AI

  1. 21Waar een mens moet goedkeurenBeslis waar een mens moet goedkeuren.
    • Rangschik beslissingen op risico.
    • Zet een mens bij de beslissingen met hoog risico.
    • Ontwerp een makkelijke manier om het antwoord van de AI te vervangen.
  2. 22Waarom het model koosLeg uit waarom een model een keuze maakte.
    • Gebruik het belang van kenmerken of saliency-kaarten.
    • Toon bronnen bij gegenereerde antwoorden.
    • Test of gebruikers de uitleg begrijpen.
  3. 23Feedback van gebruikersVerzamel feedback van gebruikers om het systeem te verbeteren.
    • Voeg scores en opmerkingen toe.
    • Maak van feedback nieuwe testgevallen.
    • Let op feedback die vooroordeel toevoegt.
  4. 24GebruikersonderzoekDoe een klein gebruikersonderzoek en vat het samen.
    • Vraag toestemming aan elke deelnemer.
    • Geef taken en meet succes en tijd.
    • Vat samen wat werkte en wat niet.

Uitrol en beheer

  1. 25Een model achter een APIBied een model aan achter een API.
    • Wikkel het model in een web-API.
    • Voeg invoercontroles en tijdslimieten toe.
    • Doe een belastingtest.
  2. 26Fouten, snelheid en driftVolg fouten, snelheid en drift.
    • Leg verzoeken vast zonder persoonsgegevens.
    • Teken grafieken van fouten en reactietijd.
    • Merk wanneer invoer afwijkt van de trainingsdata.
  3. 27Kosten per gebruikerSchat de kosten per gebruiker.
    • Meet de kosten per verzoek.
    • Schat de kosten bij 100 en 10.000 gebruikers.
    • Verlaag de kosten met caching of een kleiner model.
  4. 28Een demo onlineZet een demo online die anderen kunnen proberen.
    • Zet hem op een gratis host.
    • Voeg een bestedingslimiet en snelheidslimieten toe.
    • Schrijf een korte gids voor gebruikers.

AI-innovatie

  1. 29Een behoefte die AI kan vervullenVind een behoefte die AI zou kunnen vervullen.
    • Bestudeer drie AI-producten en de behoeften die ze vervullen.
    • Vind een behoefte die nog niet vervuld is.
    • Schat wie het zou gebruiken.
  2. 30Toestemming, privacy en schadeControleer toestemming, privacy en schade.
    • Controleer de licentie en de toestemming voor je data.
    • Haal persoonsgegevens weg.
    • Noem mogelijke schade en hoe je die verkleint.
  3. 31Wie wint en wie kan verliezenWeeg af wie wint en wie kan verliezen.
    • Breng iedereen in kaart die je systeem raakt.
    • Weeg voordelen af tegen risico’s voor elke groep.
    • Verander één ontwerpkeuze daarom.
  4. 32Onderzoeksvoorstel of businesscaseSchrijf een onderzoeksvoorstel of een businesscase.
    • Kies een onderzoeksvoorstel of een startup-pitch.
    • Onderbouw elke bewering met je resultaten.
    • Oefen het met feedback.

Studio voor het AI-eindproject

  1. 33Verbeter vanuit testresultatenVerbeter het systeem vanuit de testresultaten.
    • Kies de grootste zwakte uit je evaluatie.
    • Los die op en draai de tests opnieuw.
    • Noteer de verandering in je log.
  2. 34Technisch verslagSchrijf een duidelijk technisch verslag.
    • Schrijf de samenvatting, de methode, de resultaten en de grenzen.
    • Maak duidelijke figuren en tabellen.
    • Deel je code zodat anderen het kunnen herhalen.
  3. 35Poster en live demoMaak een poster en een live demo.
    • Maak een onderzoeksposter van één pagina.
    • Bereid een live demo van 3 minuten voor.
    • Bereid een reserve voor als de demo mislukt.
  4. 36Origineel AI-systeemPresenteer een origineel AI-systeem en de evaluatie ervan.
    • Presenteer het probleem, het systeem en de resultaten.
    • Laat zien hoe het zich verhoudt tot de basislijn.
    • Beantwoord vragen over de grenzen.