Totes les lliçons

Curs

IA d'11è: IA generativa i enginyeria d'agents

Crea apps de LLM amb prompts, APIs, recuperació i eines. Després prova si són segures.

Fes les lliçons en ordre. Al final, pots comptar tokens, comparar textos per similitud d'embeddings i explicar el mostreig, la temperatura i les finestres de context. Pots escriure un prompt estructurat i comparar versions del prompt amb casos de prova. Pots revisar codi d'IA i escriure proves que el codi d'IA ha de superar. Pots obtenir JSON que encaixa amb un esquema, crear un xatbot amb un límit de cost i crear una app que respon a partir de documents i els cita. Pots crear un agent controlat amb eines limitades i una regla d'aturada, defensar una app contra la injecció de prompts, crear una suite de proves automàtica i publicar un assistent de recerca amb IA ancorat.

Com fer servir aquestes lliçons

  • Comença a la lliçó que diu Fes això. Passa endavant quan puguis fer tu sol la línia de sota el títol.
  • Primer juga als Jocs. Després fes les Proves. 8 de 10 encerts per aprovar. Les Fitxes són en paper. Les respostes són a baix.
  • Cada lliçó es basa en l'anterior. Guarda un conjunt de prova per a cada app i executa'l després de cada canvi.
  • Les lliçons de codi fan servir Python. Fes servir només els serveis d'IA que aprovi el professor, deixa les claus d'API fora del codi, posa un límit de despesa i no enviïs mai dades personals a un model.

Cada lliçó té jocs, proves i fitxes.

0 de 36

Fonaments dels LLM

  1. 1Tokens i vocabulariCompta tokens i explica per què importen els tokens i el vocabulari.
    • Tokenitza un text amb un tokenitzador real.
    • Compara quants tokens hi ha en cada llengua.
    • Relaciona els tokens amb el cost i amb els límits de context.
  2. 2EmbeddingsCompara textos per similitud d'embeddings.
    • Obtén embeddings d'un model.
    • Calcula la similitud del cosinus.
    • Ordena frases pel significat, no per les paraules que comparteixen.
  3. 3Com generen els LLMExplica com generen els LLM: el mostreig, la temperatura i les finestres de context.
    • Explica la predicció del token següent.
    • Canvia la temperatura i compara les sortides.
    • Mostra què passa quan el text passa la finestra de context.
  4. 4Preentrenament i ajustDistingeix el preentrenament, l'ajust fi i l'ajust per instruccions.
    • Digues quines dades fa servir cada pas.
    • Explica la retroacció de les persones.
    • Digues per què un model té un tall de coneixement.

Enginyeria de prompts

  1. 5Prompts estructuratsEscriu un prompt estructurat amb rol, tasca, regles i format.
    • Separa les instruccions de les dades d'entrada.
    • Indica el format de sortida.
    • Compara un prompt estructurat i un sense estructura.
  2. 6Pocs exemplesMillora la sortida amb pocs exemples.
    • Afegeix dos o tres exemples.
    • Tria exemples que cobreixin els casos límit.
    • Mesura el canvi en un conjunt de prova.
  3. 7RestriccionsPosa restriccions de llargada, to i format.
    • Posa límits de llargada i de nivell de lectura.
    • Digues al model què ha de fer quan no ho sap.
    • Comprova cada sortida contra cada restricció.
  4. 8Proves de promptsEscriu proves de prompts: casos de prova per comparar versions del prompt.
    • Escriu vint entrades de prova amb el resultat esperat.
    • Puntua dues versions del prompt.
    • Queda't amb la versió que guanya.

Programació amb ajuda de la IA

  1. 9Generar codiGenera codi que funciona a partir d'una especificació clara.
    • Escriu una especificació amb entrades, sortides i exemples.
    • Genera'n el codi.
    • Executa'l amb els exemples.
  2. 10Revisar codi d'IARevisa codi d'IA i troba errors i riscos.
    • Revisa els casos límit i la gestió d'errors.
    • Detecta funcions i biblioteques inventades.
    • Detecta codi insegur, com secrets dins del codi font.
  3. 11Primer les provesEscriu primer proves que el codi d'IA ha de superar.
    • Escriu proves amb pytest.
    • Fes que la IA escrigui codi per superar-les.
    • Afegeix una prova per cada error que trobis.
  4. 12Depurar amb IADepura amb IA: arregla un error i explica l'arranjament.
    • Fes un exemple petit que mostri l'error.
    • Demana a la IA les causes, no només un arranjament.
    • Explica per què l'arranjament funciona.

APIs de LLM

  1. 13Primera crida a l'APIFes una primera crida a l'API: envia una petició de xat i llegeix la resposta.
    • Carrega la clau d'API des de l'entorn.
    • Envia una petició amb un SDK.
    • Llegeix la resposta i l'ús de tokens.
  2. 14Missatges de sistema i d'usuariFes servir missatges de sistema i missatges d'usuari.
    • Posa les regles al missatge de sistema.
    • Posa l'entrada de l'usuari als missatges d'usuari.
    • Guarda l'historial de la conversa.
  3. 15Sortides estructuradesObtén sortides estructurades: JSON que encaixa amb un esquema.
    • Defineix un esquema JSON.
    • Demana una sortida que el segueixi.
    • Valida la sortida i torna-ho a provar si falla.
  4. 16XatbotCrea un xatbot amb historial i un límit de cost.
    • Guarda l'historial de la conversa.
    • Retalla els missatges vells perquè càpiguen al context.
    • Atura't quan s'arribi al límit de cost.

Generació augmentada amb recuperació

  1. 17Per què la recuperacióExplica per què la recuperació ancora les respostes i redueix les inventades.
    • Pregunta a un model per un document que no ha vist mai.
    • Afegeix el document i torna a preguntar.
    • Dibuixa el camí de recuperar i després generar.
  2. 18Parteix en trossosParteix els documents en trossos.
    • Parteix per mida, amb un encavalcament.
    • Parteix per títols.
    • Guarda la font i la pàgina a cada tros.
  3. 19Cerca per vectorsFes servir la cerca per vectors per trobar els trossos més propers a una pregunta.
    • Crea embeddings dels trossos i desa'ls.
    • Recupera les millors coincidències d'una pregunta.
    • Mesura quantes vegades es troba el tros correcte.
  4. 20Respondre des de documentsCrea una app que respon a partir de documents i els cita.
    • Posa els trossos recuperats al prompt.
    • Exigeix una citació per a cada afirmació.
    • Comprova que les citacions apuntin a passatges reals.

Eines d'IA i agents

  1. 21Cridar einesDeixa que un model cridi una eina, que és una funció.
    • Descriu una eina amb un esquema.
    • Executa l'eina que demana el model.
    • Torna el resultat al model.
  2. 22PlanificarPlanifica: parteix una tasca en passos que un model pot executar.
    • Demana primer un pla al model.
    • Executa el pla un pas cada vegada.
    • Revisa cada pas abans de continuar.
  3. 23Estat i memòriaFes servir l'estat i la memòria per seguir què ha fet un agent.
    • Desa cada pas i el seu resultat.
    • Resumeix els historials llargs.
    • Decideix què ha d'oblidar l'agent.
  4. 24Agent controlatCrea un agent controlat amb eines limitades i una regla d'aturada.
    • Permet només eines segures de només lectura.
    • Posa un sostre al nombre de passos.
    • Pregunta a una persona abans de qualsevol acció que canviï alguna cosa.

IA generativa multimodal

  1. 25Generar imatgesExplica com generar imatges: els models de difusió creen imatges.
    • Explica com s'afegeix i es treu el soroll.
    • Explica com el text guia la imatge.
    • Parla del consentiment i dels drets d'autor de les imatges generades.
  2. 26Visió i llenguatgeFes servir la visió i el llenguatge per fer preguntes a un model sobre una imatge.
    • Envia una imatge amb una pregunta.
    • Obtén una descripció estructurada.
    • Troba un detall en què el model s'equivoca.
  3. 27ParlaPassa la parla a text i el text a parla.
    • Transcriu una gravació curta.
    • Mesura la taxa de paraules errònies.
    • Genera parla i marca-la com a feta per IA.
  4. 28Prototip multimodalCrea un prototip multimodal que fa servir dos tipus d'entrada.
    • Tria dues entrades, com la veu i la imatge.
    • Connecta-les en una sola app.
    • Prova'l amb cinc usuaris.

Fiabilitat i seguretat

  1. 29Al·lucinacionsDetecta al·lucinacions: respostes que les fonts no avalen.
    • Comprova cada afirmació amb les fonts.
    • Fes servir una segona crida al model per marcar el que no té aval.
    • Mesura quantes vegades la resposta està del tot avalada.
  2. 30Injecció de promptsDefensa una app contra la injecció de prompts.
    • Escriu atacs amagats a l'entrada de l'usuari i als documents.
    • Separa les instruccions de confiança del text que no és de confiança.
    • Limita a quines eines pot arribar un atac.
  3. 31AvaluacióFes una avaluació: puntua sortides amb rúbriques i conjunts de prova.
    • Escriu una rúbrica de puntuació.
    • Puntua a mà i amb un model.
    • Comprova quantes vegades coincideixen.
  4. 32Suite de provesCrea una suite de proves automàtica per a una app de LLM.
    • Cobreix la precisió, el format, la seguretat i el cost.
    • Executa-la amb una sola ordre.
    • Fes que la compilació falli quan baixin les puntuacions.

Estudi de producte d'IA

  1. 33Especificació del producteEscriu l'especificació del producte: els usuaris, les funcions i les mesures d'èxit.
    • Tria un conjunt de documents de recerca aprovats.
    • Escriu els usuaris i les seves preguntes.
    • Posa objectius de precisió, de citacions i de cost.
  2. 34Construir la canalitzacióConstrueix la canalització de recuperació, respostes i citacions.
    • Indexa els documents.
    • Respon amb citacions.
    • Executa la suite de proves.
  3. 35Dir que no ho séFes que l'app digui que no ho sé quan falta l'evidència.
    • Detecta quan la recuperació no troba res d'útil.
    • Respon «Les fonts no ho diuen» en comptes d'endevinar.
    • Prova-ho amb preguntes que els documents no poden respondre.
  4. 36Assistent de recerca amb IAPublica i presenta un assistent de recerca amb IA ancorat.
    • Desplega l'app per a la teva classe.
    • Presenta les puntuacions de precisió, ancoratge, seguretat i cost.
    • Explica'n els límits.