Wszystkie lekcje

Kurs

AI klasy 11: generatywna AI i inżynieria agentów

Buduj aplikacje LLM z promptami, API, retrieval i narzędziami, a potem sprawdzaj ich bezpieczeństwo.

Rób lekcje po kolei. Na końcu umiesz liczyć tokeny, porównywać teksty podobieństwem embeddingów i wyjaśniać próbkowanie oraz okna kontekstu. Umiesz pisać prompty ustrukturyzowane i porównywać wersje promptów przypadkami testowymi. Umiesz przeglądać kod napisany przez AI i pisać testy, które ten kod musi przejść. Umiesz dostać JSON zgodny ze schematem, zbudować chatbota z limitem kosztu i zbudować aplikację, która odpowiada z dokumentów i je cytuje. Umiesz zbudować agenta z ograniczonymi narzędziami i regułą stopu, bronić aplikacji przed wstrzyknięciem promptu, zbudować automatyczny zestaw testów i wydać asystenta badań opartego na źródłach.

Jak używać tych lekcji

  • Zacznij od lekcji oznaczonej Zrób to. Idź dalej, gdy potrafisz sam zrobić wiersz pod tytułem.
  • Najpierw zagraj w Gry. Potem zrób Quiz. 8 z 10 dobrych, żeby zaliczyć. Karty pracy są na papierze. Odpowiedzi są na dole.
  • Każda lekcja opiera się na poprzedniej. Zostaw zestaw testów dla każdej aplikacji i uruchamiaj go po każdej zmianie.
  • Lekcje kodowania używają Pythona. Używaj tylko usług AI, które zatwierdzi nauczyciel, trzymaj klucze API poza kodem, ustaw limit wydatków i nigdy nie wysyłaj danych osobowych do modelu.

Każda lekcja ma gry, quiz i karty pracy.

0 z 36

Podstawy LLM

  1. 1Tokeny i słownictwoLicz tokeny i wyjaśnij, dlaczego są ważne.
    • Podziel tekst na tokeny prawdziwym tokenizerem.
    • Porównaj liczbę tokenów w różnych językach.
    • Połącz tokeny z kosztem i limitami kontekstu.
  2. 2Podobieństwo embeddingówPorównuj teksty podobieństwem embeddingów.
    • Pobierz embeddingi z modelu.
    • Oblicz podobieństwo cosinusowe.
    • Ułóż zdania według znaczenia, nie według wspólnych słów.
  3. 3Próbkowanie, temperatura i okna kontekstuWyjaśnij próbkowanie, temperaturę i okna kontekstu.
    • Wyjaśnij przewidywanie następnego tokenu.
    • Zmień temperaturę i porównaj wyniki.
    • Pokaż, co się dzieje, gdy tekst wychodzi poza okno kontekstu.
  4. 4Pretraining, fine-tuning i instruction tuningOdróżnij pretraining, fine-tuning i instruction tuning.
    • Powiedz, jakich danych używa każdy krok.
    • Wyjaśnij informację zwrotną od ludzi.
    • Powiedz, dlaczego model ma granicę wiedzy.

Inżynieria promptów

  1. 5Prompty ustrukturyzowaneNapisz prompt ustrukturyzowany z rolą, zadaniem, regułami i formatem.
    • Oddziel instrukcje od danych wejściowych.
    • Podaj format wyniku.
    • Porównaj prompt ustrukturyzowany i nieustrukturyzowany.
  2. 6Przykłady few-shotPopraw wynik przykładami few-shot.
    • Dodaj dwa albo trzy przykłady.
    • Wybierz przykłady, które obejmują przypadki brzegowe.
    • Zmierz zmianę na zestawie testów.
  3. 7Długość, ton i formatOgranicz długość, ton i format.
    • Ustaw limity długości i poziomu czytania.
    • Powiedz modelowi, co robić, gdy nie wie.
    • Sprawdź wyniki względem każdego ograniczenia.
  4. 8Przypadki testowe i wersje promptówPisz przypadki testowe i porównuj wersje promptów.
    • Napisz dwadzieścia wejść testowych z oczekiwanymi wynikami.
    • Oceń dwie wersje promptu.
    • Zostaw wersję, która wygrywa.

Kodowanie ze wsparciem AI

  1. 9Działający kod z jasnej specyfikacjiDostań działający kod z jasnej specyfikacji.
    • Napisz specyfikację z wejściami, wyjściami i przykładami.
    • Wygeneruj z niej kod.
    • Uruchom go na przykładach.
  2. 10Kod napisany przez AIZnajdź błędy i ryzyka w kodzie napisanym przez AI.
    • Sprawdź przypadki brzegowe i obsługę błędów.
    • Wypatrz zmyślone funkcje i biblioteki.
    • Wypatrz niebezpieczny kod, na przykład sekrety w źródle.
  3. 11Testy, które kod AI musi przejśćPisz testy, które kod AI musi przejść.
    • Pisz testy w pytest.
    • Niech AI napisze kod, który je przechodzi.
    • Dodaj test dla każdego błędu, który znajdziesz.
  4. 12Napraw błąd z AINapraw błąd z AI i wyjaśnij poprawkę.
    • Zrób mały przykład, który pokazuje błąd.
    • Poproś AI o przyczyny, nie tylko o poprawkę.
    • Wyjaśnij, dlaczego poprawka działa.

API modeli LLM

  1. 13Żądanie czatu i odpowiedźWyślij żądanie czatu i przeczytaj odpowiedź.
    • Wczytaj klucz API ze środowiska.
    • Wyślij żądanie przez SDK.
    • Przeczytaj odpowiedź i zużycie tokenów.
  2. 14Wiadomości systemowe i użytkownikaUżywaj wiadomości systemowych i użytkownika.
    • Włóż reguły do wiadomości systemowej.
    • Włóż wejście użytkownika do wiadomości użytkownika.
    • Zachowaj historię rozmowy.
  3. 15JSON zgodny ze schematemDostań JSON zgodny ze schematem.
    • Zdefiniuj schemat JSON.
    • Poproś o wynik, który go przestrzega.
    • Sprawdź wynik i spróbuj ponownie, gdy się nie uda.
  4. 16Chatbot z limitem kosztuZbuduj chatbota z historią i limitem kosztu.
    • Zachowaj historię rozmowy.
    • Przytnij stare wiadomości, żeby zmieściły się w kontekście.
    • Zatrzymaj się, gdy limit kosztu zostanie osiągnięty.

Generowanie z retrieval

  1. 17Dlaczego opierać się na źródłachWyjaśnij, dlaczego opieranie się na źródłach zmniejsza zmyślone odpowiedzi.
    • Zapytaj model o dokument, którego nigdy nie widział.
    • Dodaj ten dokument i zapytaj jeszcze raz.
    • Narysuj potok: najpierw pobierz, potem generuj.
  2. 18Podziel dokumenty na fragmentyPodziel dokumenty na fragmenty.
    • Podziel według rozmiaru z nakładaniem.
    • Podziel według nagłówków.
    • Zostaw źródło i stronę przy każdym fragmencie.
  3. 19Fragmenty najbliższe pytaniuZnajdź fragmenty najbliższe pytaniu.
    • Zrób embeddingi fragmentów i je zapisz.
    • Pobierz najlepsze dopasowania do pytania.
    • Zmierz, jak często znajduje się właściwy fragment.
  4. 20Odpowiadaj z dokumentów i je cytujZbuduj aplikację, która odpowiada z dokumentów i je cytuje.
    • Włóż pobrane fragmenty do promptu.
    • Wymagaj cytatu przy każdym twierdzeniu.
    • Sprawdź, że cytaty wskazują prawdziwe ustępy.

Narzędzia AI i agenty

  1. 21Model wywołuje funkcjęPozwól modelowi wywołać funkcję.
    • Opisz narzędzie schematem.
    • Uruchom narzędzie, o które prosi model.
    • Odeślij wynik do modelu.
  2. 22Kroki, które model może wykonaćPodziel zadanie na kroki, które model może wykonać.
    • Poproś model najpierw o plan.
    • Wykonuj plan krok po kroku.
    • Sprawdź każdy krok, zanim pójdziesz dalej.
  3. 23Co agent już zrobiłZapisuj, co agent już zrobił.
    • Zapisuj każdy krok i jego wynik.
    • Streszczaj długie historie.
    • Zdecyduj, co agent powinien zapomnieć.
  4. 24Agent z ograniczonymi narzędziami i regułą stopuZbuduj agenta z ograniczonymi narzędziami i regułą stopu.
    • Pozwól tylko na bezpieczne narzędzia tylko do odczytu.
    • Ogranicz liczbę kroków.
    • Pytaj człowieka przed każdym działaniem, które coś zmienia.

Multimodalna generatywna AI

  1. 25Jak modele dyfuzji robią obrazyWyjaśnij, jak modele dyfuzji robią obrazy.
    • Wyjaśnij dodawanie i usuwanie szumu.
    • Wyjaśnij, jak tekst prowadzi obraz.
    • Omów zgodę i prawa autorskie dla obrazów generowanych.
  2. 26Pytania o obrazZadawaj modelowi pytania o obraz.
    • Wyślij obraz razem z pytaniem.
    • Dostań ustrukturyzowany opis.
    • Znajdź szczegół, który model podaje źle.
  3. 27Mowa na tekst i tekst na mowęZamień mowę na tekst i tekst na mowę.
    • Transkrybuj krótkie nagranie.
    • Zmierz wskaźnik błędu słów.
    • Wygeneruj mowę i oznacz ją jako zrobioną przez AI.
  4. 28Prototyp z dwoma rodzajami wejściaZbuduj prototyp, który używa dwóch rodzajów wejścia.
    • Wybierz dwa wejścia, na przykład głos i obraz.
    • Połącz je w jednej aplikacji.
    • Przetestuj go z pięcioma użytkownikami.

Niezawodność i bezpieczeństwo

  1. 29Odpowiedzi, których źródła nie wspierająWykrywaj odpowiedzi, których źródła nie wspierają.
    • Sprawdź każde twierdzenie względem źródeł.
    • Użyj drugiego wywołania modelu, żeby oznaczyć twierdzenia bez wsparcia.
    • Zmierz, jak często odpowiedzi są w pełni wsparte.
  2. 30Wstrzyknięcie promptuBroń aplikacji przed wstrzyknięciem promptu.
    • Napisz ataki ukryte w wejściu użytkownika i w dokumentach.
    • Oddziel zaufane instrukcje od niezaufanego tekstu.
    • Ogranicz narzędzia, do których atak mógłby sięgnąć.
  3. 31Oceny rubrykami i zestawami testówOceniaj wyniki rubrykami i zestawami testów.
    • Napisz rubrykę oceniania.
    • Oceniaj ręcznie i modelem.
    • Sprawdź, jak często się zgadzają.
  4. 32Automatyczny zestaw testówZbuduj automatyczny zestaw testów dla aplikacji LLM.
    • Obejmij dokładność, format, bezpieczeństwo i koszt.
    • Uruchamiaj go jednym poleceniem.
    • Niech build nie przejdzie, gdy wyniki spadną.

Studio produktów AI

  1. 33Użytkownicy, funkcje i miary sukcesuNapisz użytkowników, funkcje i miary sukcesu.
    • Wybierz zbiór zatwierdzonych dokumentów badawczych.
    • Napisz użytkowników i ich pytania.
    • Ustal cele dla dokładności, cytatów i kosztu.
  2. 34Retrieval, odpowiedzi i cytatyZbuduj retrieval, odpowiedzi i cytaty.
    • Zindeksuj dokumenty.
    • Odpowiadaj z cytatami.
    • Uruchom zestaw testów.
  3. 35Powiedz: nie wiemSpraw, by aplikacja mówiła nie wiem, gdy brakuje dowodów.
    • Wykryj, gdy retrieval nie znajduje nic użytecznego.
    • Odpowiadaj «Źródła tego nie mówią» zamiast zgadywać.
    • Przetestuj to pytaniami, na które dokumenty nie mogą odpowiedzieć.
  4. 36Asystent badań oparty na źródłachWydaj i przedstaw asystenta badań opartego na źródłach.
    • Wdróż aplikację dla swojej klasy.
    • Przedstaw wyniki dla dokładności, oparcia na źródłach, bezpieczeństwa i kosztu.
    • Wyjaśnij jego granice.