Semua pelajaran

Kursus

AI kelas 10: Pembelajaran Mendalam dan AI Multimodal

Bangun dan latih jaringan saraf di PyTorch untuk gambar, teks, dan suara.

Kerjakan pelajaran berurutan. Di akhir, kamu bisa menghitung keluaran neuron, membandingkan aktivasi, dan menulis lintasan maju dengan NumPy. Kamu bisa memilih fungsi rugi, menjelaskan penurunan gradien dan propagasi balik, dan menulis loop pelatihan dan uji yang lengkap di PyTorch. Kamu bisa melatih CNN untuk mengklasifikasi gambar, melatih pengklasifikasi sentimen untuk membedakan ulasan positif dan negatif, menjelaskan bagaimana atensi menimbang token lain, dan mengklasifikasi klip audio pendek. Kamu bisa mengurangi overfitting, menyetel halus model pra-latih pada kelas baru, mengelompokkan kesalahan dan mencari penyebabnya, dan menyajikan pemantau satwa liar pada gambar yang belum dilihat.

Cara pakai pelajaran ini

  • Mulai di pelajaran yang bertanda Lakukan ini. Lanjut kalau kamu bisa mengerjakan sendiri baris di bawah judul.
  • Mainkan Permainan dulu. Lalu kerjakan Kuis. 8 dari 10 benar untuk lulus. Lembar kerja ada di kertas. Jawaban ada di bawah.
  • Setiap pelajaran membangun pelajaran sebelumnya. Catat setiap sesi latih: pengaturan, kurva rugi, dan skor uji.
  • Pelajaran kode memakai Python dan PyTorch di notebook daring gratis dengan GPU. Model kecil dan dataset kecil sudah cukup. Pakai hanya dataset terbuka yang boleh kamu pakai, dan jangan pernah melatih foto orang tanpa izin mereka.

Setiap pelajaran punya permainan, kuis, dan lembar kerja.

0 dari 36

Dasar Jaringan Saraf

  1. 1NeuronHitung keluaran neuron dari masukan, bobot, dan bias.
    • Tulis jumlah berbobot ditambah bias.
    • Hitung dengan tangan untuk 3 masukan.
    • Hitung di kode dengan perkalian titik.
  2. 2AktivasiBandingkan aktivasi ReLU, sigmoid, dan softmax.
    • Gambar setiap aktivasi.
    • Jelaskan mengapa jaringan butuh aktivasi nonlinear.
    • Pakai softmax untuk mengubah skor menjadi probabilitas.
  3. 3Lapisan dan JaringanTumpuk lapisan menjadi sebuah jaringan.
    • Tulis sebuah lapisan sebagai perkalian matriks.
    • Lacak bentuk data di setiap lapisan.
    • Hitung parameter sebuah jaringan.
  4. 4Jaringan KecilTulis lintasan maju jaringan kecil dengan NumPy.
    • Bangun jaringan 2 lapisan di NumPy.
    • Jalankan satu batch masukan melaluinya.
    • Periksa bentuk keluarannya.

Melatih Jaringan Saraf

  1. 5Fungsi RugiPilih fungsi rugi untuk suatu tugas dan hitungnya.
    • Pakai galat kuadrat rata-rata untuk regresi.
    • Pakai entropi silang untuk klasifikasi.
    • Katakan apa arti fungsi rugi yang turun.
  2. 6Penurunan GradienJelaskan bagaimana gradien menggerakkan bobot menurun.
    • Cari kemiringan kurva rugi.
    • Ambil langkah dengan laju belajar.
    • Lihat apa yang terjadi jika laju belajar terlalu besar atau terlalu kecil.
  3. 7Propagasi BalikTelusuri bagaimana galat mengalir balik melalui jaringan.
    • Pakai aturan rantai pada jaringan kecil.
    • Hitung satu gradien dengan tangan.
    • Cocokkan dengan diferensiasi otomatis.
  4. 8Latih JaringanLatih jaringan kecil dan gambar fungsi rugi.
    • Latih dengan mini-batch.
    • Gambar rugi latih dan rugi validasi.
    • Berhenti saat rugi validasi tidak membaik lagi.

Kerangka Pembelajaran Mendalam

  1. 9TensorBuat dan ubah bentuk tensor PyTorch.
    • Buat tensor dan periksa bentuk serta tipenya.
    • Ubah bentuk, tumpuk, dan potong tensor.
    • Pindahkan tensor ke GPU.
  2. 10ModulBangun model modul dengan torch.nn.
    • Buat subkelas nn.Module.
    • Pakai lapisan Linear dan aktivasi.
    • Cetak model dan jumlah parameternya.
  3. 11PengoptimalLatih dengan pengoptimal SGD dan Adam.
    • Pakai zero_grad, backward, dan step.
    • Bandingkan SGD dan Adam pada satu tugas.
    • Pakai jadwal laju belajar.
  4. 12Skrip PelatihanTulis loop pelatihan dan uji yang lengkap.
    • Muat data dengan DataLoader.
    • Latih, validasi, dan uji.
    • Simpan model terbaik.

Penglihatan Komputer

  1. 13Gambar sebagai TensorMuat gambar sebagai tensor dan normalkan.
    • Muat gambar sebagai kanal, tinggi, dan lebar.
    • Ubah ukuran dan normalkan.
    • Tampilkan satu batch sebagai kisi.
  2. 14KonvolusiJelaskan bagaimana filter konvolusi menemukan tepi.
    • Geser filter 3×3 di atas gambar dengan tangan.
    • Terapkan filter tepi di kode.
    • Jelaskan stride, padding, dan pooling.
  3. 15CNNBangun jaringan saraf konvolusi, yaitu CNN.
    • Tumpuk lapisan konvolusi, aktivasi, dan pooling.
    • Ratakan dan tambahkan kepala pengklasifikasi.
    • Lacak bentuk data sepanjang jaringan.
  4. 16Pengklasifikasi GambarLatih CNN untuk mengklasifikasi gambar.
    • Latih pada dataset gambar yang kecil.
    • Laporkan akurasi uji.
    • Tunjukkan gambar yang salah diklasifikasi.

Pemrosesan Bahasa Alami

  1. 17TokenisasiUbah teks menjadi token dan ID lewat tokenisasi.
    • Bandingkan token kata dan token subkata.
    • Bangun kosakata.
    • Samakan panjang urutan dengan padding.
  2. 18EmbeddingJelaskan bagaimana embedding menempatkan kata yang mirip berdekatan.
    • Pakai lapisan embedding.
    • Cari kata terdekat dari suatu kata.
    • Gambar embedding dalam 2 dimensi.
  3. 19Model TeksBangun model teks yang membaca urutan token.
    • Rata-ratakan embedding menjadi satu vektor.
    • Pakai lapisan rekuren yang sederhana.
    • Bandingkan keduanya.
  4. 20Pengklasifikasi SentimenLatih pengklasifikasi sentimen untuk membedakan ulasan positif dan negatif.
    • Latih pada dataset ulasan.
    • Laporkan akurasi, presisi, dan recall.
    • Cari ulasan yang menipu model, seperti sarkasme.

Transformer

  1. 21AtensiJelaskan bagaimana atensi menimbang token lain.
    • Jelaskan query, key, dan value.
    • Hitung bobot atensi untuk kalimat pendek.
    • Katakan mengapa atensi membantu makna jarak jauh.
  2. 22Blok TransformerSebut bagian-bagian blok transformer.
    • Sebut multi-head attention, feed-forward, dan lapisan normalisasi.
    • Jelaskan koneksi residual.
    • Jelaskan encoding posisi.
  3. 23Model Pra-latihPakai transformer pra-latih untuk suatu tugas.
    • Muat model pra-latih dan tokenizer.
    • Klasifikasikan teks dengannya.
    • Bandingkan dengan pengklasifikasi sentimen buatanmu.
  4. 24Peta AtensiBaca visualisasi peta atensi.
    • Gambar bobot atensi sebagai peta panas.
    • Cari kata mana yang diperhatikan suatu token.
    • Katakan mengapa atensi bukan penjelasan yang lengkap.

Audio dan AI Multimodal

  1. 25Suara sebagai DataUbah suara menjadi bentuk gelombang dan spektogram.
    • Muat suara dan gambar bentuk gelombangnya.
    • Jelaskan sample rate.
    • Buat spektogram.
  2. 26Pengklasifikasi AudioKlasifikasikan klip audio pendek.
    • Perlakukan spektogram sebagai gambar.
    • Latih CNN pada spektogram itu.
    • Uji dengan derau latar.
  3. 27Masukan MultimodalJelaskan bagaimana model menggabungkan masukan multimodal gambar dan teks.
    • Jelaskan encoder terpisah untuk setiap masukan.
    • Jelaskan ruang embedding bersama.
    • Sebut 3 aplikasi multimodal.
  4. 28Gambar dan TeksCocokkan gambar dengan keterangan teks memakai model pra-latih.
    • Buat embedding gambar dan keterangan.
    • Urutkan keterangan untuk setiap gambar.
    • Cari gambar dengan kueri teks.

Perbaikan Model

  1. 29RegularisasiKurangi overfitting dengan regularisasi dropout dan weight decay.
    • Tambahkan dropout.
    • Tambahkan weight decay.
    • Bandingkan kurva validasi.
  2. 30Augmentasi DataTambahkan gambar yang dibalik dan dipotong ke set latih sebagai augmentasi data.
    • Terapkan pembalikan, pemotongan, dan perubahan warna.
    • Lakukan augmentasi data hanya pada set latih.
    • Ukur perubahan akurasi uji.
  3. 31Pembelajaran TransferSetel halus model pra-latih pada kelas baru dengan pembelajaran transfer.
    • Bekukan lapisan pra-latih.
    • Ganti dan latih kepalanya.
    • Cairkan, lalu setel halus dengan laju belajar yang kecil.
  4. 32Analisis KesalahanKelompokkan kesalahan dan cari penyebabnya.
    • Baca matriks konfusi untuk banyak kelas.
    • Urutkan kesalahan ke dalam kelompok.
    • Pilih perbaikan untuk kelompok terbesar.

Proyek Pembelajaran Mendalam

  1. 33Data Satwa LiarPilih dan bagi dataset gambar satwa liar yang terbuka.
    • Pilih dataset perangkap kamera atau satwa liar yang terbuka.
    • Pilih 5 sampai 10 spesies.
    • Bagi menurut lokasi agar uji adil.
  2. 34Setel Halus ModelSetel halus pengklasifikasi gambar pada kelas satwa liar.
    • Setel halus model pra-latih.
    • Lacak akurasi validasi.
    • Simpan checkpoint terbaik.
  3. 35Antarmuka DemoBangun antarmuka demo yang menunjukkan prediksi pada gambar yang diunggah.
    • Terima gambar yang diunggah.
    • Tunjukkan 3 spesies teratas dan skornya.
    • Tunjukkan “tidak yakin” saat keyakinan rendah.
  4. 36Pemantau Satwa Liar CerdasSajikan akurasi pemantau satwa liar pada gambar yang belum dilihat dan kesalahan utamanya.
    • Laporkan akurasi pada gambar yang belum dilihat.
    • Tunjukkan kesalahan utama dan penyebabnya.
    • Katakan apa yang akan kamu ubah berikutnya.