1. Методы тонкой настройки для LLM
В этом уроке рассматриваются передовые методы адаптации предварительно обученных языковых моделей к конкретным задачам или областям. Темы включают передачу
обучение, обучение с малым количеством выстрелов и эффективные по параметрам методы тонкой настройки, такие как LoRA и настройка префикса. Студенты узнают, как
оптимизировать производительность модели для целевых приложений, минимизируя вычислительные ресурсы.
2.Оперативная разработка и оптимизация
Этот класс фокусируется на искусстве и науке создания эффективных подсказок для LLM. Он охватывает шаблоны проектирования подсказок, цепочку мыслей
подсказки и методы обучения с нулевым и малым количеством выстрелов. Студенты научатся оптимизировать подсказки для различных задач, понимать
влияние формулировки подсказок на результаты модели и изучение методов автоматизированной оптимизации подсказок.
3. Этические аспекты при получении степени магистра права
Этот урок углубляется в этические проблемы, которые ставят большие языковые модели. Темы включают смягчение предвзятости, справедливость в ИИ, конфиденциальность
проблемы и потенциальное общественное влияние LLM. Студенты будут изучать практические примеры, обсуждать нормативные рамки и узнавать
стратегии ответственной разработки и внедрения программ LLM.
4. Глубокое погружение в архитектуру LLM
Этот класс дает глубокий взгляд на архитектуры популярных LLM. Он охватывает эволюцию от RNN до Transformers и
изучает конкретные архитектуры, такие как GPT, BERT и T5. Студенты получат детальное понимание механизмов внимания, позиционного
кодировки и законы масштабирования, регулирующие производительность LLM.
5.Мультимодальные LLM
В этом уроке изучается интеграция множественных модальностей в языковых моделях. Он охватывает методы объединения
текст с изображениями, аудио и видео входами. Темы включают модели видения-языка, модели аудио-текста и последние достижения в
Мультимодальные трансформаторы. Студенты узнают о кросс-модальном внимании и методах слияния.
6.Оценка и сравнительный анализ LLM
Этот класс фокусируется на методах оценки и сравнения производительности LLM. Он охватывает популярные бенчмарки, такие как GLUE и SuperGLUE, а также
а также метрики оценки конкретных задач. Студенты узнают о проблемах в оценке LLM, методах оценки человека и
стратегии создания надежных фреймворков оценки для конкретных приложений.
7.Эффективное обучение и развертывание LLM
В этом уроке рассматриваются проблемы работы с ресурсоемкими языковыми моделями. Темы включают распределенные
Обучение, параллелизм модели, квантование и методы обрезки. Студенты будут изучать методы уменьшения размера модели при сохранении
производительность и узнайте об эффективных методах вывода для развертывания на различных аппаратных платформах.
8.Приложения LLM, ориентированные на определенную область
Этот класс изучает применение LLM в конкретных отраслях или областях. Он охватывает методы адаптации к области, специализированные
Токенизация и интеграция с базами знаний, специфичными для предметной области. Студенты будут изучать практические примеры в таких областях, как здравоохранение (медицинская диагностика), финансы (анализ рынка) и юриспруденция (анализ контрактов), изучая, как адаптировать LLM для специализированных задач.
9. Разговорный ИИ и диалоговые системы
Этот урок посвящен построению интерактивных систем ИИ с использованием LLM. Он охватывает управление диалогами, обработку контекста и методы для
Поддержание связных долгосрочных разговоров. Студенты узнают о состоянии отслеживания, стратегиях генерации ответов и методах
для включения внешних знаний в разговорные системы.
10. Интерпретируемость и объяснимость LLM
В этом классе изучаются методы понимания и объяснения процессов принятия решений LLM. Он охватывает визуализацию внимания,
Методы зондирования и методы создания объяснений для выходных данных модели. Студенты узнают о трудностях интерпретации
модели черного ящика и изучение последних достижений в повышении прозрачности и интерпретируемости LLM.
