Сегодня на лекции Михаил Михайлович Тихомиров рассказал про историю возникновения, текущее состояние и направления развития больших языковых моделей (LLM, Large language models), включая ChatGPT, LLaMA, Mistral и др.
Слайды выложены тут: https://tpc.ispras.ru/wp-content/uploads/2023/12/lecture14-2023.pdf
Видеозапись доступна на youtube:
План на и материалы к лекциям (2021-2022 год)
| Лекция | Слайды | Лектор | |
|---|---|---|---|
| Лекция 1: Задачи обработки текстов | lecture1-2021 | Турдаков | |
| Лекция 2: Методы машинного обучения для обработки текстов. | lecture2-2021 | Турдаков | |
| Лекция 3: Статистические методы в обработки текстов. Поиск словосочетаний. | lecture3-2021 | Турдаков | |
| Лекция 4: Искусственные нейронные сети для обработки текстов | lecture4-2021 | Перминов | |
| Лекция 5: Векторные представления слов | lecture5-2021 | Майоров | |
| Лекция 6: Базовые задачи обработки текстов | lecture6-2021 | Майоров | |
| Лекция 7: Синтаксический анализ | lecture7-2021 | Майоров | |
| Лекция 8: Лексическая семантика | lecture8-2021 | Турдаков | |
| Лекция 9: Машинный перевод | lecture9_2021 | Турдаков | |
| Лекция 10: Языковые модели на основе нейронных сетей | lecture10-2021 | Майоров | |
| Лекция 11: Информационный поиск | lecture11-2021 | Турдаков | |
| Лекция 12:Прикладные задачи обработки текстов | lecture12_2021 | Турдаков | |
| Лекция 13: Кластеризация текстов. Тематическое моделирование | lecture13-2021 | Турдаков |
| Лекция | Слайды | Запись лекции | Лектор |
|---|---|---|---|
| Лекция 1: Задачи обработки текстов | lecture1-2020 | Турдаков | |
| Лекция 2: Методы машинного обучения для обработки текстов. | lecture2-2020 | Турдаков | |
| Лекция 3: Искусственные нейронные сети для обработки текстов | lecture3-2020 | Трифонов | |
| Лекция 4: Статистические методы в обработки текстов. Поиск словосочетаний. | lecture4-2020 | Турдаков | |
| Лекция 5: Векторные представления слов | lecture5-2020 | Майоров | |
| Лекция 6: Базовые задачи обработки текстов | lecture6-2020 | Майоров | |
| Лекция 7: Синтаксический анализ 1 | lecture7-2020 | Майоров | |
| Лекция 8: Синтаксический анализ 2 | lecture8-2020 | Майоров | |
| Лекция 9: Лексическая семантика | lecture9-2020 | Турдаков | |
| Лекция 10: Языковые модели на основе нейронных сетей | lecture10_2020 | Майоров | |
| Лекция 11: Информационный поиск | lecture11-2020 | Недумов | |
| Лекция 12:Прикладные задачи обработки текстов | lecture12_2020 | Турдаков | |
| Лекция 13: Машинный перевод | lecture13_2020 | Турдаков | |
| Лекция 14: Кластеризация текстов. Тематическое моделирование | lecture14-2020 | Турдаков |
| Лекция | Слайды | Лектор |
|---|---|---|
| Лекция 1: Задачи обработки текстов | lecture1-2019 | Турдаков |
| Лекция 2: Методы машинного обучения для обработки текстов. | lecture2-2019 | Турдаков |
| Лекция 3: Искусственные нейронные сети для обработки текстов | lecture3-2019 | Трифонов |
| Лекция 4: Статистические методы в обработки текстов. Поиск словосочетаний. | lecture4-2019 | Турдаков |
| Лекция 5: Векторные представления слов | lecture5-2019 | Майоров |
| Лекция 6: Базовые задачи обработки текстов | lecture6-2019 | Майоров |
| Лекция 7: Синтаксический анализ 1 | lecture7-2019 | Майоров |
| Лекция 8: Синтаксический анализ 2 | lecture8-2019 | Майоров |
| Лекция 9: Лексическая семантика | lecture9-2019 | Турдаков |
| Лекция 10: Информационный поиск | lecture10-2019 | Недумов |
| Лекция 11:Прикладные задачи обработки текстов | lecture11_2019 | Турдаков |
| Лекция 12: Машинный перевод | lecture12_2019 | Турдаков |
| Лекция 13: Кластеризация текстов. Тематическое моделирование | lecture13-2019 | Турдаков |
Вопросы к экзамену: tpc-2019-questions
| Лекция | Слайды | Лектор |
|---|---|---|
| Лекция 1: Распознавание именованных сущностей, машинное обучение с учителем | lecture-1.pdf | Андрианов |
| Лекция 2: Разметка последовательности, нейронные сети | lecture-2.pdf | Андрианов |
| Лекция 3: Синонимия: дистрибутивные векторные представления слов | lecture-3.pdf | Майоров |
| Лекция 4: Символьные представления слов | lecture-4.pdf | Андрианов |
| Лекция 5: Базовые задачи обработки текстов | lecture-5.pdf | Майоров |
| Лекция 6: Синтаксический анализ | lecture-6.pdf | Майоров |
| Лекция 7: Машинный перевод | lecture-7.pdf | Сысоев |
| Лекция 8: Разрешение кореферентности | lecture-8.pdf | Сысоев |
| Лекция 9: Другие задачи обработки текстов | lecture-9.pdf | Майоров |
| Лекция 10: Извлечение отношений | lecture-10.pdf | Андрианов |
| Лекция 11: Привязка к базам знаний | lecture-11.pdf | Сысоев |
| Лекция 12: Перенос знаний, совместное обучение | lecture-12.pdf | Андрианов |
Внимание! В 2018 году курс существенно отличался.
Пересдача экзамена состоится 13/02 (ср) в 18:00 в аудитории 731.
Экзамен состоится 24/01 (чт) в 10:30 в аудитории 713.
До 28 декабря проходит комиссия по практикуму. Чтобы получить зачет по практикуму на комиссии, необходимо сдать оба практических задания. Напоминаем, что под сдачей подразумевается, что решение проверено преподавателем, и за него проставлена оценка в таблицу результатов. Как только оценки за оба задания проставлены, необходимо явиться в ИСП РАН с зачеткой для проставления зачета.
Напоминаем, что 24/12 зачет смогут получить лишь те студенты, которые сдали оба практических задания. Под сдачей подразумевается, что решение проверено преподавателем, и за него проставлена оценка. В связи с этим те, кто пока не сдал оба задания, должны прислать свои решения в течение ближайших 2 суток (до утра четверга), чтобы преподаватели могли проверить их решения к зачету. В противном случае студенты автоматически отправляются на комиссию.
Опубликован список вопросов для досрочного и основного экзамена по курсу. В каждом билете будет 2 вопроса из данного списка.