Выложил слайды четвертой лекции.
На лекции обсуждались
- Марковские модели
- Прямой алгоритм
- Алгоритм Витерби
- Линейная регрессия
- Логистическая регрессия
- Полиномиальная логистическая регрессия (Метод максимальной энтропии)
- Марковские модели максимальной энтропии
Для лучшего понимания, рекомендую следующую литературу.
- Christopher D. Manning and Hinrich Schütze. 1999. Foundations of Statistical Natural Language Processing. MIT Press. (Главы 9 и 10). Эту книжку легко найти в Интернете.
- Первые лекции Стэнфордского курса по машинному обучению http://see.stanford.edu/materials/aimlcs229/cs229-notes1.pdf (На том же сайте можно найти видео. Про линейную регрессию рассказывается во второй лекции, про логистическую - в третьей и четвертой)
Вопрос про Витерби 2-го порядка - в нём очередная скрытая переменная зависит от двух предыдущих скрытых состояний, а наблюдаемая зависит только от текущей скрытой, правильно? Или набл. зависит от 2-х скрытых?
В марковской модели второго порядка скрытая переменная зависит от двух предыдущих скрытых переменных. Наблюдаемая переменная всегда зависит только от текущей скрытой переменной.
При декодировании с помощью алгоритма Витерби надо запоминать два предыдущих состояния.