Посты для тега : ‘энтропия’

Выбор наилучшего разбиения

Сделанное нами неформальное наблюдение о том, что переменная выбрана не очень хорошо, может быть и верным, но для реализации программы нужен способ измерения неоднородности множества. Требуется найти такую переменную, чтобы множества как можно меньше пересекались. Первое, что нам понадобится, – это функция для вычисления того, сколько раз каждый результат представлен в множестве строк. Добавьте ее […]

Читать далее »

Энтропия

– это еще один способ измерения неоднородности набора. Это понятие заимствовано из теории информации и измеряет степень беспорядочности набора. Неформально говоря, энтропия характеризует то, насколько вы удивитесь случайно выбранному из набора элементу. Если бы набор состоял только из элементовA, то, выбравA, вы нисколько не удивились бы, поэтому энтропия такого набора равна 0. вычисляется по формуле […]

Читать далее »

Отсечение ветвей дерева

У описанных выше методов обучения дерева есть один недостаток: оно может оказаться переученным (overfitted), то есть излишне ориентированным на данные, предъявленные в процессе обучения. Вероятность ответа, возвращенного переученным деревом, может оказаться выше, чем на самом деле, из-за того что были созданы ветви, лишь немного уменьшающие энтропию предъявленного множества наблюдений, хотя выбранное условие расщепления в действительности […]

Читать далее »
 
Rambler's Top100