Энтропия

– это еще один способ измерения неоднородности набора. Это понятие заимствовано из теории информации и измеряет степень беспорядочности набора. Неформально говоря, энтропия характеризует то, насколько вы удивитесь случайно выбранному из набора элементу. Если бы набор состоял только из элементовA, то, выбравA, вы нисколько не удивились бы, поэтому энтропия такого набора равна 0. вычисляется по формуле B.7.

Формула B.7.

Следующая функция принимает список элементов и вычисляет его энтропию:

def entropy(l):

from math lmport log log2=lambda x:log(x)/log(2)

total=len(l) counts={} for ltem ln l: counts.setdefault(ltem,0) counts[ltem]+=1

ent=0

for l ln counts:

p=float(counts[l])/total ent-=p*log2(p) return ent

Ранее энтропия использовалась при моделировании с помощью деревьев решений, чтобы определить, уменьшает ли разбиение беспорядочность набора.

Вы можете следить за любыми ответами на эту запись через RSS 2.0 ленту. Вы можете оставить ответ, или trackback с вашего собственного сайта.

Оставьте отзыв

XHTML: Вы можете использовать следующие теги: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

 
Rambler's Top100