Information Gain

Definition:

Information Gain ist ein Maß aus der Informationstheorie, das verwendet wird, um die Effektivität oder den Wert einer Information in Bezug auf eine bestimmte Aufgabe zu messen. In der Regel wird es in Entscheidungsbaumalgorithmen eingesetzt, um zu bestimmen, welche Merkmale (Attribute) am besten zur Trennung der Daten in homogene Gruppen beitragen. Der Information Gain wird berechnet, indem die Entropie, also das Maß für die Unordnung oder Unsicherheit in den Daten, vor und nach der Trennung der Daten verglichen wird.

Beispiel:

Bei der Entscheidungsfindung in einem Email-Spam-Filter-Algorithmus könnte der Information Gain dazu verwendet werden, zu bestimmen, ob das Vorhandensein bestimmter Wörter wie "gratis" oder "Gewinn" einen signifikanten Einfluss darauf hat, ob eine Email als Spam klassifiziert wird oder nicht. Ein hoher Information Gain eines Wortes würde darauf hindeuten, dass seine Präsenz eine starke Vorhersagekraft für die Klassifizierung von Emails hat.

28 Apr 2024