Abschlussarbeit

Zusammenfassung

Features sind messbare Eigenschaften der Daten, die für die Lösung einer bestimmten Aufgabe relevant sind. Wenn mehrere unabhängige Features die Aktivierung eines einzelnen Neurons in einem neuronalen Netz erheblich beeinflussen, spricht man von Polysemantik. In dieser Arbeit soll untersucht werden, welchen Einfluss das Pruning, also das Entfernen von Parametern aus einem Modell, auf den Grad der Polysemantik in neuronalen Netzen hat. Um diese Frage zu beantworten, wird eine Methode zur Erzeugung von Daten mit bekannten Features vorgestellt und zur Schaffung einer kontrollierten Umgebung verwendet, in der die Polysemantik gemessen werden kann. Ausgehend von einem großen Modell, das die Features ausreichend repräsentiert, werden verschiedene Pruning Ratios angewendet und das geprunte Modell erneut trainiert. Die Polysemantik des geprunten Modells wird anschließend gemessen. Unter der Annahme, dass die Anzahl der repräsentierten Features beim Pruning erhalten bleibt, könnte man erwarten, dass der Grad der Polysemantik zunimmt, da weniger Neuronen die gleiche Anzahl von Features repräsentieren müssen. Darüber hinaus wird die Dropout-Technik im Zusammenhang mit Pruning untersucht, da sie die Neuronen dazu anregt, sich an die mögliche Abwesenheit anderer Neuronen anzupassen und Redundanz in Representationen der Features zu fördern. Die Experimente dieser Arbeit konnten dabei zeigen, dass der Trainingsprozess eine Anpassung der Polysemantik beinhaltet, wobei diese oft re- duziert wird, bis sie auf ein bestimmtes Niveau konvergiert. Die Auswirkungen des Pruning auf die Polysemantik waren nicht eindeutig, obwohl in einigen Fällen eine Tendenz zur Abnahme der Polysemantik nach dem Pruning beobachtet wurde.