Regularizátory umožňují použít penalizaci na parametry vrstvy nebo aktivitu vrstvy během optimalizace. Tyto sankce se sčítají do ztrátové funkce, kterou síť optimalizuje. Regulační sankce se uplatňují na základě každé vrstvy.
Co je regulátor aktivity?
regulátor aktivity funguje jako funkce výstupu sítě a většinou se používá k regularizaci skrytých jednotek, zatímco weight_regularizer, jak název napovídá, pracuje na vahách (např. jejich rozklad).
Kdy mám použít regulátor aktivity?
Chcete-li, aby výstupní funkce procházela (nebo má úchop blíže k) počátku, můžete použít regulátor zkreslení. Pokud chcete, aby byl výstup menší (nebo blíže k 0), můžete použít regulátor aktivity.
Jak se používá Keras regularizer?
Chcete-li do vrstvy přidat regularizátor, stačí předat preferovanou techniku regularizace argumentu klíčového slova 'kernel_regularizer' vrstvy. Metody implementace regularizace Keras mohou poskytnout parametr, který představuje hodnotu hyperparametru regularizace.
Co je jádro a zkreslení?
Dense class
Dense implementuje operaci: výstup=aktivace(tečka(vstup, jádro) + zkreslení) kde aktivace je aktivační funkce po prvcích předaná jako aktivační argument, jádro je matice vah vytvořená vrstvou azkreslení je vektor zkreslení vytvořený vrstvou (použitelné pouze v případě, že use_bias je True).
