Systemy Wbudowane i Przetwarzanie Brzegowe

Politechnika Poznańska, Instytut Robotyki i Inteligencji Maszynowej

Ćwiczenie laboratoryjne 6: Metody optymalizacji sieci neuronowych

Powrót do spisu treści ćwiczeń laboratoryjnych

Wstęp

Jako najbardziej powszchne metody akceleracji obliczeń, ale także optymalizacji parametrów sieci neuronowych (np. rozmiar modelu) możemy wymienić:

• kwantyzacja wag (ang. quantization)
• usuwaniu parametrów (ang. pruning)
• klasteryzacja wag (ang. weight clustering)
• przetwarzanie równoległe i asynchroniczne (ang. parallel processing and asynchronous processing)
• przetwarzanie partiami (ang. batch processing)

Zadanie do samodzielnego wykonania

Na potrzeby laboratorium przygotowana została interaktywna instrukcja wykorzystująca środowisko Google Colab, które umożliwia użycie instancji chmurowych wyposażonych w karty graficzne do przyspieszenia obliczeń i procesu treningu sieci neuronowych.

• 06 - Metody optymalizacji sieci neuronowych