Systemy Wbudowane i Przetwarzanie Brzegowe

Politechnika Poznańska, Instytut Robotyki i Inteligencji Maszynowej

Ćwiczenie laboratoryjne 7: Inferencja sieci neuronowej z wykorzystaniem Raspberry Pi i ONNX Runtime

Powrót do spisu treści ćwiczeń laboratoryjnych

ONNX Runtime

Biblioteka ONNX Runtime jest to projekt open-source rozwijany przez firmę Microsoft, który umożliwia optymalizację i akcelerację modeli uczenia maszynowego w formacie ONNX na różnych platformach sprzętowych. Pakiet ten wspiera obecnie następujące akceleratory:

Źródło grafiki: ONNX Runtime GitHub

Zadania do samodzielnej realizacji

Zadanie 1.
Korzystając z polecenie instalacyjnego z powyższej sekcji zainstaluj bibliotekę TensorFlow Lite na Raspberry Pi. Następnie korzystając z funkcji random_inference_tflite z poprzednich zajęć oraz instrukcji Quickstart for Linux-based devices with Python przygotuj skrypt pozwalający na inferencję sieci neuronowej bezpośrednio na Raspberry Pi. Wykorzystując model w formacie FLOAT 32 przetestuj działanie modelu na losowych danych (zmień pierwszy wymiar zmiennej random_input na 1) i zmierz średni czas inferencji przypadający na jedną próbkę danych przy 100 wywołaniach.

Zadanie 2.
Przeprowadź powyższą analizę dla modeli w formacie FLOAT 16 oraz INT 8. Pamiętaj o przekształceniu danych wejściowych do odpowiedniego formatu. Porównaj wyniki uzyskane dla modeli w różnych formatach. Czy można zauważyć znaczącą różnicę w czasie inferencji pomiędzy formatami?

Na podstawie wyników przeprowadzonej analizy przygotuj wykres słupkowy pokazujący zależność czasu inferencji od formatu modelu.

Zadanie 3.
Przygotuj skrypt, który wykorzysta zdjęcie z kamery Raspberry Pi do przeprowadzenia predykcji klasy ze zbioru ImageNet. Do obsługi kamery wykorzystaj bibliotekę OpenCV. Predykcję modelu nałóż na zdjęcie wykorzystując metodę cv2.putText(), a numery klas zdekoduj wykorzystując plik imagenet1000_clsidx_to_labels.txt. Mimo formatu txt w nazwie, plik można bez problemu wczytać przy pomocy biblioteki json.

with open("imagenet1000_clsidx_to_labels.txt", "r") as f:
  lines = f.read().replace("'", "").splitlines()
  lines[0] = lines[0][1:]
  lines[-1] = lines[-1][:-1]
  assert len(lines) == 1000
  labels_dict = dict()
  for line in lines:
    key, value = line.split(":")
    labels_dict[int(key)] = value

Zadanie 4.
Zmodyfikuj skrypt tak aby możliwa była inferencja modelu na Raspberry Pi w czasie rzeczywistym przy użyciu kamery. Predykcję modelu wyświetlaj w konsoli. Sprawdź jak poszczególne modele radzą sobie z predykcją w czasie rzeczywistym.

Materiały dodatkowe

Jak można zauważyć po powyższych ćwiczeniach, czasy wnioskowania sieci neuronowej na urządzeniu o ograniczonej mocy obliczeniowej jakim jest Raspberry Pi są znacznie dłuższe niż na komputerze stacjonarnym i w środowisku chmurowym. Niemniej jednak, zalety prztwarzania brzegowego są na tyle duże, że warto je stosować mimo takich ograniczeń. W sytuacji, gdy jednak czas wnioskowania jest krytyczny, można skorzystać z dodatkowych, zewnętrznych akceleratorów obliczeń. Jako najczęściej stosowane, dostępne na rynku rozwiązania można wymienić: