Utrzymuj dokładność sztucznej inteligencji do analizy obrazu na hali produkcyjnej na dużą skalę dzięki Roboflow

Przeanalizowałem, jak Roboflow utrzymuje dokładność sztucznej inteligencji do analizy obrazu na hali produkcyjnej, aby umożliwić szybsze wykrywanie wad i uniknąć kosztownych przeoczeń w miarę skalowania operacji.

Roboflow Partner Spotlight
Partner Perspectives

This is sponsored content from Roboflow. Learn here about our transparent editorial approach.

Wyobraź sobie: na linii trzeciej wykryto wadę. Zanim dotrze do kolejnego stanowiska, uruchamia się alert, operator zostaje powiadomiony, a wykrycie zostaje zarejestrowane wraz ze znacznikiem czasu, wskaźnikiem pewności i identyfikatorem kamery. Nikt nie musiał obserwować procesu. System ją wykrył.

Tak wygląda sztuczna inteligencja wizyjna na hali fabrycznej, gdy rzeczywiście działa. To nie tylko model wykonujący w tle wnioskowanie, ale aktywna warstwa operacyjna, która przekształca obraz rejestrowany przez kamery w decyzje, alerty i dane, na podstawie których Twój zespół może działać.

Większość zespołów koncentruje się na budowie modelu. Trudniejszym problemem, który decyduje o tym, czy system dostarczy rzeczywistą wartość, jest zbudowanie infrastruktury wokół niego: właściwej strategii danych, właściwej architektury wdrożenia i właściwej pętli sprzężenia zwrotnego. To właśnie ona przekształca działający prototyp w system, na którym hala produkcyjna może polegać.

Oto plan, jak osiągnąć ten cel z Roboflow.

Jak wdrożyć sztuczną inteligencję wizyjną za pomocą Roboflow

Po zdefiniowaniu przypadku użycia kolejnym krokiem jest wdrożenie. To etap, na którym działający model zostaje przekształcony w system działający niezawodnie w rzeczywistych warunkach. Platforma wizualnej sztucznej inteligencji Roboflow zapewnia uporządkowane podejście do przejścia od prototypu do środowiska produkcyjnego, obejmujące konfigurację, dane i ciągłe doskonalenie.

1. Fizyka czujnika

Kamera jest interfejsem API do świata rzeczywistego. Wszystko, co dzieje się później — model, wykrycia i pomiary — jest tak niezawodne, jak obraz docierający przez obiektyw. W rzeczywistym środowisku fabrycznym dwie kwestie mogą po cichu doprowadzić do awarii systemu, jeśli nie uwzględnisz ich od samego początku: zniekształcenia obiektywu i niespójne oświetlenie.

  • Pułapka zniekształcenia obiektywu: Obiektywy szerokokątne są popularne na halach fabrycznych, ponieważ rejestrują większy fragment sceny. Kompromisem jest zniekształcenie typu rybie oko: proste linie wyginają się, siatki tracą wyrównanie, a układ współrzędnych ulega przesunięciu. W warunkach laboratoryjnych łatwo to przeoczyć. W produkcji sprawia to, że niezawodny model staje się zawodny.
  • Rozwiązanie produkcyjne (wewnętrzne a zewnętrzne): Przepływy pracy Roboflow umożliwiają bezpośrednie włączenie korekcji zniekształceń do potoku wnioskowania. Blok kalibracji kamery usuwa zniekształcenia obrazu, zanim trafi on do modelu. Następnie blok korekcji perspektywy odwzorowuje widok z kamery ustawionej pod kątem na znormalizowany widok z góry, przekazując skorygowane współrzędne do wszystkich kolejnych etapów pomiarowych.
  • Oświetlenie jako zmienna: Oświetlenie fabryczne zmienia się w ciągu dnia: wraz ze zmianą zmian, światłem słonecznym wpadającym przez okna i cieniami, których rano nie było. Roboflow obsługuje ten problem na obu etapach: automatyczne dostosowanie kontrastu normalizuje oświetlenie na obrazach treningowych, a blok wyrównywania kontrastu w przepływach pracy koryguje je podczas wnioskowania, także w nierównomiernie oświetlonych scenach, w których fragmenty kadru są ciemniejsze od innych.

Uzyskanie czystych i spójnych danych wejściowych jest fundamentem, ale model działający pierwszego dnia nadal potrzebuje sposobu na zachowanie dokładności, gdy rzeczywiste warunki zaczną odbiegać od tych, na których został wytrenowany.

Want to learn more about Roboflow?

Our review covers everything you need to know.

2. Standaryzacja konfiguracji fizycznej

Skalowanie systemu wizyjnego na wiele linii fabrycznych nie jest wyłącznie problemem programistycznym. Jeśli na pierwszej linii kamera jest zamontowana metr nad stołem pod kątem 45 stopni, dokładnie tę samą konfigurację należy udokumentować i odtworzyć na każdej kolejnej linii. Niewielkie różnice fizyczne, które łatwo skompensować w laboratorium, stają się rzeczywistymi źródłami błędów w produkcji i pojawią się jako niewyjaśnione spadki pewności w panelu monitorowania Roboflow, zanim w ogóle uda Ci się ustalić ich fizyczną przyczynę.

  • Standaryzuj mocowania i kąty: Używaj sztywnego osprzętu klasy przemysłowej oraz określ stały kąt i wysokość montażu. Nawet niewielkie przesunięcie kamery może zaburzyć transformację perspektywy skonfigurowaną w przepływie pracy Roboflow, co oznacza, że normalizacja współrzędnych, która działała na pierwszej linii, teraz przekazuje modelowi nieco inny widok na drugiej linii.
  • Standaryzuj odległość, pole widzenia i tło: Zachowuj spójną odległość kamery od obiektu i spójny widoczny obszar we wszystkich konfiguracjach. Jeśli scena zmienia się zbyt mocno między poszczególnymi liniami, model faktycznie otrzymuje dane wejściowe, na których nigdy nie był trenowany, a Monitorowanie modeli Roboflow odzwierciedli to jako spadek średniego poziomu pewności dla danego urządzenia.
  • Standaryzuj konfigurację oświetlenia: Utrzymuj kierunek, natężenie i rozmieszczenie oświetlenia na możliwie stałym poziomie. Blok wyrównywania kontrastu firmy Roboflow może obsłużyć stopniowe zmiany oświetlenia podczas wnioskowania, ale działa najlepiej, gdy podstawowe warunki fizyczne są już kontrolowane. Im stabilniejsze oświetlenie, tym mniej pracy korekcyjnej musi wykonać potok.
  • Standaryzuj konfigurację w różnych lokalizacjach za pomocą Menedżera urządzeń: Po udokumentowaniu konfiguracji fizycznej Menedżer urządzeń Roboflow umożliwia wdrożenie tego samego przepływu pracy na każdym urządzeniu brzegowym w całej flocie z poziomu jednego panelu, bez ręcznych aktualizacji w poszczególnych lokalizacjach. Dzięki niestandardowym metadanym możesz oznaczyć każde wnioskowanie identyfikatorem lokalizacji, takim jak`warehouse_a` lub`line_3`, więc jeśli wydajność w jednej lokalizacji zacznie spadać, możesz natychmiast wyodrębnić ją w monitorowaniu modeli zamiast diagnozować całą flotę.

Udokumentowana i powtarzalna konfiguracja fizyczna ogranicza liczbę zmiennych, z którymi musi radzić sobie model, ale nie eliminuje ich całkowicie. Z czasem warunki się zmieniają, dlatego system musi być zaprojektowany tak, aby to wykrywać.

3. Inteligentna strategia danych

Jak wynika z raportu Roboflow „Trendy w dziedzinie wizualnej sztucznej inteligencji”, niestandardowa wizualna sztuczna inteligencja często wymaga mniej danych, niż zakłada wiele zespołów. 43% modeli korporacyjnych z najlepszymi wynikami dokładności wytrenowano na mniej niż 1000 obrazów. Co więcej, wiele skutecznych modeli korporacyjnych powstaje z wykorzystaniem zaledwie kilkuset obrazów.

Krok 1: Zbuduj model weryfikacji koncepcji na 50 obrazach

Za pomocą Roboflow możesz zbudować wstępny model weryfikacji koncepcji na około 50 obrazach. Należy go jednak traktować wyłącznie jako sprawdzenie wykonalności, a nie model gotowy do produkcji. Na tym etapie celem jest po prostu pokazanie, że wizja komputerowa może rozwiązać dany problem, oraz zademonstrowanie, że warto rozwijać ten przypadek użycia.

Oto jak zrobić to w Roboflow:

  • Prześlij i opisz swoje 50 obrazów w projekcie Roboflow
  • Przejdź do sekcji Wersje na pasku bocznym i kliknij Wygeneruj nową wersję
  • Ustaw podział na zbiory treningowy/walidacyjny/testowy i skonfiguruj etapy wstępnego przetwarzania. Na tym etapie pozostaw augmentacje wyłączone, aby uzyskać przejrzysty obraz tego, jak dane radzą sobie samodzielnie
  • Kliknij Generuj, następnie wybierz Trening niestandardowy, wybierz architekturę modelu i rozpocznij trenowanie

Model uzyskany na tym etapie nie będzie tym, który wdrożysz. Jest sygnałem. Jeśli potrafi wykryć cel choćby na 50 obrazach, dany przypadek użycia warto skalować.

Krok 2: Zwiększ liczbę obrazów do około 500 na potrzeby walidacji produkcyjnej

Gdy wartość rozwiązania zostanie potwierdzona, kolejnym krokiem jest zwiększenie liczby obrazów do około 500. Powód jest prosty. W środowisku produkcyjnym potrzebujesz odpowiednio dużego zbioru testowego, aby sprawdzić, czy model jest wystarczająco stabilny do rzeczywistego użycia. Jeśli około 10% danych zostanie przeznaczone na testy, 500 obrazów da około 50 obrazów testowych, co stanowi znacznie solidniejszą podstawę walidacji. Testowanie na zaledwie kilku obrazach nie daje wystarczającej pewności co do tego, jak model będzie działać na hali produkcyjnej.

Etapy w Roboflow pozostają takie same, ale zmienia się to, co konfigurujesz:

  • Prześlij i opisz rozszerzony zbiór danych w tym samym projekcie Roboflow
  • Przejdź do sekcji Wersje → Wygeneruj nową wersję
  • Tym razem ustaw przemyślany podział na zbiory treningowy/walidacyjny/testowy, w przybliżeniu 70/20/10, aby uzyskać około 50 obrazów testowych do właściwej walidacji
  • Teraz warto rozważyć augmentacje: dodaj tylko te, które odzwierciedlają rzeczywiste warunki na hali produkcyjnej, i nic więcej
  • Kliknij Generuj, a następnie Trening niestandardowy, aby rozpocząć trenowanie

Zbiór danych, na którym trenujesz, jest punktem wyjścia, a nie górną granicą. Obrazy, które sprawią, że Twój model będzie najdokładniejszy, to te, których jeszcze nie widział, a które już są rejestrowane na hali produkcyjnej.

Strategia danych treningowych

4. Augmentacja to symulacja środowiska

Częstym błędem podczas tworzenia modelu jest stosowanie zbyt wielu augmentacji bez wyraźnego powodu. Łatwo włączyć wiele opcji i oczekiwać bardziej odpornego modelu, ale często prowadzi to do dodania niepotrzebnych zakłóceń i obniżenia wydajności.

Każda augmentacja powinna odzwierciedlać rzeczywisty warunek występujący w Twoim środowisku. Jeśli nie odzwierciedla rzeczywistej zmienności na hali produkcyjnej, może dezorientować model zamiast go ulepszać. Celem nie jest zwiększenie złożoności zbioru danych, lecz uczynienie go bardziej realistycznym.

Dodawanie augmentacji w Roboflow odbywa się w tym samym procesie tworzenia wersji co w poprzednim kroku, bezpośrednio poniżej wstępnego przetwarzania podczas generowania nowej wersji. Poniżej przedstawiono, kiedy warto uwzględnić poszczególne augmentacje, a kiedy nie.

  • Obrót: Jeśli produkty mogą pojawiać się na przenośniku w różnych orientacjach, na przykład po obrocie o 90 stopni, należy uwzględnić obrót. Jeśli produkt zawsze pojawia się w tej samej orientacji, dodanie obróconych obrazów może wprowadzić nierealistyczne scenariusze i obniżyć dokładność.
  • Jasność i ekspozycja: Warunki oświetleniowe często zmieniają się w ciągu dnia. Na przykład światło słoneczne wpadające przez okna hali lub zmienność oświetlenia sztucznego mogą wpływać na wygląd obiektów. Symulowanie tych zmian pomaga modelowi działać bardziej stabilnie w różnych warunkach oświetleniowych. 
  • Rozmycie: Jeśli kamera lub obiekt mogą podczas pracy doświadczać niewielkiego ruchu, zmienności ostrości lub wibracji, niewielka ilość augmentacji rozmycia może pomóc. Jeśli jednak kamera jest nieruchoma, a obraz zawsze ostry, dodanie rozmycia może jedynie obniżyć jakość modelu.
  • Szum lub wzmocnienie kamery: Jeśli kamera produkcyjna czasami rejestruje ziarniste obrazy z powodu słabego oświetlenia lub ograniczeń czujnika, dodanie szumu lub wzmocnienia kamery może zwiększyć odporność modelu. Jeśli rzeczywiste obrazy są już czyste, należy tego unikać.
  • Przycięcie lub wycięcie: Mogą być przydatne, gdy obiekty mogą być częściowo zasłonięte, przycięte przy krawędzi kadru lub nie zawsze w pełni widoczne. Jeśli na każdym obrazie produkcyjnym oczekiwana jest pełna widoczność, te augmentacje mogą nie odzwierciedlać rzeczywistości.
  • Pochylenie lub zmienność perspektywy: Są przydatne tylko wtedy, gdy widok z kamery lub ustawienie obiektu nieznacznie zmieniają się podczas rzeczywistej pracy. Jeśli konfiguracja fizyczna jest ustandaryzowana, a kąt kamery stały, te augmentacje są zwykle niepotrzebne.
  • Odbicie: Należy go używać tylko wtedy, gdy produkt może realistycznie pojawić się w lustrzanym ułożeniu. Jeśli orientacja lewo-prawo ma znaczenie, odbijanie może tworzyć fałszywe przykłady i wprowadzać model w błąd.
Augmentacja: zwiększanie różnorodności zbioru danych

Augmentacje pomagają modelowi przewidywać zmienność, ale opierają się na tym, czego się spodziewasz. Uczenie aktywne pozwala radzić sobie z tym, czego się nie spodziewasz.

5. Infrastruktura uczenia aktywnego

W rzeczywistych środowiskach produkcyjnych model nie pozostaje dokładny na zawsze. Gdy tylko na linii pojawi się nowy SKU, zabrudzi się obiektyw lub zmieni się oświetlenie, model może zacząć doświadczać dryfu danych. Dlatego po wdrożeniu systemu nie należy traktować go jako statycznego. Powinien być zaprojektowany tak, aby z czasem się doskonalić. Roboflow wspiera ten proces, pomagając zespołom wykorzystywać dane produkcyjne do ciągłego wzmacniania modelu.

  • Pętla uczenia aktywnego: Nie poprzestawaj na uruchamianiu wnioskowania; monitoruj wyniki. Ustaw filtr w Roboflow Workflows, aby automatycznie oznaczać detekcje o niskiej pewności. Dobrym punktem wyjścia jest pewność na poziomie 50%. Wszystko, co model zwróci poniżej tego progu, warto oznaczyć do weryfikacji. Gdy model dojrzeje, a bazowa pewność wzrośnie, możesz podnieść ten próg do 60% lub 70%. To właśnie te niepewne predykcje pokazują, że model potrzebuje większej ilości danych.
  • Automatyczne etykietowanie na dużą skalę: Po zidentyfikowaniu trudnych obrazów można przesłać je z powrotem do zbioru danych Roboflow. Użyj funkcji Auto-Label w Roboflow, modelu bazowego lub obecnie najlepszego modelu do automatycznego tworzenia adnotacji. Następnie człowiek weryfikujący może sprawdzić te adnotacje w narzędziu Adnotacje Roboflow, akceptując, odrzucając lub poprawiając każdą etykietę w mniej niż 10 sekund na obraz, zamiast poświęcać kilka minut na samodzielne rysowanie ramek ograniczających.
Automatyczne etykietowanie w Roboflow
  • Przeprowadź ponowne trenowanie i walidację przed wdrożeniem: Gdy oznaczone obrazy zostaną opisane i dodane z powrotem do zbioru danych, wygeneruj nową wersję zbioru danych w Roboflow i rozpocznij nowe trenowanie. Gdy model będzie gotowy, nie wdrażaj go od razu. Użyj oceny modelu w Roboflow, aby sprawdzić, czy nowa wersja rzeczywiście się poprawiła. Porównaj precyzję, czułość i wyniki pewności z poprzednią wersją na tym samym zbiorze testowym. Jeśli wartości zmieniają się we właściwym kierunku, wdrożenie można przeprowadzić. Jeśli nie, oznaczone obrazy mogą wymagać kolejnej weryfikacji przed ponownym trenowaniem.

Tak zamyka się ta pętla. Nie wdrażasz tylko modelu. Wdrażasz infrastrukturę, która może stale uczyć się na podstawie danych z hali produkcyjnej i z czasem stawać się bardziej niezawodna.

6. Infrastruktura wdrożeniowa

Model z pętlą uczenia aktywnego jest tak użyteczny, jak infrastruktura, na której działa. Gdy system stale się doskonali, kolejnym wyzwaniem jest zapewnienie jego spójnego i niezawodnego wdrożenia na każdej linii i w każdym zakładzie, który ma obsługiwać.

Właściwa architektura wdrożeniowa Roboflow zależy od konkretnego scenariusza w Twojej fabryce. Oto jak dokonać wyboru:

  • Nadal przeprowadzasz walidację lub inspekcje o niskiej częstotliwości: Zacznij od Bezserwerowy interfejs API. Nie wymaga konfiguracji infrastruktury, skaluje się automatycznie i pozwala rozpocząć pracę w ciągu kilku minut. Kompromis polega na tym, że działa na procesorze CPU, więc opóźnienie jest większe — ma to mniejsze znaczenie, gdy przetwarzasz obrazy na żądanie, a nie w ramach ciągłego strumienia na żywo.
  • Obsługujesz działające linie produkcyjne, które wymagają stałego działania wnioskowania z niskim opóźnieniem: Użyj Dedykowanego wdrożenia. Otrzymujesz serwer wspierany przez GPU z odizolowanymi zasobami, przewidywalną wydajnością i obsługą cięższych modeli. To właściwy wybór, gdy opóźnione wykrycie oznacza, że wadliwy element zdążył już minąć punkt inspekcji.
  • Twój zakład ma ograniczoną lub zawodną łączność z internetem: Wdróż rozwiązanie na urządzeniu, używając Roboflow Inference na urządzeniu brzegowym, takim jak NVIDIA Jetson. Model działa lokalnie, wnioskowanie odbywa się bez połączenia z internetem, a linia produkcyjna pozostaje aktywna nawet w przypadku utraty łączności.
  • Musisz przetwarzać zapisane obrazy lub przeprowadzać audyty na nagraniach archiwalnych: Użyj Przetwarzania wsadowego. Obsługuje duże ilości danych bez narzutu związanego z kodowaniem i jest znacznie bardziej opłacalne niż uruchamianie dedykowanego wdrożenia do pracy niezwiązanej z czasem rzeczywistym.

Po wybraniu architektury wdrożenia Menedżer urządzeń Roboflow umożliwia przesyłanie aktualizacji przepływów pracy, monitorowanie stanu urządzeń i zarządzanie całą flotą z jednego pulpitu, bez konieczności dotykania każdego urządzenia z osobna.

Zarządzana infrastruktura w Roboflow

Opanuj wdrażanie sztucznej inteligencji wizyjnej dzięki Roboflow

Roboflow został zaprojektowany z myślą o wspieraniu wdrażania poprzez udostępnienie narzędzi do zarządzania pełnym cyklem życia — od pierwszej klatki zarejestrowanej przez kamerę po końcowe wnioskowanie na brzegu sieci.

Niezależnie od tego, czy przypadek użycia obejmuje liczenie elementów na przenośniku, czy śledzenie bardziej złożonych wzorców wizualnych, cel pozostaje ten sam: przekształcić dane wizualne w logikę możliwą do wykorzystania, która wspiera rzeczywiste działania operacyjne.

Świat fizyczny można teraz traktować jako programowalny. Porozmawiaj z ekspertem Roboflow ds. sztucznej inteligencji, aby dowiedzieć się więcej.

You may also like