W poprzednim odcinku pracowaliśmy z promptami i modelami językowymi. Teraz pora na drugi filar AI Hub — modele OCR, które potrafią automatycznie odczytywać dane z dokumentów. To rozwiązanie szczególnie przydatne wszędzie tam, gdzie proces biznesowy zaczyna się od wpływu faktury, rachunku lub innego dokumentu na skrzynkę mailową.
Czym jest model OCR w AI Hub
Modele AI w sekcji AI Models opierają się na usłudze Azure Document Intelligence. W uproszczeniu: przesyłasz dokument (PDF, zdjęcie), a model zwraca ustrukturyzowane dane — numer faktury, daty, kwoty, pozycje, dane kontrahenta. Wszystko w formie gotowej do dalszego przetwarzania w przepływie.
Microsoft dostarcza gotowe modele dla najpopularniejszych typów dokumentów:
- Faktury VAT
- Paragony i rachunki
- Wizytówki
- Tekst z obrazów i skanów PDF
Jeśli Twoje dokumenty mają niestandardowy układ (np. własny wzór faktury), możesz stworzyć model customowy i nauczyć go na kilku przykładowych plikach.
Przepływ z modelem faktury — od pliku do maila z danymi
Demo w odcinku pokazuje gotowy szablon przepływu generowany przez Microsoft po wyborze modelu fakturowego: ręczne uruchomienie z załącznikiem → model OCR wyciąga dane → dane są formatowane w HTML → wysyłany jest mail z wynikami do użytkownika wyzwalającego przepływ.
Efekt jest imponujący: model poprawnie odczytał numer faktury, daty, kwoty brutto i pozycje — z wysokim confidence score (wskaźnikiem pewności). Dla kwoty głównej pewność wynosiła powyżej 90%, choć dla niektórych pól daty była nieco niższa.
Confidence score — klucz do decyzji o automatyzacji
Każde pole wyciągnięte przez model OCR ma przypisany confidence score — liczbę od 0 do 1, gdzie 1 oznacza pełną pewność modelu. To kluczowy parametr przy projektowaniu logiki biznesowej.
Typowe podejścia:
- Confidence > 0.9 — akceptuj automatycznie, wrzucaj do systemu bez weryfikacji.
- Confidence 0.7–0.9 — wrzucaj do systemu, ale oznacz do weryfikacji przez człowieka.
- Confidence < 0.7 — skieruj do ręcznego przepisania, nie ucz modelu na tym dokumencie.
Przepływ może zawierać prosty warunek (Condition) sprawdzający confidence score kluczowych pól i automatycznie kierujący dokument na odpowiednią ścieżkę: automatyczny import do systemu finansowego lub kolejka do weryfikacji.
Model OCR to żywy proces — ciągłe uczenie
W przeciwieństwie do promptów, model OCR wymaga aktywnego zarządzania jakością. Microsoft przewidział to w architekturze rozwiązania:
- Nowe dokumenty wpływają do systemu i są przetwarzane przez model.
- Osoba nadzorująca (np. księgowa) może oznaczyć dokument jako dobry przykład do nauczania modelu lub go odrzucić.
- Model stopniowo poprawia jakość rozpoznawania specyficznych wzorów dokumentów z Twojej organizacji.
To wymaga zaangażowania zespołu na etapie wdrożenia, ale inwestycja szybko się zwraca — każda przepisana ręcznie faktura kosztuje czas i generuje ryzyko błędu.
Praktyczne zastosowania w organizacji
Łącząc trigger mailowy z modelem OCR, można zbudować system, który:
- Przechwytuje faktury przychodzące na dedykowaną skrzynkę.
- Automatycznie wyciąga i strukturyzuje dane finansowe.
- Wrzuca dokumenty o wysokim confidence do systemu ERP lub arkusza Excel.
- Kieruje wątpliwe dokumenty do weryfikacji z gotowym podglądem wyciągniętych danych.
- Archiwizuje oryginały w odpowiednich folderach SharePoint.
Taki system eliminuje ręczne przepisywanie faktur — jedną z najbardziej czasochłonnych i podatnych na błędy czynności w działach finansowych małych i średnich firm.