Hands-on: Texterkennung (OCR) durch lokale KI: Endlich Handschrift & Kassenbons erkennen?

Hier geht es zur Masterclass: https://www.digitalisierung-mit-kopf.de/products/videokurs-eigenen-ki-server-llm-selbst-hosten-und-betreiben

Bin ich der einzige, der das Thema aktuell so spannend findet? Wäre eine Anbindung an paperless-ngx für euch interessant?

für OCR brauch man gar keine KI

Hab das versucht. Bei mir kann das LLM keine PDFs erkennen oder lesen, weder mit Text noch ohne Text. Nur Bilder funktionieren, wenn ich zuerst einen Screenshot vom PDF erstelle und den übergebe. OCRmyPDF ist da einiges schneller und besser, und man kann das Ergebnis dann dem LLM zur Bearbeitung geben.

Ausser ich mache etwas falsch. Dann würde ich gerne wissen, was.

Die eigentliche Herausforderung ist nicht zu verstehen, was LLMs können – sondern sie sinnvoll und zeitsparend in bestehende Arbeitsabläufe zu integrieren. Das ist die echte Hürde.
Beispiel PaperlessNGX: Klar nutzen das viele Unternehmen, aber es gibt auch genug Privatpersonen, die Paperless im privaten Kontext einsetzen und mit LLMs auf ein neues Level bringen wollen. Und dafür muss man nicht zwingend neue Hardware kaufen – oft reicht der vorhandene PC, den man eh schon für Videoproduktion, Gaming o. Ä. rumstehen hat.

Ich erprobe gerade genau solche Workflows:
- Lokales PaperlessNGX (z. B. auf einer Synology NAS)
- Lokale LLM-Integration auf vorhandener Hardware (idealerweise ab RTX 30er Serie)
- Das lokale LLM übernimmt OCR – und der saubere Output kann dann z. B. per RAG weiterverarbeitet werden.

@DigitalisierungmitKopf Ich sehe mir gerne deine Videos an - sehr tolle Video- und Audioqualität. Ruhig und sachlich -> finde ich prima weiter so.
Dennoch würde ich mir wünschen, dass du den Blick nicht von deinen Masterclass-Produkten verlierst, die du so schön bewirbst. (Beispiel: "[In Prduktion] ...... (erscheint Februar 2026)" )

Endlich mal jemand, der das Thema lokal und nicht nur Cloud-basiert zeigt 👏
Ich habe bisher PDNob für Rechnungen und Verträge verwendet, klappt solide. Bin gespannt, wie sich lokale Modelle weiterentwickeln.

Sehr spannend, eine Anbindung an paperless-ngx kann ich mir gut vorstellen

Ich habe auch schon mit PaperlessGPT experimentiert. Funktioniert soweit auch echt gut nur was mich stört ist, dass es nicht in der Lage ist den gewonnen Text zurück in die PDF zu schreiben. Klar in Paperless ist er vorhanden aber wenn ich die PDF exportiere oder später doch einmal anderweitig nutzen möchte habe ich wieder den stantdard OCR in der PDF und nicht das optimierte durch ein LLM.

Tolles Brainstorming und in diesem Falle höchst interessant. Gerne mehr von dieser Art.

Endlich würde der (eingescannte) Kassenzettel mit den einzeln aufgeführten Positionen einen vollständigen Sinn ergeben, wenn alle Artikel mit Anzahl, Beschreibung und Preis durch das LLM digital in der Datenbank vorliegen - was für eine wahnsinnige Zeitersparnis.

Aber nur Übergangsweise.
Denn, warum sollten nicht die Kassen bei IKEA, dem Baumarkt, oder generell dem Einzelhandel nicht gleich die Liste mit Artikeln, Anzahl und Preisen per NFC auf Dein Smartphone Beamen? Gleich in eine passende App - die Hardware dazu ist doch schon größtenteils vorhanden.
Kein Papierbon, kein Scannen, keine KI - direkt in die Datenbank der App!

Ich finde das ebenso super spannend. Ich bin gerade dabei einer Firma vom "green field" und Excel langsam durch die digitale Transformation zu führen. Dabei müssen wir aus unterschiedlichen Quellen erst mal die Daten konsolidieren; hätte ich keine KI, keine Texterkennung usw., wir würden Monate brauchen. Mit "Digital Lego in mind", und den nötigen Kenntnissen aus Fullstack, DevOps und eben alles rund um KI (Agenten, RAG, usw. ) können sich die kleineren Unternehmen viele nervige Zeit und Kosten mit ERP Anbietern sparen. Was wir heute zur Verfügung haben (with great power comes great responsibility) stehen uns Tor und Tür offen. Danke für Deinen Content.

Das Brainstorming ist sehr interessant, gerne mehr von diesem Content, da fühlt man sich gleich als säße man mit am Tisch :)

Cooles Video. Ich würde gerne mehr sehen. Brainstorming ist gut.

Ich kann Deine Begeisterung absolut nachvollziehen. Ich bin gerade dabei in mein E-Mail-Programm (Safer Mail) eine Anbindung an eine lokale KI zu integrieren. Man kann eine Mail an die KI übergeben und prüfen lassen, ob es eine Phishing oder sonstige SPAM / Angriffsmail ist. Muss noch ein wenig am Prompt schrauben, aber funktioniert extrem gut, in den nächsten Tagen kommt das Release. Kennst Du evtl. ein Modell, welches sich schon auf eine solche Problematik spezialisiert hat?

Hallo,
ich teile deine Einschätzung. Privat arbeite ich gerade an einem Workflow, bei dem eingehende Papierrechnungen gescannt und ab diesem Moment vollständig automatisiert verarbeitet werden: Erkennung der Rechnungsdaten, Ablage mit passendem Namen, eintrag in einer Liste, sowie Vorbereitung einer Überweisung im Banking-Programm (mit manueller Prüfung vor der Ausführung).

Reines OCR hat bisher nur eingeschränkt funktioniert, daher nutze ich das Projekt auch, um mich intensiver mit KI zu beschäftigen. Da ich meine privaten Daten nicht in der Cloud verteilen möchte, ist ein lokaler Ansatz für mich besonders interessant.

Perspektivisch könnte ich mir vorstellen, den Schriftverkehr zusätzlich in einer lokalen KI auszuwerten – das hätte mir z. B. beim Hausbau sehr geholfen.
Bin gespannt, wie weit ich komme.

AI uns nutzlos, würde ich nicht sagen, vor allem für Leute, die kaum oder nicht groß programmieren können, ein wertvolles Hilfsmittel, um sich kleine Programme schreiben zu lassen, die das Leben erleichtern können.