Mit KI-Lösung wichtige Angaben aus E-Mail-Texten filtern und verwerten

Fr. Meyer's Sohn – oder kurz FMS – ist ein globa­les Spedi­ti­ons- und Logis­tik­un­ter­neh­men in Fami­li­en­be­sitz, das sowohl See-, Luft-, als auch Landtrans­porte orga­ni­siert und somit für seine Kunden die gesamte Trans­port­kette abdeckt.

Ein wesent­li­cher Teil der Arbeit besteht darin, Kunden­auf­träge im Trans­port­ma­na­ge­ment­sys­tem (TMS) zu erfas­sen, um Sendun­gen anzu­le­gen. Fehlende Infor­ma­ti­o­nen werden hier­bei von Dispo­nen­ten durch ihr intrin­si­sches Wissen vervoll­stän­digt.

Ziel­set­zung des Projek­tes ist eine Lösung, die mittels statis­ti­scher Metho­den und maschi­nel­len Lernens fehlende Infor­ma­ti­o­nen aus Kunden-E-Mails möglichst genau schätzt (impu­ta­tion) und eine Schnitt­stelle zum auto­ma­ti­schen Erfas­sen von Sendungs­da­ten in E-Mails ermög­licht.

Beson­dere Heraus­for­de­run­gen entste­hen durch das unre­gel­mä­ßige Fehlen von Daten und durch hete­ro­gene Daten­ty­pen, für die einzelne Modelle trai­niert werden müssen. Und darin, die Felder der Maske fach­lich sinn­voll zu befül­len.

1. In der ersten Phase wurden eine Teil­menge der vorhan­de­nen Daten analy­siert und beste­hende Geschäfts­re­geln erho­ben. Neben Stan­dard­auf­ga­ben wie der Daten­be­rei­ni­gung wurde hier ein beson­de­res Augen­merk auf das Asso­cia­tion Rule Mining gelegt, um verdeckte Regel zu iden­ti­fi­zie­ren. Wir wähl­ten Miss­Fo­rest als geeig­ne­tes Modell zum Vervoll­stän­di­gen aus. Es wurde imple­men­tiert und anhand einer Test­funk­tion mit zufäl­lig fehlen­den Werten evalu­iert. Des Weite­ren haben wir eine Pipe­line zur Daten­vor­be­rei­tung konzep­tio­niert und mit Hilfe von maßge­schnei­der­ten Trans­for­mern - also einzel­nen Daten­vor­be­rei­tungs­schrit­ten - umge­setzt.
2. In der zwei­ten Phase des Projek­tes ging es inten­siv um die Auswer­tung und Verbes­se­rung der Ergeb­nisse. Dazu haben wir ein weite­res Modell sowie eine Bench­mark zum Verglei­chen imple­men­tiert. Die Modelle pass­ten wir auf den voll­stän­di­gen Daten­satz an und über­a­r­bei­te­ten die Imple­men­ta­tion der Pipe­line, um die Kompa­ti­bi­li­tät mit beste­hen­den Trans­for­mern aus sklearn zu gewähr­leis­ten. Das Deploy­ment der Modelle wurde beispiel­haft mit Hilfe des Frame­works flask als API aufge­zeigt.

Eine unvoll­stän­dige Sendung kann jetzt als JSON mit einem POST-Request an die API geschickt werden und wird mit allen Pflicht­fel­dern vervoll­stän­digt als JSON zurück­ge­ge­ben. Für die Impu­ta­tion stehen zwei Modelle zur Verfü­gung, welche nun in der Praxis erprobt werden, um Sach­be­a­r­bei­ter zukünf­tig durch fach­lich stim­mige Vorschläge zu unter­stüt­zen.

• Auto­ma­ti­sche Anlage von Sendun­gen
• Impu­ta­tion mittels KI
• Unter­stüt­zung von Dispo­nen­ten
• Projekt­lauf­zeit: ca. 10 Monate

Die einge­setz­ten Tech­no­lo­gien

• Vorge­hen nach CRISP-DM
• Date­n­ana­lyse, Model­ling und Evalu­ie­rung
• Umge­bung: Jupy­ter­Lab (Python 3)
• Module: scikit-learn, flask, pandas