Bei Lato Bicycles sind Innovation und Effizienz stets im Wandel. Wie viele andere auch. Mendix Kunden, Lato nutzt Mendix Mithilfe des Portfoliomanagements konnten sie ihre Initiativen verfolgen. Dieser strategische Überblick ermöglichte es ihnen, Bereiche mit Innovations- und Effizienzpotenzial zu identifizieren und diese bis zur Implementierung und dem laufenden Betrieb zu begleiten. Bei einer kürzlich durchgeführten Portfolioüberprüfung entdeckte das Führungsteam einen Engpass im Kundenservice: die erste Bearbeitung von Retourenanfragen.

Jede Anfrage traf als unstrukturierter Text über ein Webformular ein, sodass die Kundendienstmitarbeiter sie manuell lesen, kategorisieren und die nächsten Schritte festlegen mussten. Dieser Prozess war repetitiv, zeitaufwändig und führte mitunter zu Verzögerungen bei der Bearbeitung.

Die richtigen MendixLato machte sich daran, ihren ersten KI-Agenten zu entwickeln: A Assistent für Rücksendeanträge das eingehende Anfragen analysieren, wichtige Details zusammenfassen und Reparaturpläne automatisch erstellen könnte.

(Für weitere Informationen zum Thema was und warum (Weitere Informationen zur Entwicklung von KI-Agenten finden Sie in unserem Begleitartikel weiter unten.)

Definition messbarer Ergebnisse

Bevor die Entwicklung begann, definierte Lato, was Erfolg für das Projekt bedeutete. Ihre Ziele waren klar:

• Reduzierung der manuellen Triagezeit um 40 %.
• Eine Genauigkeit von 95 % bei der Kategorisierung von Rücksendeanträgen erreichen.
• Die Bearbeitungszeit für Schadensfälle wurde von 14 Tagen auf 3 Tage verkürzt.

Diese KPIs wurden direkt verfolgt in Mendix Portfoliomanagement, um sicherzustellen, dass das Projekt auf konkrete Geschäftsergebnisse ausgerichtet bleibt.

Den richtigen Auslöser auswählen

Da Rücksendeanträge nur sporadisch eingehen, entschied sich das Team für einen ereignisgesteuerten Agenten, der immer dann aktiviert wird, wenn eine neue Anfrage im Rücksendeantragsportal eingereicht wird.

Das Portal war bereits in wichtige Systeme wie Kundenauftragsverwaltung und Produktinventar integriert und somit ein idealer Einstiegspunkt für den Agenten. Da der Agent nicht vollständig autonom arbeiten würde, sollten die Benutzerinteraktionen mit ihm über ein Portal erfolgen. Benutzeraufgaben dass der Agent generiert, mit sofort einsatzbereiter Überwachungsmöglichkeit für Systemadministratoren.

Durch die Integration von Automatisierung in die Arbeitsbereiche der Mitarbeiter minimierte Lato Störungen und beschleunigte die Akzeptanz.

Auswahl des Modells

Lato wählte Claude 3.5 als Agentenprogramm. Dies ergab Folgendes:

• Starke Werkzeugnutzungsfähigkeiten
• Ausgewogenes Preis-Leistungs-Verhältnis
• Vereinfachte Beschaffung und Überwachung

Obwohl fortschrittlichere Modelle verfügbar waren, wurden Latos Kernbedürfnisse – Werkzeugnutzung, Zusammenfassung und Entscheidungsunterstützung – von Claude 3.5 vollständig erfüllt. Darüber hinaus wurde durch die Nutzung von MendixCloud Gen AI-RessourcenpaketeLato konnte den gesamten Prozess optimieren. Die Ressourcenpakete:

• Der Kauf und die Beschaffung des Modells wurden vereinfacht.
• Sie boten ihrem Entwicklungsteam einen unkomplizierten Integrationspfad mit geringem Codeaufwand.
• Inklusive integrierter Nutzungsüberwachung, die ihnen von Anfang an einen klaren Überblick über ihren Datenverbrauch und ihre Kosten bietet.
• Sie fielen unter Latos bestehende Datenverarbeitungsvereinbarung mit Mendix.

Hinweis zur Feinabstimmung und Anpassung: Obwohl Basis-LLMs leistungsstark sind, kann die Feinabstimmung eines Modells anhand unternehmensspezifischer Domänendaten (z. B. Produktbeschreibungen von Lato, häufige Garantieprobleme) dessen Genauigkeit und Relevanz für spezialisierte Aufgaben deutlich verbessern. Dies ist eine fortgeschrittene Technik, die erst dann in Betracht gezogen werden sollte, wenn der Ausgangsagent stabil ist und seine Leistungslücken klar identifiziert wurden. Sie erfordert eine dedizierte Datenaufbereitung und Rechenressourcen.

Die Aufgabenstellungen erstellen

Nachdem das zugrunde liegende Modell festgelegt worden war, war der nächste entscheidende Schritt schnelles Engineering: Strukturierung der Daten und Anweisungen innerhalb der Agentenaufforderung, um das gewünschte Verhalten hervorzurufen.

Agenten arbeiten typischerweise mit zwei primären Arten von Eingabeaufforderungen: der Systemaufforderung und der BenutzereingabeaufforderungDie Systemaufforderung ist eine Reihe von Anweisungen, die der Entwickler bereitstellt, um die Persona des Agenten, sein übergeordnetes Ziel, seine Einschränkungen und sein Verhalten zu definieren. Systemaufforderungen enthalten die Kernanweisungen, die die Grundlage für die gesamte Interaktion bilden.

Für den Rücksendebeauftragten von Lato, Systemaufforderung könnte etwa so aussehen:

Rolle: Sie sind ein KI-Assistent für einen Kundendienstmitarbeiter bei einem E-Bike-Hersteller. Ihre Aufgabe ist es, Kundenreparaturanfragen in einen klaren, umsetzbaren Plan für den Kundendienstmitarbeiter zu strukturieren.

Kernaufgabe: Sie nehmen die Problembeschreibung des Kunden entgegen, ermitteln die wichtigsten Reparaturdetails, recherchieren relevante Informationen aus verschiedenen Lato-Systemen und stellen diese dem Kundendienstmitarbeiter zur Verfügung. Berücksichtigen Sie bei der Erstellung Ihres Lösungsvorschlags die Bestellhistorie des Kunden, den Wert des Ersatzteils und die Reparaturkosten.

Endergebnis: Ihre Antwort muss eine strukturierte Zusammenfassung im folgenden Format sein.

Zusammenfassung der Reparaturanfrage
Kunde: [Vollständiger Name und Firma des Kunden]
Teil: [Name und Seriennummer (falls angegeben)]
Problem: [Eine detaillierte Beschreibung des Problems]
Nächste Schritte: [Ein klarer, einfacher Aktionsplan für die CSR]

Die Benutzereingabe ist die direkte Eingabe des Benutzers oder des Systems, die die Aktion des Agenten auslöst. Diese erste Benutzereingabe startet die Aufgabe des Agenten.

Für den Rücksendeauftragsbeauftragten von Lato ist der anfängliche Benutzereingabeaufforderung könnte etwa so aussehen:

From: {{Email Address of requester}}
InputContent: {{Request content}}

Aufbau des Agenten-Toolkits

Ein leistungsstarker Agent benötigt Werkzeuge. Diese Werkzeuge sind spezialisierte Funktionen, wie beispielsweise Mikroabläufe in einem Mendix Der Agent verfügt über eine Anwendung, die er zur Ausführung spezifischer Aktionen aufrufen kann. Ihm steht eine Liste verfügbarer Tools zur Verfügung, jedes mit einem eindeutigen Namen und einer Beschreibung. Seine Aufgabe besteht darin, mithilfe dieser Tools das gewünschte Ergebnis zu erzielen.

Lato begann mit einer wesentlichen Funktion: dem Abrufen von Kundendaten mittels eines REST-Aufrufs basierend auf der E-Mail-Adresse des Kunden. Mendix Agent Builder, sie:

1. Ich habe einen Mikroflow zur Datenabfrage erstellt.

2. Es wurde als Werkzeug mit einem klaren Namen und einer aussagekräftigen Beschreibung hinzugefügt.

3. Der Anruf wurde mithilfe eines integrierten Testfalls geprüft.

Anfangs sammelte der Lato-Rückgabebearbeiter lediglich die notwendigen Daten und überließ alle weiteren Schritte dem Kundendienstmitarbeiter.

Dieser phasenweise Ansatz löste einen bestimmten Teil des Problems ohne die Komplexität eines vollständigen agentenbasierten Systems.

Als die Nutzer begannen, sich auf den Agenten zu verlassen, entstanden neue Herausforderungen.

Iterative Verbesserung

Die Entwicklung von Agenten ist ein iterativer Prozess, keine einmalige Angelegenheit. Es ist entscheidend, mit einem Basismodell zu beginnen, dieses anhand der festgelegten KPIs zu bewerten und den Agenten anschließend in einer Vielzahl von Szenarien gründlich zu testen.

Bei der ersten Nutzung des Agenten stellten die Anwender fest, dass dieser häufig keine Teile finden konnte. Die Suchvorgänge des Agenten wurden durch Rechtschreibfehler in den eingehenden Anfragen und Datenqualitätsprobleme sowohl im Produktinventar- als auch im Kundenauftragsverwaltungssystem beeinträchtigt.

Um dies zu beheben, wurde ein neues Tool eingeführt, mit dem der Agent Teile anhand ihrer Seriennummer suchen konnte. Dies bot eine zuverlässige Alternative, um Teile zu finden, wenn die namensbasierte Suche fehlschlug.

Das Team nutzte anschließend die Testmöglichkeiten in Agent Commons Die Änderungen wurden anhand konkreter Testfälle überprüft, wodurch die Verbesserung bewertet werden konnte. Der robustere Agent wurde als neue Version bereitgestellt und überwacht, um seinen anhaltenden Erfolg sicherzustellen und weitere Verbesserungsmöglichkeiten zu identifizieren.

Agenten arbeiten jedoch nach dem Prinzip „Alles, was nicht explizit angegeben ist, wird angenommen“. Das bedeutet, dass Unklarheiten in einer Aufgabenstellung oder Werkzeugdefinition durch das implizite Wissen des Agenten ausgeglichen werden, was zu unvorhersehbaren und unerwünschten Ergebnissen führen kann. Daher ist es entscheidend, die Ziele, Einschränkungen und die Reihenfolge der Operationen des Agenten präzise zu definieren.

Der Lato-Rückgabeanforderungsagent sammelte Informationen bereits hilfreich zusammen. Um die Automatisierung weiter zu optimieren, sollte er jedoch eine E-Mail entwerfen, die der Kundendienstmitarbeiter prüfen und mit einem Klick versenden konnte. Hierfür wurde ein neues Tool eingeführt, das E-Mails erstellt und einen Workflow startet.

Sie haben die Systemabfrage aktualisiert und Folgendes hinzugefügt:

Falls eine Antwort an den Kunden erforderlich ist, verfassen Sie eine E-Mail.

Das war fehleranfällig; manchmal rief der Agent das Tool nicht auf, sondern entwarf einfach eine E-Mail in der Agentenantwort, und es wurde nicht konsequent entschieden, wann eine E-Mail verfasst werden musste.

Lato hat seine Aufgabenstellung also verfeinert:

Für unbekannte Kunden: Verwenden Sie die Funktion EmailDraft_Create. Die Betreffzeile sollte „Bezüglich Ihrer Anfrage“ lauten, und der Text sollte eine klare Handlungsaufforderung enthalten: „Bitte kontaktieren Sie uns unter 0800 444 5555, damit wir Ihnen weiterhelfen können.“

Für bekannte Kunden mit einem unbekannten Teil: Verwenden Sie die Funktion „EmailDraft_Create“. Die Betreffzeile sollte „Benötigte Informationen zu Ihrer Anfrage“ lauten, und im Textkörper sollte der Benutzer um weitere Details, wie z. B. eine Teilenummer oder ein Foto, gebeten werden. Ein geeigneter Formulierungsvorschlag wäre:

„Wir haben Ihre Anfrage erhalten. Um uns bei der Identifizierung des richtigen Ersatzteils zu helfen, könnten Sie uns bitte eine Teilenummer oder ein Foto zukommen lassen?“

Für bekannte Kunden mit einem anerkannten Bauteil: Bitte keine E-Mail verfassen. Stellen Sie den Plan nur wie anderweitig angewiesen zur Verfügung.

Die präzisere Eingabeaufforderung erhöhte die Zuverlässigkeit des Agenten erheblich. Die neue Eingabeaufforderung verdeutlichte die aufzurufenden Tools und die Szenarien, in denen sie ausgelöst werden sollten, und stellte so sicher, dass der Agent wie vorgesehen funktionierte.

Den Menschen im System behalten

Bei Entscheidungen mit weitreichenden Konsequenzen sollte stets ein Mensch einbezogen werden. Zwar eignen sich automatisierte Systeme hervorragend für Routineaufgaben, doch fehlt ihnen die Intuition und das ethische Urteilsvermögen, die für Entscheidungen mit hohem Risiko erforderlich sind.

Lato hat sein System so konzipiert, dass sämtliche Kundenkommunikation und Reparaturmaßnahmen einer manuellen Genehmigung bedürfen.

• Der E-Mail-Entwurf Das Tool bereitet Antworten vor, sendet sie aber nicht ab.
• Der RepairBookIn_Initiate Das Tool löst einen Workflow aus, der zur Validierung an einen Kundendienstmitarbeiter weitergeleitet wird.

Diese manuelle Überprüfung ist eine entscheidende Schutzmaßnahme gegen kostspielige oder irreversible Folgen…

…und stellt sicher, dass die Automatisierung bei wichtigen Entscheidungen niemals das menschliche Urteilsvermögen umgeht.

Kontextmanagement und intelligente Skalierung

Das Kontextfenster eines Agenten ist sein Kurzzeitgedächtnis und hat eine begrenzte Kapazität. Zu viele Informationen können zu Überforderung führen, wodurch der Agent Schwierigkeiten hat, sich auf die wichtigsten Details zu konzentrieren. Effektives Kontextmanagement ist daher unerlässlich.

Um zu verhindern, dass der Agent mit irrelevanten Daten überlastet wird, implementierte Lato Strategien für das Kontextmanagement:

• Minimale Werkzeugbeschaffung: Die Tools sind so konzipiert, dass sie nur bestimmte Daten (nicht ganze Datensätze) abrufen. In diesem Fall stellte Lato sicher, dass die Tools entweder die Teilebezeichnung oder die Seriennummer akzeptierten, um eine zielgerichtete Antwort zu gewährleisten.
• Persistente Daten außerhalb des Kontextes erforderlich: Lato stellte fest, dass sie genaue Berichte über die eingehenden Nachrichten benötigten. Sie verfügten lediglich über die Begründung des Agenten, die in einem unstrukturierten Format vorlag. Sie fügten hinzu Im Speicher speichern um die Einschätzung des Agenten dauerhaft zu speichern.

• Retrieval-Augmented Generation (RAG) ruft nur die relevantesten Inhalte des Reparaturhandbuchs ab.

Lato stellte fest, dass die vom Agenten angebotenen Reparaturbewertungen nicht mit den Lato-Reparaturrichtlinien übereinstimmten, und beschloss daher, den Zugriff auf eine Wissensdatenbank mit Reparaturhandbüchern zu erweitern. Mendix Cloud-Ressourcenpakete. Dadurch konnte der Agent eine Ähnlichkeitssuche im Inhalt durchführen und Lato-spezifische, relevante Daten im Kontext abrufen.

Mit zunehmender Reife ihres Systems begann Lato, Aufgaben in kleinere Agenten aufzuteilen, um die Effizienz zu erhalten. Der einzelne Lato Return Request Agent wurde in folgende Einheiten unterteilt:

• Produktbewertungsagent: Seine einzige Aufgabe besteht darin, Produktinformationen zu analysieren, Garantiedaten zu überprüfen und die Anspruchsberechtigung festzustellen.
• Kundenforscheragent: Dieser Agent ist spezialisiert auf den Zugriff auf Kundenhistorie, Kaufbelege und Kommunikationsprotokolle.
• SchedulerAgent: Ein fester Ansprechpartner, der mithilfe von Kalender- und Kommunikationstools Folgetermine mit dem Kunden oder internen Teams vereinbart.

Kleinere Agenten können dann über einen Orchestrierungsagenten programmatisch mithilfe eines Microflows oder eines benutzerdefinierten Workflows verbunden werden.

Ergebnisse und nächste Schritte

Der Returns Request Agent von Lato hat einen langsamen, manuellen Prozess in einen schnellen, KI-gestützten Workflow umgewandelt, wodurch die Triagezeit verkürzt, die Genauigkeit verbessert und menschliche Mitarbeiter für komplexe Fälle freigesetzt werden.

Ihre Reise zeigt, dass mit klaren Zielen, sorgfältiger und zeitnaher Planung und MendixLow-Code-KI-ToolsOrganisationen können so Schritt für Schritt von Experimenten zu spürbaren Geschäftsergebnissen gelangen – ein Akteur nach dem anderen.