Ich finde diese Unterhaltung lustig. Zwei Agenten reden über mich

Das Kamel als für Packete!

1 Stunde her, Abd al Rahman schrieb:

ChatGPT hat begrenzten Zugriff auf mein Filesystem. Apple Notes steuert es über Bildschirmsteuerung und für Dropbox gibt es eine direkte Integration.

Orchestriert wird das Ganze von dem neuen Dots.

Das Update vor ein paar Wochen war offenbar nur zufällig bei mir kurz aktiv. Nach einem Update vorhin kennt mein Chattie jetzt auch Works und hat mir eine Datei zukommen lassen. Merkwürdig ist nur das Erstellungsdatum, der 30.9.

Damit kann ich die nächsten Sachen testen, soweit das kostenlose Limit reicht.

14 Stunden her, Solwac schrieb:

Das Update vor ein paar Wochen war offenbar nur zufällig bei mir kurz aktiv. Nach einem Update vorhin kennt mein Chattie jetzt auch Works und hat mir eine Datei zukommen lassen. Merkwürdig ist nur das Erstellungsdatum, der 30.9.

Damit kann ich die nächsten Sachen testen, soweit das kostenlose Limit reicht.

Habe vor zwei Tagen auch das erste Mal mit ChatGPT Works herumgespielt (allerdings nicht auf dem Niveau wie @Abd al Rahman das macht - bin da eher Laie auf Trial und Error Basis...). Schön ist, daß man dort eben einen Lokalen Ordner freigeben kann, wo Dateien drinliegen, die ChatGPT braucht. Das fehlte mir vorher.

Allerdings rechnet ChatGPT Work Tokens ab, was es (glaube ich) vorher nur für Chats nicht gemacht hat.

Francesco di Lardo

Vor 10 Minuten, Francesco di Lardo schrieb:

Allerdings rechnet ChatGPT Work Tokens ab, was es (glaube ich) vorher nur für Chats nicht gemacht hat.

Ja, Work kostet Tokens.

Ich bin mittlerweile von ApplevNotes weg und mach alles in Obsidian. Obsidian legt einzelne Notizen als .md files ab. Die kann der Agent direkt auf die Platte schreiben.

Vor 46 Minuten, Abd al Rahman schrieb:

Ja, Work kostet Tokens.

Was ich mit ChatGPT Work bauen will ist eine Routine, die die von mir nach der Session eingegebenen Notizen in einen strukturierten Session-Bericht umformt mit geführter Gemeinschaftskasse, Beuteliste, usw. und danach den Session-Bericht in das "Kampagnen-Buch" einarbeitet, wo sich nach und nach Informationen zu verschiedenen Dingen sammeln (Stadt X, Gilde Y, Herzogtum Z) mit Inhaltsverzeichnis, Index, Namensverzeichnis usw. Später soll sie dann vielleicht für die Session-Berichte von markanten Szenen automatisch Bilder der Gruppe mit ihren Charakteren erstellen.

Ich muß mal sehen, wie viele Tokens das verbraucht, was ich bislang noch überhaupt nicht einschätzen kann.

Francesco di Lardo

Vor 37 Minuten, Abd al Rahman schrieb:

Ich bin mittlerweile von ApplevNotes weg und mach alles in Obsidian. Obsidian legt einzelne Notizen als .md files ab. Die kann der Agent direkt auf die Platte schreiben.

Ja, damit arbeite ich auch. Allerdings nicht so automatisiert wie es mit den Dots möglich scheint, da ich nur bei Claude ein größeres Paket habe. Da reicht es für ChatGPT nicht mehr. Bin gespannt, ob Claude noch nachzieht.

Vor einer Stunde, Wyndor schrieb:

Ja, damit arbeite ich auch. Allerdings nicht so automatisiert wie es mit den Dots möglich scheint, da ich nur bei Claude ein größeres Paket habe. Da reicht es für ChatGPT nicht mehr. Bin gespannt, ob Claude noch nachzieht.

Dot ist auch nur ein Agent. Ok, er ist sehr gut im orchestrieren von Anforderungen. Das ist im wesentlichen das was OpenClaw macht. Man merkt die Übernahme finde ich. Aber ein normaler Agent sollte das auch hinkriegen.

Das gilt auch für @Francesco di Lardo Die Skills von denen ich reden entstehen in Zusammenarbeit mit ChatGPT. Ich sag was ich will, teste, sag was nicht passt etc. Das funktioniert auch bei komplexen Sachen gut.

Kleine Info aus der Gemini-Ecke, für die die es interessiert. Google war relativ großzügig für google-User mit den Modellen (und auch mit den Limits - ich bin als nicht-zahlender User nie in ein Limit reingelaufen, selbst als ich z.B. viele Bilder hintereinander generiert habe) - flash, pro (3.5) und deep thinking (3.1) waren gratis für google user, auch ohne Abo.

Nun wird das eingeschränkt. Alle Modelle außer "Flash-lite" werden abhängig gemacht von einem Abo. D.h. für Flash, Pro und Deep Thinking braucht man ein Abo. Und zwar auch noch abhängig von der Höhe des Abos. Das "einfache" Abo enthält nur mehr Flash. Und ich nehme an, die Limits im Hintergrund werden auch runtergeschraubt.

ich hab mal zusammenfassen lassen was wir da machen:

Aus „Ich katalogisiere mal meine Rollenspielsammlung mit KI“ ist inzwischen ein recht ernsthaftes Softwareprojekt geworden. Bei rund 8.000 Dateien kann ich nicht jede Beschreibung persönlich kontrollieren. Also brauchen wir einen Ablauf, der Fehler möglichst früh findet und nachvollziehbar hält, wie ein Ergebnis zustande gekommen ist.

Die Grundarchitektur sieht mittlerweile so aus:

1. Originale als Grundlage

Die Auswertung beginnt bei den tatsächlichen PDFs, Bildern und sonstigen Dateien. Vorhandene Beschreibungen werden erst anschließend zum Vergleich herangezogen. Sonst besteht die Gefahr, dass die KI lediglich alte Fehler hübscher formuliert. Datei-IDs, Versionen und Prüfsummen halten fest, auf welchen Quellen eine Auswertung beruht. Die Originale bleiben unverändert.

2. Ein zentraler Katalog

Die Ergebnisse landen in einem strukturierten JSON-Katalog. Er verbindet Werke, Dateien, Bestandteile und Prüfbelege. Ein Buch mit mehreren Abenteuern soll beispielsweise als Paket erhalten bleiben, während die enthaltenen Abenteuer trotzdem einzeln auffindbar beschrieben werden können. Apple Notizen beziehungsweise Obsidian sind daraus abgeleitete Ansichten. Der aktuelle Neuaufbau dieser Ansichten steht noch aus.

3. Erstauswertung erhalten, Korrekturen separat dokumentieren

Die erste Auswertung wird eingefroren. Finden wir später einen Fehler, wird diese Vergangenheit nicht stillschweigend überschrieben. Eine Korrektur braucht einen Quellenbeleg und einen nachvollziehbaren Änderungsnachweis. Auch eine später geschlossene Prüflücke bleibt damit als Entwicklung sichtbar.

4. Gemeinsamer Kern, unterschiedliche Profile

Identitäten, Revisionen, Prüfbelege und Freigaben folgen gemeinsamen Regeln. Daneben unterscheiden wir Medienprofile und Fachprofile. Die Medienprofile sind bereits teilweise umgesetzt; die systematische Trennung der Fachprofile ist das Ziel für die weitere Verallgemeinerung.

Medienprofile beschreiben beispielsweise, wie ein PDF, ein Bildpaket oder später vielleicht Audio geprüft wird. Bei PDFs geht es etwa um Seitenabdeckung, bei Bildpaketen um den belegten Umfang und die einzeln geprüften Bilder.

Fachprofile sollen dagegen die Struktur der jeweiligen Rollenspielsysteme beschreiben. Midgard organisiert Werke und Editionen anders als beispielsweise Savage Worlds. Solche Unterschiede sollen nicht als „if Midgard“ oder „if Savage Worlds“ im allgemeinen Kern landen.

Neue Inhalte innerhalb unterstützter Profile sollen möglichst nur neue Daten und Belege erzeugen. Neue Programmlogik sollte nur nötig werden, wenn tatsächlich eine neue allgemeine Fähigkeit hinzukommt.

5. Vier-Augen-Prinzip und technische Prüfungen

Ein Agent wertet aus, ein anderer prüft unabhängig gegen die Quellen. Änderungen an der Prüfsoftware werden ebenfalls unabhängig gegengeprüft. Zusätzlich kontrolliert Code unter anderem Struktur, Prüfsummen, Dateizuordnungen, Abdeckung und die zulässigen Revisionsschritte.

Die beiden Prüfarten ergänzen sich: Eine korrekte Prüfsumme sagt noch lange nicht, dass eine Beschreibung inhaltlich stimmt. Und eine überzeugend klingende Beschreibung beweist nicht, dass alle Dateien geprüft wurden.

6. Kontrollierte Übernahme

Für die Übernahme werden genau bestimmte Ergebnisse und Prüfberichte gemeinsam festgelegt. Ein einzelner Schreiber prüft den aktuellen Katalogstand auf zwischenzeitliche Änderungen, sichert den bisherigen Stand und übernimmt den neuen. Danach werden die gespeicherten Daten zurückgelesen und mit dem erwarteten Ergebnis verglichen. Eine atomare Datenbanktransaktion ist das nicht; Fehler- und Rücksicherungsfälle müssen ausdrücklich behandelt werden.

Dass wir die Gegenprüfung brauchen, hat sich gerade wieder gezeigt: Eine Bildprofil-Erweiterung bestand 150 Tests. Der unabhängige Prüfer fand trotzdem einen Weg, auf dem zwei geprüfte Bilder aus einem Dreierpaket fälschlich als vollständig gewertet wurden. Diese Version wurde deshalb nicht freigegeben.

Die allgemeine Lehre daraus: Ein Paket darf durch fehlende Angaben niemals in eine schwächere Prüfung fallen. Vollständigkeit muss aus dem belegten Sollumfang und der tatsächlich geprüften Abdeckung entstehen.

Aktuell stehen wir bei 191 Beschreibungen und 3.397 einzeln geprüften Dateien. Die letzten zwölf PDFs kamen bereits ohne Änderungen an Code, Schema oder Profil durch den Ablauf. Der Gesamtbestand ist noch nicht fertig.

Mein Zwischenfazit: Die Grundstruktur hat sich in mehreren echten Durchläufen bewährt. Jetzt geht es darum, die verbleibenden Lücken zu schließen und daraus irgendwann einen unabhängig nutzbaren Skill zu machen. Weniger neue Programmlogik pro Paket wäre dabei ein gutes Zeichen. Auf die Prüfung der Ergebnisse werden wir trotzdem nicht verzichten können.

Edit:

Das ist irgendwie das Gegenteil von Vibe-Coding.

Bearbeitet (vor 4 Stunden4 h von Abd al Rahman)