Alle Aktivitäten

Schau mal hier für ein gutes Beispiel: https://de.wikipedia.org/wiki/Vergilsagen_des_Mittelalters Daraus könnte man ableiten, dass in den Küstenstaaten sicher jeder Fischhändler "die Seemeister" kennt, und dass alle dort viele sehr fantasievolle und auch lehrreiche, aber nicht besonders wahre Erzählungen von dem einen oder anderen Seemeister erzählen können. Wenn ein bestimmter Seemeister mal an einem bestimmten Ort war, kann man dort ein dichtes Gewirr aus Wahrheiten, Halbwahrheiten und heißgeliebten Unwahrheiten über ihn finden. Ich würde für echte Gelehrsamkeit zum Thema freilich Landeskunde (Seemeister) und Schreiben (Maralinga) voraussetzen.

Soweit ich das Thema überblicke, ist das nicht eindeutig geregelt. Im Zweifelsfall kennt ein Spielweltbewohner zwar Schlagworte, aber keine nennenswerten Zusammenhänge, eher Vorurteile und Legenden. Das ist ja auch in unserer Welt heute noch so. Selbst ein Magister mit Landeskunde (Land xyz) wird ein Geschichtsbild haben, das von der Voreingenommheit und der etablierten Propaganda seiner Heimat geprägt ist. Ich habe selbst mal umfängliche Recherchen zu zwei wissenschaftlichen Fragen angestellt, wobei die sich daraus ergebenden Einsichten sehr davon abhängen, wie glaubhaft und seriös die Quellen jeweils sind, über die man dabei stolpert. Heute glaubt zum Beispiel fast jeder noch, dass die mittelalterlichen Europäer an eine flache Erde geglaubt haben, bis Magellan sie eines Besseren belehrte. Das scheint nicht zu stimmen; in der Welt der Forschung geht heute niemand mehr von dieser Vorstellung aus, selbst Schulbücher aber nach wie vor. In Wirklichkeit scheint es so gewesen zu sein, dass schon die alten Griechen die Kugelgestalt der Erde und sogar den Umfang der Erdkugel halbwegs treffend ermittelt hatten und dies wenigstens der Gelehrtenwelt des mittelalterlichen Europa sehr wohl bekannt war. Ein Streit zwischen Kolumbus und den Gelehrten Portugals und Spaniens scheint es auch nie gegeben zu haben; es handelt sich bei diesem Streit um die freie Erfindung des Schriftstellers Washington Irving aus dem frühen 19. Jahrhundert. Die Gelehrten der damaligen Welt haben den Königen der beiden genannten Länder damals davon abgeraten, Kolumbus zu finanzieren, weil sie richtig erkannt hatten, dass dieser die Größe der Erdkugel massiv unterschätzte. Sie alle kannten nämlich die Berechnungen von Hipparch und Ptolemäus, wonach die Erde über 40.000 km Umfang hat. Wenn wir heute noch solche Probleme mit dem historischen Wissen haben, muss es auf einer Fantasy-Spielwelt schlimm, sehr schlimm um die Kenntnisse der meisten Menschen stehen.

Bin mir nicht sicher, ob das die richtige Stelle ist und auch nicht ob das woanders schon länger besprochen wurde. Auf die schnelle konnte ich nichts passendes finden. Meine Frage: Über wie viel historisches Wissen verfügt eine Spielfigur als Alltagswissen - also Wissen das sich nicht durch einen Wurf auf Landeskunde oder ähnliches beweisen müsste. Also in meinem Fall ein einfacher Händer aus den Küstenstaaten am Anfang seiner Laufbahn. Ist der Krieg der Magier, die Seemeister etc. etwas von dem quasi jeder schon gehört hat, weil Inschriften und Ruinen davon berichten und die Barden davon singen? Oder ist dies besonders Wissen, was man sich irgendwo erwirbt, aber die breite Masse der Bevölkerung keine Ahnung davon hat. Wir hatten in der Runde den Vergleich zum irdischen Mittelalter und das Wissen welches Menschen damals z.B. vom römischen Reich hatten. Aber ehrlicherweise habe ich keine Ahnung wie groß das geschichtliche Wissen da war. Mich würde daher interessieren wie ihr das spielt: Also wenn das Stichwort Seemeister fällt, nicken sich dann eure Spielfiguren (aus der Region) alle wissend zu? Und um es nochmal zu unterstreichen, mir geht es um das gesellschaftlich durchgesetzten Alltagswissen von einem halbwegs informierten Einwohner einer Stadt.

Das ist schön! https://www.tagesschau.de/wissen/weltraum/maerz-sternenhimmel-astronomie-galaxien-100.html

Ich hab mir die Werbung gerade angeschaut. Und ich stimme der Werbung weitestgehend zu. Das war Werbung für Codex. Und was de Werbung da sagt ist nicht falsch. Codex ist eines dieser Expertensysteme. Zusammengefasst: Ich sehe schwarz für den Berufsstand der Programmierer.

Naja, ich rede von der Werbung auf der OpenAI Webseite.

Okay, wir bewerten "schlechter" und "falsch" sehr unterschiedlich. Wenn ich in meinem Job jede Schülymeldung als "falsch" bewerten würde, die schlechter als die von vergleichbaren Fachpersonen wäre, dann wären die oberen Klassenstufen recht menschenleer ...

Ich vermute, wir reden von zwei unterschiedlichen Zielgruppen der Werbung. Ich bezog mich, ohne das explizit zu benennen, auf die 'Massenwerbung', also das, was beispielsweise während des Superbowls gelaufen ist. Also ein Publikum, das sehr wahrscheinlich so gut wie keinerlei Ahnung hat, wie KI funktioniert. Ich vermute, du meinst Werbung für Fachleute, die sich aus beruflichen Gründen besser mit der Thematik auskennen sollten.

"Falsch" liegt im Spektrum von "Schlechter". Deswegen sag ich ja: Das ist eine Werbegrafik. Und selbst Die malt keine rosa Wölkchen.

Öhm, ich meine, ich will jetzt nicht kleinlich sein, aber die obige Grafik sagt nicht aus, dass die KI 20 % Fehler produziert habe. GDPval vergleicht Lösungsvorschläge in den Kategorien "besser, gleich gut" oder "schlechter". Und "schlechter" muss nicht 'falsch' heißen.

Wie KI arbeitet hier ein Beispiel. Hab ich gestern ausprobiert als das neue 5.4 Modell rausgekommen ist. Es zeigt wie wichtig gute Prompts sind aber auch die kein Allheilmittel sind. https://chatgpt.com/share/e/69ac2a26-4fc4-8004-ab03-06b8aa3d1169

Was ich meine: Bei den 20% falschen Antworten hat das LLM unter Garantie so gut wie nie mit "Das weiß ich nicht" geantwortet sondern irgendwas zusammenfabuliert. Deswegen ist es so wichtig die Quellen der KI zu prüfen.

Bei 1000% Einsatz einiger Politiker bekommen wir dann jedes Mal 200%, also zwei Antworten pro Frage?

Danke!

Die Leute können halt nicht mit Zahlen umgehen. (Änder da mal was dran Herr Lehrer ) Sie wissen nicht, was 20% falsche Antworten bedeutet.

Und selbst bei einer Werbegrafik geht ziemlich deutlich hervor, wie fehleranfällig die LLMs noch sind. Edit: Deswegen kann ich Deinen Claim: nicht nachvollziehen.

Ansonsten stimme ich aber zu: Es ist ein Werkzeug, das man beherrschen sollte und über dessen Vor-, aber auch Nachteile man sich sehr bewusst sein sollte.

Oha. Das ist eine Werbegrafik von OpenAI. Liest man die Erklärung, findet man, dass die Bedingungen für 5.2 und 5.4 zugunsten von 5.4 geändert wurden (verstärktes Reasoning). Schon daraus ergibt sich, dass die Zahlenwerte nicht vergleichbar sind. Darüber hinaus fehlt völlig die Erklärung, um welche Berufsbereiche es sich handeln soll. Ja, auf der Webseite werden Andeutungen gemacht, aber wenn man die Kommentare auf openreview zu gdpval liest, haben sich die Ersteller des Benchmarks schon sehr deutlich Bereiche ausgesucht, in denen die Modelle glänzen können ( https://openreview.net/forum?id=hcuEdq6eKD ).

Da bin ich mir nicht sicher. Ich kann nur für ChatGPT sprechen. Das kenn ich ziemlich gut.

Nee. Bei Pro sind wir bei dem 200,- EUR Tier. Ich mit meiner Bezahlversion hab auch nur Zugang zu ein paar Anfragen "Pro" im Monat. Ich heb mir das für sehr spezielle Themen auf. Das derzeitige Standardmodell ist GPT 5.4 (seit gestern). Davor war es 5.2. Ich verwende ausschließlich "Thinking" das heißt, dass die KI sich selbst hinterfragt. Hier ein Beispiel aus meiner Orphan X Anfrage: Das nennt man "Chain of thought" Bei den Pro-Modellen arbeiten drei KIs zusammen, um sich gegenseitig zu prüfen (das war zumindest vor einem Jahr noch so. ich weiß nicht ob sich da was geändert hat).

Was sagst du zu der Antwort von Google?

Konkret sind dafür bisher zwei Punkte genannt worden: nicht die mit-Geld-Bezahlversion verwenden ohne den Zusatz „suche im Netz“. Letzteren habe ich bei einer ziemlich trivialen Frage schon ausprobiert (also erst ohne, dann mit gefragt) und praktisch wortgleich die selbe Antwort erhalten. Sind wir uns soweit einig oder gibt es noch mehr?

Ist der Unterschied zwischen „Pro“ und „ohne Pro“ in Deinem Schaubild der zwischen Bezahl- und kostenloser Version? Da wird ja zwischen den beiden fast Gleichstand suggeriert.

Ja, diese Befürchtung teile ich auch. Als Beleg nehm ich die Diskussion hier.

Noch ein Nachtrag: Ich persönlich habe inzwischen die Befürchtung entwickelt, dass die Vagheit der KI 'unseren' Umgang mit Tatsachen und Fakten beeinflusst, da uns alltäglich vorgeführt wird, dass es auf diese ja gar nicht so sehr ankomme, solange nur die Gesamtheit ansatzweise stimmt und es gut klingt. Das halte ich aus mehreren Gründen für extrem gefährlich, gerade wenn man bedenkt, dass selbst hochrangige Wissenschaftlys in ihren Forschungen aus Bequemlichkeit oder Geldgier oder -not Abkürzungen nehmen. Wenn aber schon diese Personen anfällig für unzulässige Vereinfachungen sind, wie sollen dann 'normale' Leute motiviert werden, die bequem erreichbaren Informationen aufwändig zu hinterfragen?