Beim Stöbern bin ich auf eine Youtube-Empfehlung für eine europäische AI namens Mistral bzw. Le Chat bzw. mistral.ai, gestoßen. Sei sehr weitgehend Open Source, biete sogar die Möglichkeit zu einer lokalen Installation, und sei halt europäisch.

Kennt Ihr die? Meinungen?

Beim ersten anpingen sieht es gar nicht schlecht aus. Sie zeichnet halt nicht, verweist dafür aber auf Leonardo.ai - kennt das jemand und taucht das was?

Bearbeitet (Freitag 15:144 Tage von Ma Kai)

Vor 15 Minuten, Ma Kai schrieb:

Beim Stöbern bin ich auf eine Youtube-Empfehlung für eine europäische AI namens Mistral bzw. Le Chat bzw. mistral.ai, gestoßen. Sei sehr weitgehend Open Source, biete sogar die Möglichkeit zu einer lokalen Installation, und sei halt europäisch.

Kennt Ihr die? Meinungen?

Beim ersten anpingen sieht es gar nicht schlecht aus. Sie zeichnet halt nicht, verweist dafür aber auf Leonardo.ai - kennt das jemand und taucht das was?

Mistral ist ganz ok. Mir reicht es noch nicht um ChatGPT zu ersetzen, ist aber allemal einen Blick wert. Die Entwicklungen sind so rasant, dass Mistral die anderen LLMs bald hinter sich lassen könnte - oder auch nicht.

Zur Lokalen Installation: Wie viele zehntausend Euro magst Du ausgeben, dass ein LLM Lokal vernünftig läuft?

Vor 51 Minuten, Abd al Rahman schrieb:

Wie viele zehntausend Euro magst Du ausgeben, dass ein LLM Lokal vernünftig läuft?

Der hier: https://youtu.be/FjkuBtWYALA?si=UnzDLKP1djukvtDV sprach von einem Gaming-PC, wenn ich das nebenher richtig mitbekommen habe.

Vor 1 Minute, Ma Kai schrieb:

Der hier: https://youtu.be/FjkuBtWYALA?si=UnzDLKP1djukvtDV sprach von einem Gaming-PC, wenn ich das nebenher richtig mitbekommen habe.

Da hast Du aber nicht das volle Modell drauf.

Soeben, Abd al Rahman schrieb:

Da hast Du aber nicht das volle Modell drauf.

Na, dass man lokal nicht das gleiche installieren kann, wie ganze Serverfarmen, ist wahrscheinlich relativ offensichtlich...

Vor 6 Minuten, Ma Kai schrieb:

Na, dass man lokal nicht das gleiche installieren kann, wie ganze Serverfarmen, ist wahrscheinlich relativ offensichtlich...

Ja, das macht aber das Argument „kann ich lokal installieren“ irgendwie zunichte.

Vor 25 Minuten, Abd al Rahman schrieb:

Ja, das macht aber das Argument „kann ich lokal installieren“ irgendwie zunichte.

Wenn einem der Vorteil, die Daten komplett unter Kontrolle zu haben, die geringere Leistung wert ist, dann schon?

Vor 15 Minuten, Ma Kai schrieb:

Wenn einem der Vorteil, die Daten komplett unter Kontrolle zu haben, die geringere Leistung wert ist, dann schon?

Nee, überhaupt nicht. Wir reden nicht von geringerer Leistung sondern von fehlerhafter Leistung. Für unwichtig Tasks wie ne Namensliste fürs Rollenspiel kann man diese Modelle gut nutzen. Aber das sind dann aber halt auch keine Daten die man schützen muss.

Interessanter ist das eher für Unternehmen mit entsprechenden Rechenzentren. Aber da reden wir aber nicht mehr von Rechnern mit potenter Grafikkarte.

Vor 29 Minuten, Abd al Rahman schrieb:

Nee, überhaupt nicht. Wir reden nicht von geringerer Leistung sondern von fehlerhafter Leistung. Für unwichtig Tasks wie ne Namensliste fürs Rollenspiel kann man diese Modelle gut nutzen. Aber das sind dann aber halt auch keine Daten die man schützen muss.

Um ehrlich zu sein, ich habe keinen blassen Schimmer, wie viel Ressourcen ich gerade mit meinen Abenteuerbildern und -recherchen in Anspruch nehme.

Vor 5 Minuten, Ma Kai schrieb:

Um ehrlich zu sein, ich habe keinen blassen Schimmer, wie viel Ressourcen ich gerade mit meinen Abenteuerbildern und -recherchen in Anspruch nehme.

Die Frage ist: Sind das schützenswerte Daten?

Vor 5 Minuten, Abd al Rahman schrieb:

Die Frage ist: Sind das schützenswerte Daten?

Begrenzt. Aber das heißt ja nicht, dass es nicht Kontexte geben kann, wo das definitiv der Fall ist.

Ich habe gerade zwei ziemlich intelligente hypothetische Diskussionen zum Steuerrecht mit Le Chat geführt. Es hat mir ausdrücklich nicht gesagt, was ich hören wollte, sondern im wesentlichen, was mir auch der Steuerberater gesagt hat. Allerdings sind mir aus der Diskussion heraus ein paar weitere "Schlichen" gekommen, die ich mal in die andere Richtung füttern werde - bzw. in einem Fall mache ich das jetzt einfach so und dann sehen wir ja, was das FA sagt. Das war jetzt echt gut.

Eine wichtige Sache vorneweg:

Das Ganze funktioniert richtig gut. Ich würde aber jemanden, der so ein System nicht absichern kann, nicht raten die Dienste derzeit zu nutzen. Das ist derzeit ohne tiefere Kenntnisse, wie man ein solches System absichert, brandgefährlich. Ein Angreifer kann Zugang zu allem bekommen. Alle Passwörter, alle Mailaccounts etc.

Mal so ein paar praktische Anwendungen von KI und Agenten.

Ich habe mittlerweile mehrere Agenten testweise laufen.

• Sammlung von Nachrichten zu Themen die mich interessiert. So komme ich immer wieder zu Artikeln, die sonst nicht sehen würde und ich spare mir viel rumgeklicke im Netz

• Sicherheitsrelevante Themen zu Software die ich nutze - auch zu dem Forumsserver z.B. Ich bekomme mit, wenn es ein Sicherheitsupdate gibt.

• Pflege von Tasklisten aus Mails. Ich hab mehrere Mailadressen. Kommt was rein das erledigt werden muss, geht es an die Mailadresse und die KI macht ein Task daraus.

• Selbiges für Notizen. Entweder per Mail an die KI oder den Link zu einer Seite an die KI geschickt, die aus der Seite ne Notiz macht.

Ich nutze dazu im wesentlichen N8N und OpenClaw als Treiber der Agenten, ChatGPT als KI und Telegram um mit meiner KI zu chatten.

Das ist erstmal nur ein Proof of Concept. Das läuft alles auf einem eigenen Rechner im Netz. OpenClaw ist ein gigantisches Sicherheitsrisiko, weswegen ich die eigentliche Arbeit von N8N Workflows erledigen lasse. OpenClaw entscheidet nur in welchen Kanal was gesteuert wird.

Das könnte sich in Zukunft ändern. OpenAI hat gerade OpenClaw gekauft.

Bearbeitet (vor 5 Stunden5 h von Abd al Rahman)

Das Problem bei diesen Themen ist, dass du selbst als Fachperson Probleme hast, auf der Welle zu reiten. Diejenigen, die nicht so tief drin sind in der Technik, gehen da tendenziell unter bzw. sind abgehängt. Die Entwicklungen in dem Bereich sind nicht nur spannend, sie sind auch megarasant.

Bearbeitet (vor 5 Stunden5 h von Akeem al Harun)

Vor 3 Minuten, Akeem al Harun schrieb:

Das Problem bei diesen Themen ist, dass du selbst als Fachperson Probleme hast, auf der Welle zu reiten. Diejenigen, die nicht so tief drin sind in der Technik, gehen da tendenziell unter bzw. sind abgehängt. Die Entwicklungen in dem Bereich sind nicht nur spannend, sie sind auch Mega-Rasant.

Ja. Gerade OpenClaw ist irre gefährlich. Falsch installiert und ein Eindringling hat Zugang zu allem. Passwörter, Mail Accounts etc.

Vor 5 Minuten, Abd al Rahman schrieb:

Ja. Gerade OpenClaw ist irre gefährlich. Falsch installiert und ein Eindringling hat Zugang zu allem. Passwörter, Mail Accounts etc.

Deswegen ist deine Warnung (vorletzter Satz im Beitrag oben) so wichtig.

Grundsätzlich gilt natürlich immer, dass man die Finger von etwas lassen sollte, wenn man davon keine Ahnung hat. Aber Open Claw ist bequem und die allermeisten Nutzer können die Tragweite des Systems gar nicht bewerten.

Soeben, Akeem al Harun schrieb:

Deswegen ist deine Warnung (vorletzter Satz im Beitrag oben) so wichtig.

Guter Hinweis...

Ich hebe den Satz am Besten hervor.

Wo wir gerade bei der Klaue sind: https://the-decoder.de/autonomer-ki-agent-startet-rufmordkampagne-gegen-open-source-entwickler/

Eine KI, die sich sehr menschlich verhält?

Vor 2 Minuten, Ma Kai schrieb:

Wo wir gerade bei der Klaue sind: https://the-decoder.de/autonomer-ki-agent-startet-rufmordkampagne-gegen-open-source-entwickler/

Eine KI, die sich sehr menschlich verhält?

Das sind auch "nur" die Trainingsdaten mit denen trainiert wurde.

Von derselben Site: https://the-decoder.de/neuer-benchmark-zeigt-ki-modelle-halluzinieren-immer-noch-viel-zu-oft/

KI halluziniere in 30-60% der Fälle.

Das hieße, mehr als jede zweite, mindestens jede dritte Antwort.

Nun stelle ich meistens Fragen zu Themen, bei denen ich mindestens über Halbwissen verfüge - meistens geht es mir darum, aus einer Erinnerung eine zitierfähige, konkrete Aussage zu machen. Ich habe dabei Le Chat, vorher Perplexity, noch nicht bei einer Halluzination ertappt. In letzter Zeit habe ich auch öfter mal die konkreten Zahlen aus Le Chat via Google nachgeprüft. Nada.

Die einzige klare Halluzination, bei der ich mal eine KI erwischt habe, war bei der Frage nach Midgard-Thursen. Das war katastrophal daneben, komplett fabuliert. Klang überzeugt, aber eben in der Sache komplett Banane. Aber ich habe in letzter Zeit die KI durchaus häufiger befragt, eben primär zu Alltags- und Politikthemen, und dabei wie gesagt, mit Halb- bis Fünfsechstelwissen keinen Fehler erkannt.

Das wundert mich jetzt.

Vor 2 Minuten, Abd al Rahman schrieb:

Wo wir gerade bei der Klaue sind: https://the-decoder.de/autonomer-ki-agent-startet-rufmordkampagne-gegen-open-source-entwickler/

Eine KI, die sich sehr menschlich verhält?

Das sind auch "nur" die Trainingsdaten mit denen trainiert wurde.

Du meinst, es sei im Open Source-Umfeld üblich, auf einen abgelehnten Code mit Attacken auf die Person zu reagieren und die KI habe dies quasi als Norm übernommen?

Autsch... ?

Vor 13 Minuten, Ma Kai schrieb:

Du meinst, es sei im Open Source-Umfeld üblich, auf einen abgelehnten Code mit Attacken auf die Person zu reagieren und die KI habe dies quasi als Norm übernommen?

Autsch... ?

Nee. Das Verhalten siehst Du überall im Netz. Du kannst von Diffamierungskampagnen lesen. Das steckt alles in den Trainingsdaten drin.

Die angesprochenen Seelendateien finde ich spannend. Kann da in einer Datei das Verhalten tatsächlich isoliert werden, aus dem komplexen Netz der kompletten KI?

Vor 1 Minute, Solwac schrieb:

Die angesprochenen Seelendateien finde ich spannend. Kann da in einer Datei das Verhalten tatsächlich isoliert werden, aus dem komplexen Netz der kompletten KI?

Nicht isoliert, aber definiert.

Ich nenne meinen Chatbot Salem. Ich habe ihm aufgetragen sarkastisch aber ehrlich zu antworten (neben anderem), wie der Kater Salem aus der Serie Sabrina und es funktioniert. Das steckt in den Seelendaten drin und gehört zum System Prompt.

Bearbeitet (vor 3 Stunden3 h von Abd al Rahman)

Könnte man dann auch eine Seele entwickeln, die sich nicht in der beschriebenen Weise unfair verhält?

Und würde es in der Entwicklergemeinde genügend Gruppendruck geben, um die Erwartung zu erzeugen, dass solche Seelenbestandteile allgemeinverbindlich würden?