Beim Stöbern bin ich auf eine Youtube-Empfehlung für eine europäische AI namens Mistral bzw. Le Chat bzw. mistral.ai, gestoßen. Sei sehr weitgehend Open Source, biete sogar die Möglichkeit zu einer lokalen Installation, und sei halt europäisch.

Kennt Ihr die? Meinungen?

Beim ersten anpingen sieht es gar nicht schlecht aus. Sie zeichnet halt nicht, verweist dafür aber auf Leonardo.ai - kennt das jemand und taucht das was?

Bearbeitet (vor 4 Stunden4 h von Ma Kai)

Vor 15 Minuten, Ma Kai schrieb:

Beim Stöbern bin ich auf eine Youtube-Empfehlung für eine europäische AI namens Mistral bzw. Le Chat bzw. mistral.ai, gestoßen. Sei sehr weitgehend Open Source, biete sogar die Möglichkeit zu einer lokalen Installation, und sei halt europäisch.

Kennt Ihr die? Meinungen?

Beim ersten anpingen sieht es gar nicht schlecht aus. Sie zeichnet halt nicht, verweist dafür aber auf Leonardo.ai - kennt das jemand und taucht das was?

Mistral ist ganz ok. Mir reicht es noch nicht um ChatGPT zu ersetzen, ist aber allemal einen Blick wert. Die Entwicklungen sind so rasant, dass Mistral die anderen LLMs bald hinter sich lassen könnte - oder auch nicht.

Zur Lokalen Installation: Wie viele zehntausend Euro magst Du ausgeben, dass ein LLM Lokal vernünftig läuft?

Vor 51 Minuten, Abd al Rahman schrieb:

Wie viele zehntausend Euro magst Du ausgeben, dass ein LLM Lokal vernünftig läuft?

Der hier: https://youtu.be/FjkuBtWYALA?si=UnzDLKP1djukvtDV sprach von einem Gaming-PC, wenn ich das nebenher richtig mitbekommen habe.

Vor 1 Minute, Ma Kai schrieb:

Der hier: https://youtu.be/FjkuBtWYALA?si=UnzDLKP1djukvtDV sprach von einem Gaming-PC, wenn ich das nebenher richtig mitbekommen habe.

Da hast Du aber nicht das volle Modell drauf.

Soeben, Abd al Rahman schrieb:

Da hast Du aber nicht das volle Modell drauf.

Na, dass man lokal nicht das gleiche installieren kann, wie ganze Serverfarmen, ist wahrscheinlich relativ offensichtlich...

Vor 6 Minuten, Ma Kai schrieb:

Na, dass man lokal nicht das gleiche installieren kann, wie ganze Serverfarmen, ist wahrscheinlich relativ offensichtlich...

Ja, das macht aber das Argument „kann ich lokal installieren“ irgendwie zunichte.

Vor 25 Minuten, Abd al Rahman schrieb:

Ja, das macht aber das Argument „kann ich lokal installieren“ irgendwie zunichte.

Wenn einem der Vorteil, die Daten komplett unter Kontrolle zu haben, die geringere Leistung wert ist, dann schon?

Vor 15 Minuten, Ma Kai schrieb:

Wenn einem der Vorteil, die Daten komplett unter Kontrolle zu haben, die geringere Leistung wert ist, dann schon?

Nee, überhaupt nicht. Wir reden nicht von geringerer Leistung sondern von fehlerhafter Leistung. Für unwichtig Tasks wie ne Namensliste fürs Rollenspiel kann man diese Modelle gut nutzen. Aber das sind dann aber halt auch keine Daten die man schützen muss.

Interessanter ist das eher für Unternehmen mit entsprechenden Rechenzentren. Aber da reden wir aber nicht mehr von Rechnern mit potenter Grafikkarte.

Vor 29 Minuten, Abd al Rahman schrieb:

Nee, überhaupt nicht. Wir reden nicht von geringerer Leistung sondern von fehlerhafter Leistung. Für unwichtig Tasks wie ne Namensliste fürs Rollenspiel kann man diese Modelle gut nutzen. Aber das sind dann aber halt auch keine Daten die man schützen muss.

Um ehrlich zu sein, ich habe keinen blassen Schimmer, wie viel Ressourcen ich gerade mit meinen Abenteuerbildern und -recherchen in Anspruch nehme.

Vor 5 Minuten, Ma Kai schrieb:

Um ehrlich zu sein, ich habe keinen blassen Schimmer, wie viel Ressourcen ich gerade mit meinen Abenteuerbildern und -recherchen in Anspruch nehme.

Die Frage ist: Sind das schützenswerte Daten?

Vor 5 Minuten, Abd al Rahman schrieb:

Die Frage ist: Sind das schützenswerte Daten?

Begrenzt. Aber das heißt ja nicht, dass es nicht Kontexte geben kann, wo das definitiv der Fall ist.

Ich habe gerade zwei ziemlich intelligente hypothetische Diskussionen zum Steuerrecht mit Le Chat geführt. Es hat mir ausdrücklich nicht gesagt, was ich hören wollte, sondern im wesentlichen, was mir auch der Steuerberater gesagt hat. Allerdings sind mir aus der Diskussion heraus ein paar weitere "Schlichen" gekommen, die ich mal in die andere Richtung füttern werde - bzw. in einem Fall mache ich das jetzt einfach so und dann sehen wir ja, was das FA sagt. Das war jetzt echt gut.