Vor 1 Minute, Kazzirah schrieb:

Exportkontrolle ist bei High-Tech völlig normal,

Bei Anthropic geht es ja nicht um Exportkontrolle. Das wäre noch einfach zu bewerkstelligen. Es geht darum, dass die Modelle keinen nicht-Amerikaner zur Verfügung gestellt werden dürfen. Egal wo. Ob im Ausland oder im Inland. Das gilt selbst für Anthropic Mitarbeiter.

Vor 30 Minuten, Abd al Rahman schrieb:

Bei Anthropic geht es ja nicht um Exportkontrolle. Das wäre noch einfach zu bewerkstelligen. Es geht darum, dass die Modelle keinen nicht-Amerikaner zur Verfügung gestellt werden dürfen. Egal wo. Ob im Ausland oder im Inland. Das gilt selbst für Anthropic Mitarbeiter.

Richtig. Das, was die US-Regierung da grad tut, geht über das normale Maß hinaus. Es ist eben kein Verbot nach transparenten Kriterien, sondern weitgehend willkürlich.

Das war mein Beispiel für eine normale reguläre Einsatzbeschränkung, also das Gegenteil von dem, was grad bei Anthropic passiert. Das erinnert mich am ehesten an das Muskelspiel, dass man damals bei PGP erleben konnte. Das hätte die US-Regierung auch am liebsten selbst im US-Markt verhindert, aber es war das erste, was nicht unter Regierungskontrolle lag. Auch wenn da der Hauptkampffeld die Exportgesetzgebung war. (der dann als gedrucktes und abgetipptes Buch umgangen wurde. Das war damals ein ziemlicher Paukenschlag, weil es der erste Algorithmus war, der frei verfügbar wurde.

Das wahrgenommene Bedrohungsszenario durch frei zugängliche KI dieser Mächtigkeit sehe ich weitgehend vergleichbar zu der freien Verfügbarkeit von die starken Verschlüsselungen in den 90er Jahren.

3 Stunden her, Francesco di Lardo schrieb:

Anthropic ist per se meines Wissens nach auch nicht gegen den Einsatz von KI für militärische Zwecke. Aber sie sind der Meinung, daß die KI dafür jetzt noch nicht sicher genug funktioniert.

Francesco di Lardo

Ich hab auch letztens gelesen dass schon eine KI eine Abschussentscheidung getroffen hat welche einen Menschen das leben gekostet hat. Link hab ich keinen, wesegen ich auch nicht wirklich sicher sein kann was ich hiermit geschrieben habe.

Ich denke das ist ... leider ... der weg den die Militärentwicklung nehmen wird. Irgednwie trifft eine Landmiene ja auch eine "entscheidung" über leben und tod,... ach stimmt die sind ja verboten.

Vor einer Stunde, Irwisch schrieb:

Ich hab auch letztens gelesen dass schon eine KI eine Abschussentscheidung getroffen hat welche einen Menschen das leben gekostet hat. Link hab ich keinen, wesegen ich auch nicht wirklich sicher sein kann was ich hiermit geschrieben habe.

Ich denke das ist ... leider ... der weg den die Militärentwicklung nehmen wird. Irgednwie trifft eine Landmiene ja auch eine "entscheidung" über leben und tod,... ach stimmt die sind ja verboten.

Die Ukraine könnte sich ohne so Systeme nicht verteidigen. Nicht schön, ist aber so.

5 Stunden her, Kazzirah schrieb:

Ja, es geht um einen sehr spezifischen Einsatz von KI in Waffentechnologie, den sie ablehnen: Einsatz in Autonomen Waffensystemen ohne menschliche Beteiligung (und damit Verantwortung). Das ist aber genau der Einsatz, von dem das US Militär (und viele andere Militärs mit ihnen) träumt.

Wir reden nicht von Träumen. Der Einsatz von autonomen Waffensystemen ohne menschliche Beteiligung ist teilweise schon seit Jahrzehnten Realität - etwa beim AEGIS System. Dort aber verhältnismäßig unproblematisch, weil es auf See nicht viel gibt (oder auf einen zufliegt), was man falsch einschätzen könnte.

Dies ist natürlich an Land oder gar in einem urbanen Umfeld völlig anders. Dennoch ist auch dort die theoretische Frage, ob Waffensysteme autonom eingesetzt werden, seit langen Jahren längst beantwortet: Es wird so gemacht werden.

In dem Moment, wo man sich nicht darauf verlassen kann, daß der Gegner keine autonomen Waffensysteme einsetzt - und darauf ist kein Verlaß - kann man es sich nicht leisten, die Zeit für Menschen "in the loop" oder "on the loop" aufzuwenden, so die Argumentation. Auch wenn Systeme so entwickelt werden, daß Menschen noch "in the loop" oder "on the loop" sind, wird man diese Mechanismen ausstellen können - genau wie beim AEGIS System.

Eine Hyperschallrakete von Königsberg bis Berlin braucht etwas mehr als zwei Minuten.
In dieser Zeit muß ihr Start erkannt, die Rakete muß erfaßt, klassifiziert und verfolgt werden, es muß entschieden werden, wie darauf zu reagieren ist, dann müssen ggf. Effektoren zur Bekämpfung gestartet werden, das Ziel erreichen und zerstören, bevor die Hyperschallrakete wirken kann. Bei alledem weiß man nicht, ob sie einen atomaren Sprengkopf trägt, einen konventionellen oder gar keinen. Dies ist nicht automatisiert unmöglich.

Der Haken ist, daß derzeit die KI nicht in der Lage ist, dies ohne Fehler zu tun. Daraus folgt eine Abwägung, entweder Fehler in Kauf zu nehmen oder mit hoher Wahrscheinlichkeit getroffen werden zu können. Wenig überraschend werden diese Fehler je eher in Kauf genommen, je näher man dem "sharp end" kommt: Besser der als ich. Lieber nehme ich in Kauf, ein Ziel zu zerstören oder zu töten, was mir mit geringer Wahrscheinlichkeit gar nichts tun will oder kann, als in Kauf zu nehmen, daß ich mit hoher Wahrscheinlichkeit verletzt oder getötet werde, falls ich mich irre.

Francesco di Lardo

Bearbeitet (vor 17 Stunden17 h von Francesco di Lardo)

2 Stunden her, Irwisch schrieb:

Ich hab auch letztens gelesen dass schon eine KI eine Abschussentscheidung getroffen hat welche einen Menschen das leben gekostet hat. Link hab ich keinen, wesegen ich auch nicht wirklich sicher sein kann was ich hiermit geschrieben habe.

Ich denke das ist ... leider ... der weg den die Militärentwicklung nehmen wird. Irgednwie trifft eine Landmiene ja auch eine "entscheidung" über leben und tod,... ach stimmt die sind ja verboten.

Das haben KIs ganz sicher schon sehr oft getan.

Davon abgesehen macht es teilweise auch keinen allzugroßen Unterschied, wenn ein Mensch "in the loop" ist (also selbst den Knopf drückt) oder "on the loop" (d.h. das automatisierte Drücken des Knopfes stoppen könnte).

Die Ziele von Drohnen etwa in Afghanistan, im Jemen oder in Somalia wurden seit langer Zeit auf Grund von Wahrscheinlichkeiten festgelegt:
Das Ziel hat zu oft "mit den falschen Leuten" telefoniert, war zu oft in der Nähe "der falschen Leute" oder in einem Fahrzeug oder an einem Ort, wo sich "die falschen Leute" aufgehalten haben? Dann gehört das Ziel - wahrscheinlich - auch zu "den falschen Leuten", bzw. wird, wenn es eine bestimmte Schwelle der Wahrscheinlichkeit übersteigt, allein dadurch zum Ziel. Das System sagt dem Menschen "in the loop": "Mit 96% Wahrscheinlichkeit ist das ein Terrorist." Der Mensch wird mit sehr hoher Wahrscheinlichkeit den Knopf drücken, um die Hellfire-Rakete loszuschicken. Dies gilt umso mehr, sofern Entscheidungen schnell getroffen werden müssen. Der Tendenz, der Einschätzung der "Maschine" zu folgen (96% Terrorist), ist eine bestimmter Bias, dessen genaue Bezeichnung mir gerade nicht einfällt.

Wohlgemerkt - in den meisten Fällen stimmt die Einschätzung und das Ziel ist tatsächlich ein Terrorist. Nur dumm, wenn man zu dem Prozentsatz der Menschen gehört, die kein Terrorist sind, und auf die trotzdem die Hellfire-Rakete abgeschossen wird. Das wird in Kauf genommen, inklusive möglicher Kollateralschäden.

Mit Blick auf die Amerikaner muß man dabei anmerken, daß das US-Militär Stellen hat, die explizit dafür geschaffen wurden, genau solche Fälle und auch Kollateralschäden zu vermeiden und zu begrenzen. Der derzeitige Präsident der USA hat aber gerade diese Stellen massiv zusammengestrichen.

Fancesco di Lardo

7 Stunden her, Francesco di Lardo schrieb:

Wir reden nicht von Träumen. Der Einsatz von autonomen Waffensystemen ohne menschliche Beteiligung ist teilweise schon seit Jahrzehnten Realität - etwa beim AEGIS System. Dort aber verhältnismäßig unproblematisch, weil es auf See nicht viel gibt (oder auf einen zufliegt), was man falsch einschätzen könnte.

Ich glaube, du verwechselst hier autonom und automatisch.

AEGIS z.B. ist kein autonomes, sondern ein automatisiertes System.

Das ist ein signifikanter Unterschied. Bei AEGIS werden die Entscheidungen immer.noch von Menschen getroffen.

Wir reden von Waffensystemen, die eigenständig und ohne menschliche Beteiligung entscheiden dürfen, ob etwas ein legitimes.Ziel ist oder nicht. Das ist überhaupt erst seit kurzem technisch möglich. Kann also gar nicht 'seit Jahrzehnten' im.Einsatz sein.

Es geht in dem Traum darum, Systeme zu entwickeln, wo es auch keine Menschen mehr 'on the Loop' wären.

Bearbeitet (vor 10 Stunden10 h von Kazzirah)

@Francesco di Lardo

Ein autonom handelnder Mensch macht auch Fehler, sogar mehr als ein Automatismus unter gleichen Bedingungen (zB Wissensbasis, Entscheidungsbaum, Abgrenzungen oder Stop- Vorgaben).

Der Mensch ist langsamer oder überspringt Entscheidungsmöglichkeiten (zB Bauchgefühl - Transparenz und Erklärbarkeit fehlen, ignoriert Abbruch- Bedingungen), oder beides. Darunter fällt auch die Risikobewertung, uU trotz Vorgabe. Ohne Vorgabe handelt Mensch A risikofreudiger oder eben nicht als Mensch B - wieviel unterschiedliche besserwissende Fussball- Trainer gibt es in DE?

Ein Mensch vermeidet klare oder unabdingbare Entscheidungen, ohne sich sozial oder hierarchisch abzusichern. Ein Mensch kann in Panik verfallen und trotz besserem Wissen irrationale Handlungen beschliessen und ausführen.

Wenige Menschen berücksichtigen / bewerten gleichzeitig mögliche Alternativen (und Risiken), wenn sie sich erstmal auf der richtigen Spur wähnen.

Alles das ist auch "Bias".

Und führt, wie bei autonomen, autaken Automatismen zu mehr oder wenigen den gleichen Problemen unterschiedlicher Tragweite wie beim Menschen, den wir ja auch als eigenständigen Organismus betrachten.

Mein Fazit: Wenn es NICHT auf soziale Interaktion ankommt, sind unabhängige (autonome) Entscheidungsträger handelnder, dabei zuverlässiger und transparenter. Wenn soziale Interaktion wichtiger ist, dürfen wir Menschen "schummeln" (zB Lieblingsperson oder Abhängigkeiten vorziehen).

Die Parameter für die Entscheidungen sind in aller Regel mensch- gemacht (egal ob einzelner Mensch oder mitprüfendes Team) und damit - trotz bestem Wissen und Absicht - per se anfällig für Bias.

Bearbeitet (vor 7 Stunden7 h von Lukarnam)

Ich experimentiere gerade mit einem lokalen "gemma 4 26B A4B it qat UD" und hermes-agent rum. Mal schauen, ob ich da irgendwelche wirklich praktischen Sachen damit machen kann.

8 Stunden her, Kazzirah schrieb:

Ich glaube, du verwechselst hier autonom und automatisch.

AEGIS z.B. ist kein autonomes, sondern ein automatisiertes System.

Das ist ein signifikanter Unterschied. Bei AEGIS werden die Entscheidungen immer.noch von Menschen getroffen.

Wir reden von Waffensystemen, die eigenständig und ohne menschliche Beteiligung entscheiden dürfen, ob etwas ein legitimes.Ziel ist oder nicht. Das ist überhaupt erst seit kurzem technisch möglich. Kann also gar nicht 'seit Jahrzehnten' im.Einsatz sein.

Es geht in dem Traum darum, Systeme zu entwickeln, wo es auch keine Menschen mehr 'on the Loop' wären.

Bei AEGIS gibt es verschiedene Modi, in denen das System operieren kann. Einer davon ist der "Auto SM" Mode, bei dem noch eine menschliche Autorisierung eines Launches (bzw. einer "Reaktion") erforderlich ist, während der gesamte Rest vollständig automatisiert läuft. Einer anderer läuft jedoch gänzlich ohne menschliche Beteiligung - abgesehen davon, daß Menschen diesen Modus ein- und ausschalten können. Ist dieser Modus eingeschaltet, erfolgt die Erfassung, Klassifizierung und ggf. Bekämpfung von Zielen vollständig ohne menschliche Beteiligung. Und dies ist in der Tat schon seit vielen Jahren so.

Du kannst natürlich sagen, daß System sei nicht "vollständig autonom", weil ein Mensch den Modus an sich noch ausschalten kann und in diesem Sinne noch "on the loop" wäre. Das ist aber eine sehr weite Dehnung des Begriffes "on the loop", weil im besagten Operationsmodus eine wirkliche "Prüfung" oder "Autorisierung" durch einen Menschen nicht mehr tatsächlich erfolgt.

Fransceso di Lardo

Bearbeitet (vor 34 Minuten34 Min. von Francesco di Lardo)

6 Stunden her, Lukarnam schrieb:

Mein Fazit: Wenn es NICHT auf soziale Interaktion ankommt, sind unabhängige (autonome) Entscheidungsträger handelnder, dabei zuverlässiger und transparenter. Wenn soziale Interaktion wichtiger ist, dürfen wir Menschen "schummeln" (zB Lieblingsperson oder Abhängigkeiten vorziehen).

Ich denke, das kann man so klar nicht sagen.

Wie kann ein System transparenter sein, bei dem nicht einmal dessen Erschaffer nachvollziehen können, wie es zu seinen "Entscheidungen" kommt?
Und wer sagt, daß autonome Systeme nicht schummeln? Gerade der Link, den ich etwas weiter oben im Thread gepostet habe, belegt beispielsweise, daß sie eben doch schummeln bzw. fixe Regeln brechen können, trotzdem es ihnen explizit verboten wurde: Nur eines der fünf oder sechs KI-Modelle hat es geschafft, daß in dem Experiment keine "kriminellen" Handlungen vorkamen.

https://www.emergence.ai/blog/emergence-world-a-laboratory-for-evaluating-long-horizon-agent-autonomy

Francesco di Lardo

6 Stunden her, Lukarnam schrieb:

Ein autonom handelnder Mensch macht auch Fehler, sogar mehr als ein Automatismus unter gleichen Bedingungen (zB Wissensbasis, Entscheidungsbaum, Abgrenzungen oder Stop- Vorgaben).

Natürlich machen Menschen auch Fehler. Aber ein individueller Mensch ist für sich allein in dem Ausmaß seiner Fehler nicht so "skalierbar" wie die Systeme, mit denen wir es jetzt zu tun bekommen. Man brauchte mehrere Menschen, um Dinge "durchzuziehen" und sofern manche nicht "mitgezogen" haben, konnte die Kette durchbrochen werden. Bei dem, was auf uns zukommt, gibt es nicht mehr notwendiger Weise diese Glieder in der Kette.

Francesco di Lardo

Bearbeitet (vor 1 Stunde1 h von Francesco di Lardo)