Gulag - Geschichte | ARTE Schon die russischen Zaren ließen politische Gegner in Lagern in Sibirien Zwangsarbeit leisten. Doch in der Sowjetunion bekamen die Lager eine neue Dimension: Der Gulag, das Netz sowjetischer Straf- u...

Die Linke macht heute wahrscheinlich einen parteiweiten Fernsehabend.

Did Claude really get dumber again? YouTube video by Theo - t3․gg

Anyways, 👇 Deep Dive in die Ursachen, warum Opus 4.7 als dümmer wahrgenommen wird, ist interessant. 7/7

... nutzt Anthropic vermutlich spezifische Hardware wie AWS Trainium oder Google TPUs anstelle von NVIDIA-GPUs, was mindestens mal zu unterschiedlichen Verhaltensweisen führt. Glücklicherweise kann man die 1-Mio-Token-Option disablen. 6/7

In einem Vorfall im August wurden Nutzer fälschlicherweise auf Server für das große Kontextfenster umgeleitet, was offiziell als Ursache für "dümmere" Antworten identifiziert wurde. Um die enormen Speicherkosten für ein 1-Mio-Token-Fenster zu bewältigen, ... 5/7

Nicht minder interessant ist die von Anthropic-Berichten bestätigte Befürchtung, dass das neue 1-Million-Token-Fenster zu einer messbaren Verschlechterung der Antwortqualität des LLM führt. 4/7

I Measured Claude 4.7's New Tokenizer. Here's What It Costs You. The docs said 1.0–1.35x more tokens. On real content, I measured 1.47x.

... der als "Context Rot" bezeichnet wird. Es ist zudem höchst ungewöhnlich, dass eine so fundamentale Änderung des Tokenizers bei einem kleinen Versionssprung von 4.6 auf 4.7 vorgenommen wurde, da dies normalerweise nur bei großen Upgrades üblich ist. 3/7

... wobei die Steigerung offiziell bei bis zu 1,35x liegt, in technischen Dokumenten laut unabhängigen Messungen sogar bis zu 1,47x erreichen kann. Dieser Anstieg bewirkt, dass Nutzer ihre Token-Limits schneller erreichen und begünstigt zudem einen Effekt, ... 2/7

Interessanter Aspekt, warum sich Claude Opus 4.7 dümmer anfühlt als Opus 4.6 - Anthropic hat den Tokenizer geupdated. Der neue Tokenizer in Opus 4.7 führt dazu, dass derselbe Eingabetext deutlich mehr Token beansprucht, ... 1/7

Verstehe.

Verstehe.

Verstehe.

Legastheniker an die Macht: Das Erfolgsgeheimnis des Palantir-Gründers Alex Karp Das Erfolgsgeheimnis des Palantir-Gründers Alex Karp. Und was sich daraus lernen lässt.

Ich hatte bislang noch keinen Artikel über Alex Karp in der 🇩🇪 Presselandschaft gelesen, der ohne das Wort "Faschismus" auskommt. Es gibt immer ein erstes Mal und dieser Text ist darüber hinaus auch wirklich lesenswert 👏

👇 ist ein cooler Deep Dive in das universelle Operatoren Paper:

eml(x, y) = exp(x) − ln(y))

P.S. Da hat George Spencer-Brown sein ganzes Leben auf das NOR als DAS Universalgatter der Booleschen Logik verwettet und dann erinnert die 🌍 nur noch das NAND. #sad

Eva von Redecker: »Wir erleben ein Wettrennen um Zerstörungsfähigkeit« Die Energiewende wird gerade triumphal rückabgewickelt, sagt die Philosophin Eva von Redecker. Und zwar nicht aus wirtschaftlichen Gründen, sondern aus Zerstörungslust.

(Quelle)

Betreff: Philosophen äußern sich zu KI

"Meine These wäre, dass sich dies alles gerade deshalb durchsetzt, weil es so unvernünftig ist, gerade weil es so viel Energie verbraucht." 🤦‍♂️

Jensen Huang – Will Nvidia’s moat persist? YouTube video by Dwarkesh Patel

Letztlich sei es klüger, die weltweite Innovation an 🇺🇸-Hardware zu binden, da Software-Architektur und Algorithmen oft entscheidender sind als die reine Chip-Fertigung. 18/18

Ein Ausschluss beschleunigt zudem 🇨🇳 interne Chip-Entwicklung und beraubt die 🇺🇸 des Zugriffs auf den zweitgrößten Technologiemarkt, was Huang als Risiko für die langfristige technologische Führung und nationale Sicherheit bewertet. 17/18

... würden deren LLM für eigene Architekturen (wie die von Huawei) optimiert, was die 🇺🇸-Vormachtstellung gefährdet, da diese alternativen 🇨🇳 Standards weltweit, etwa im Globalen Süden, zum Standard werden könnten. 16/18

... da 🇨🇳 der unangefochtene Marktführer bei Open Source LLM ist und etwa 50% der globalen KI-Forscher stellt. Diese Einbindung sicher, dass 🇺🇸-Technologien weiterhin die globalen Standards setzen. Würde 🇨🇳 gezwungen, einen völlig unabhängigen Stack zu entwickeln, ... 15/18

Darüber hinaus hatte ja der Streit um den Export von NVIDIA nach 🇨🇳 für enorme Aufmerksamkeit gesorgt und ich muss sagen, dass mich die Argumentation von Huang überzeugt. Es ist strategisch entscheidend, 🇨🇳 im 🇺🇸 KI-Stack zu halten, ... 14/18

... nicht rechtzeitig erkannt zu haben, dass Anthropic gar keine andere Wahl hatte, als diese Deals mit Cloud-Anbietern einzugehen. NVIDIA war zu diesem Zeitpunkt weder mental noch finanziell darauf eingestellt, derartige Milliardensummen extern zu investieren. 13/18

... die das Venture Capital nicht bereitstellen konnten. Google und Amazon sprangen als Investoren ein, forderten jedoch im Gegenzug die Verpflichtung zur Nutzung ihrer eigenen Recheninfrastruktur. Huang räumt ein, dass sein Fehler darin bestand, ... 12/18

Anyways, Huang räumt ein, dass die Sache mit Anthropic nicht gut gelaufen ist. Anthropic entschied sich primär für die TPUs von Google (sowie Trainium von AWS), weil das Unternehmen massive Investitionen in Höhe von 5 bis 10 Mrd. $ benötigte, ... 11/18

GPUs zeichnen sich im Vergleich zu TPUs zudem durch ihre Fähigkeit aus, unregelmäßige Speicherzugriffe und Verzweigungen innerhalb von Workloads besser zu verarbeiten. 10/18

Darüber hinaus sind NVIDIA-Systeme so konzipiert, dass sie flexibel von verschiedenen Betreibern in jeder großen Cloud genutzt werden können, während viele spezialisierte Eigenentwicklungen wie die TPU primär für den internen Betrieb durch ihre Ersteller optimiert sind. 9/18

... resultieren die massiven Leistungssprünge von NVIDIA - etwa der Faktor 50 zwischen den Architekturen Hopper und Blackwell - aus der Fähigkeit, Algorithmen und Rechenkerne jedes Jahr fundamental neu zu gestalten und zu optimieren. 8/18

... KI-Architekturen zu entwickeln, die über den aktuellen Standard hinausgehen, wie etwa Hybrid State Space Model oder neuartige Attention-Mechanismen. Da Moore's Law lediglich eine jährliche Leistungssteigerung von etwa 25% bietet, ... 7/18

... der Verarbeitung strukturierter wie unstrukturierter Daten effizient zu bewältigen. Ein entscheidender Vorteil der NVIDIA-Plattform liegt in der Programmierbarkeit durch CUDA, die es Forschern ermöglicht, kontinuierlich neue Algorithmen und ... 6/18

... programmierbare Flexibilität. Diese Vielseitigkeit erlaubt es NVIDIA-GPUs, weit über reine KI-Anwendungen hinaus auch komplexe Aufgaben in der Molekulardynamik, der Quantenchromodynamik, der Strömungssimulation und ... 5/18

... sondern ganzheitlich auf Accelerated Computing setzt. Während eine TPU als spezialisierter ASIC primär als großes systolisches Array fungiert, das ideal für vorhersehbare und repetitive Matrix-Multiplikationen ist, bietet die NVIDIA-Architektur eine allgemein ... 4/18