ki

Evaluation von LLMs - gpt-oss

Von peter portmann,

Veröffentlicht am 10. Aug. 2025   â€”   6 min Lesezeit

selfhostedmacos
đŸ€–
Mit einer einfachen Abfrage wurde die Geschwindigkeit bei lokaler Installation auf einem einem Mac Studio getestet. gpt-oss-120b war bei diesem Test schneller als llama4-scout.
Modell Tokens/s Dauer
llama4-scout 25.6 71.4 s
gpt-oss-20b 59.9 14.3 s
gpt-oss-120b 39.8 30.7 s

OpenAI hat kĂŒrzlich Schlagzeilen gemacht, indem es GPT-OSS, seine ersten offenen Sprachmodelle seit GPT-2 (2019), veröffentlicht hat und damit die Vorherrschaft proprietĂ€rer KI-Systeme auf den Kopf stellt.

Diese Text-Modelle - gpt-oss-120b und gpt-oss-20b - sind fĂŒr Chain-of-Thought-Reasoning, agentenbasierte Workflows, Web-Browsing, Code-AusfĂŒhrung und Langzeit-Kontextverwendung von bis zu 128 K Token entwickelt worden.

Das kleinere gpt-oss-20b ist optimiert, um vollstĂ€ndig auf lokaler Hardware mit 16 GB RAM und bietet bemerkenswerte On-Device-Leistung bei einem Bruchteil der Cloud-Kosten.

Inzwischen erreicht gpt-oss-120b die Leistung von OpenAIs proprietĂ€rem o4-mini oder ĂŒbertrifft sie sogar in einigen Bereichen, und das bei Verwendung einer Sparse Mixture-of-Experts- (MoE-)Architektur, die nur 5.1 Milliarden Parameter pro Token aktiviert.

Information

https://openai.com/de-DE/index/introducing-gpt-oss/
https://ollama.com/library/gpt-oss

Analyse

https://artificialanalysis.ai/

Community Leaderboard

https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard

Ollama

Es wurde die Ollama Version 0.11.4 unter macOS 15.5 verwendet. Tests wurden via Terminal ausgefĂŒhrt.

Terminal

Information zu gpt-oss, show info

pp@MacStudio2025 ~ >ollama run gpt-oss:20b
>>> /show info
  Model
    architecture        gptoss    
    parameters          20.9B     
    context length      131072    
    embedding length    2880      
    quantization        MXFP4     

  Capabilities
    completion    
    tools         
    thinking      

  Parameters
    temperature    1  
    ...     
pp@MacStudio2025 ~ >ollama run gpt-oss:120b
>>> /show info
  Model
    architecture        gptoss    
    parameters          116.8B    
    context length      131072    
    embedding length    2880      
    quantization        MXFP4     

  Capabilities
    completion    
    tools         
    thinking      

  Parameters
    temperature    1    
    ...   

Speedtest

ollama run gpt-oss:20b --verbose

pp@MacStudio2025 ~ >ollama run gpt-oss:20b --verbose
>>> wieso ist der himmel blau? formatiere die antwort in obsidian-markdown.
Thinking...
We need to answer in German: "wieso ist der himmel blau?" Provide answer formatted in Obsidian-markdown. Obsidian uses 
standard markdown with some extensions. So we can provide headings, lists, bold, etc. Provide explanation of Rayleigh 
scattering. Let's produce answer.
...done thinking.

Warum ist der Himmel blau?

Der blaue Himmel lĂ€sst sich mit Rayleigh‑Streuung erklĂ€ren – das PhĂ€nomen, bei dem kurze WellenlĂ€ngen (blaues Licht)
stĂ€rker von MolekĂŒlen und winzigen Partikeln in der AtmosphĂ€re gestreut werden als lange WellenlĂ€ngen (rotes Licht).

1. Sonnenlicht und das sichtbare Spektrum

  • Das Sonnenlicht ist ein nahezu weißer Strahl, bestehend aus allen sichtbaren Farben (rot, orange, gelb, grĂŒn, blau, indigo, violett).
  • Jedes Farbsegment hat eine eigene WellenlĂ€nge:
  • Rot: ~650 nm
  • Gelb: ~590 nm
  • GrĂŒn: ~530 nm
  • Blau: ~470 nm

2. Rayleigh‑Streuung in der Luft

Parameter Einfluss auf Streuung
WellenlĂ€nge λ StreuungsintensitĂ€t ∝ 1/λ⁎
GrĂ¶ĂŸe der Partikel FĂŒr Rayleigh‑Streuung mĂŒssen Partikel kleiner als λ sein (MolekĂŒle, kleine Aerosole).
Wirkungsdauer Kurze Streuung, Licht wird nahezu isotrop verteilt.

  • Da blaues Licht (kurze λ) 1/λ⁎ grĂ¶ĂŸer ist, wird es viel stĂ€rker gestreut als rotes Licht.
  • Die gestreuten Lichtstrahlen gelangen in alle Richtungen, inklusive in die Richtung unseres Auges.

3. Sichtbarkeit des Himmels

  • Sonnenuntergang: Beim Durchgang der Sonnenstrahlen durch die „dickere“ AtmosphĂ€re werden die kurzen blauen Wellen stĂ€rker absorbiert bzw. gestreut, wĂ€hrend die langen roten und orangen Wellen den Weg freier durchqueren → rötlicher Himmel.
  • Mittagszeit: Der Pfad durch die AtmosphĂ€re ist kurz; weniger Streuung, aber blaue Streuung dominiert → klarblauer Himmel.

4. Was passiert bei Wolken oder Smog?

  • GrĂ¶ĂŸere Partikel (Wolken, Smog) streuen das Licht unabhĂ€ngig von λ (Mie‑Streuung).
  • Dadurch erscheinen Wolken oft weißer (alle Farben werden gleichmĂ€ĂŸig gestreut) oder grau (wenn die Partikel sehr groß).

5. Kurze Zusammenfassung

  • Himmel ist blau, weil kurzes blaues Licht stĂ€rker gestreut wird als andere Farben.
  • Das PhĂ€nomen wird durch die 1/λ⁎‑AbhĂ€ngigkeit der Rayleigh‑Streuung erklĂ€rt.
  • Bei langen Lichtpfaden (Sonnenuntergang) wird das Blau stĂ€rker entfernt, wodurch der Himmel rötlich erscheint.

Fun Fact: Das gleiche Prinzip erklĂ€rt, warum die Ozeane blau erscheinen â€“ das Wasser absorbiert lange Wellen besser und lĂ€sst die kurzen blauen Wellen zurĂŒckstreuen.


total duration:       14.327135708s
load duration:        58.218583ms
prompt eval count:    86 token(s)
prompt eval duration: 771.340917ms
prompt eval rate:     111.49 tokens/s
eval count:           771 token(s)
eval duration:        13.497127792s
eval rate:            57.12 tokens/s

Gesamtzahl der Tokens:
Gesamt-Tokens = prompt eval count + eval count

Tokens pro Sekunde fĂŒr die gesamte Anfrage:
Tokens/s (gesamt) = Gesamt-Tokens / total duration

Anzahl der Tokens pro Sekunde fĂŒr die gesamte Anfrage:
Tokens/s (gesamt) = 857 Tokens / 14.3s ≈ 59.9 Tokens/s


Speedtest

ollama run gpt-oss:120b --verbose

pp@MacStudio2025 ~ >ollama run gpt-oss:120b --verbose
>>> wieso ist der himmel blau? formatiere die antwort in obsidian-markdown.
Thinking...
User asks in German: "wieso ist der Himmel blau? formatiere die Antwort in Obsidian-Markdown." So need to explain why the sky 
is blue, in German, using Obsidian markdown formatting. Obsidian supports standard markdown, plus wikilinks, tags, etc. 
Provide headings, bullet points, maybe code block? Should be clear. Use maybe callout? Use blockquote? Provide references? Use 
[[ ]]? Provide tags at end.

Let's craft. Use H1 maybe "Warum ist der Himmel blau?" Then sections: Rayleigh scattering, Sunlight composition, Human eye 
perception, etc. Use bullet points. Use a diagram? Could embed image placeholder. Use footnotes. Use callout (> [!NOTE])? 
Obsidian supports callout syntax. Provide tags like #Astronomie #Physik. Provide internal links placeholder [[Streuung]], 
[[Lichtspektrum]].

Let's produce.
...done thinking.

Warum ist der Himmel blau?

Der Blauton des Tageshimmels entsteht durch die Rayleigh‑Streuung von Sonnenlicht in der ErdatmosphĂ€re.
Im Folgenden erklÀre ich die wichtigsten Punkte in kompakter Form.


1. Sonnenlicht und sein Spektrum

  • Das Sonnenlicht ist ein weißes Licht, das aus allen sichtbaren Farben (Spektren von ~380 nm bis ~750 nm) besteht.
  • Jede Farbe hat eine andere WellenlĂ€nge:
    • Violett ≈ 380 nm
    • Blau ≈ 450 nm
    • GrĂŒn ≈ 530 nm
    • Gelb ≈ 580 nm
    • Rot ≈ 650 nm

Hinweis: Violettes Licht wird von der Netzhaut weniger stark wahrgenommen und wird teilweise vom Ozon absorbiert, weshalb wir den Himmel eher blau statt violett sehen.


2. Rayleigh‑Streuung

Was ist das?

Rayleigh‑Streuung ist die Streuung von Licht an Teilchen, die viel kleiner als die WellenlĂ€nge des Lichts sind (z. B. LuftmolekĂŒle).

Warum wird blaues Licht stÀrker gestreut?

Die StreuintensitĂ€t (I) hĂ€ngt vom WellenlĂ€ngen‑Quartett ab:

$$
I(\lambda)=I_{0},\frac{8\pi{3}}{3},\frac{\alpha{2}}{\lambda^{4}}
$$

$I_0$ – einheitsmĂ€ĂŸige IntensitĂ€t des einfallenden Lichts
$\alpha$ – Polarisierbarkeit des MolekĂŒls
$\lambda$ – WellenlĂ€nge des Lichts

Der entscheidende Faktor ist:

$$\lambda^{-4}$$

  • Kleinere WellenlĂ€ngen (wie Blau ≈ 450 nm) → grĂ¶ĂŸere Streuung
  • LĂ€ngere WellenlĂ€ngen (wie Rot ≈ 650 nm) → weniger Streuung

Quantitativ wird blaues Licht etwa 10‑mal stĂ€rker gestreut als rotes Licht.

Ergebnis

  • Das gestreute Licht wird aus allen Richtungen zu unseren Augen geleitet → wir sehen den Himmel als blau.
  • Das direkte Sonnenlicht bleibt weitgehend unverĂ€ndert, weil nur ein kleiner Teil davon gestreut wird → die Sonne erscheint weiß (oder bei tiefem Sonnenstand rötlich, weil der Weg durch die AtmosphĂ€re lĂ€nger ist und mehr blaues Licht herausgefiltert wird).

3. Tageszeitliche VerÀnderungen

Tageszeit Weg durch AtmosphÀre Dominante Farbe Sichtbarer Himmel
Mittag Kurz (fast senkrecht) Blau (stark gestreut) Leuchtend blau
Sonnenauf‑ /untergang Lang (flacher Winkel) Rot/Orange (blaues Licht wird fast komplett herausgefiltert) Rötlich orange
DĂ€mmerung Sehr lang Rot → kein Blau mehr Roter Dunst

4. Warum nicht violett?

  • Empfindlichkeit des Auges: Zapfenschalen (S‑Zapfen) reagieren schwĂ€cher im Violett‑Bereich.
  • AtmosphĂ€rische Absorption: Violettes Licht wird stĂ€rker von Ozon absorbiert.
  • Mischung: Das wenig wahrgenommene Violett wird mit Blau gemischt → das Ergebnis erscheint uns als blau.

5. Quellen

  1. Bohren, C. F., & Huffman, D. R. (1983). Absorption and Scattering of Light by Small Particles. Wiley.
  2. H. M. Freeman, Atmospheric Optics, University of Arizona (Online‑Lecture).
  3. NASA Earth Observatory, Why is the Sky Blue? (2021).

Das gleiche Prinzip erklĂ€rt auch das rote Farbspiel bei SonnenuntergĂ€ngen und das weiße Aussehen von Wolken (Mie‑Streuung bei grĂ¶ĂŸeren Partikeln).


total duration:       30.758831292s
load duration:        60.92975ms
prompt eval count:    86 token(s)
prompt eval duration: 1.530349167s
prompt eval rate:     56.20 tokens/s
eval count:           1136 token(s)
eval duration:        29.167107291s
eval rate:            38.95 tokens/s

Gesamtzahl der Tokens:
Gesamt-Tokens = prompt eval count + eval count

Tokens pro Sekunde fĂŒr die gesamte Anfrage:
Tokens/s (gesamt) = Gesamt-Tokens / total duration

Anzahl der Tokens pro Sekunde fĂŒr die gesamte Anfrage:
Tokens/s (gesamt) = 857 Tokens / 30.7s ≈ 39.8 Tokens/s


Auf Facebook teilen Auf Linkedin teilen Auf Twitter teilen Per E-Mail senden

Newsletter abonnieren

Einschreiben und kostenlos News direkt per E-Mail erhalten.

einschreiben