Proof of Concept
Erkenntnisse
Bei Verwendung von KI Modellen in der Cloud landen die Daten unweigerlich auf fremden Servern. Die Wahl, ob die Daten in den USA oder in China landen, ist nicht wirklich prickelnd.
SwissGPT könnte im medizinischen Bereich eine Lösung sein. Oder auf eigenem Server installierte Software und Sprachmodelle.
Das Problem sind die Anforderungen an die Hardware. Hier das 'Protokoll' der heutigen Recherche.
Hardware
- MacBook Pro, M2 Pro, macOS 15.2, 32GB RAM
LM Studio
https://lmstudio.ai/
https://lmstudio.ai/models
- RAG geht hier nur direkt im Chat
- Attach Files: Upload up to 5 files at a time, with a maximum combined size of 30MB. Supported formats include PDF, DOCX, TXT, and CSV.
- Kann als Server für AnythingLLM verwendet werden, siehe unten
DeepSeek-R1-Distill-Llama-8B-Q4_K_M
lmstudio-community/DeepSeek-R1-Distill-Llama-8B-GGUF/DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf
Konversation mit DeepSeek-R1 auf dem MacBook Pro
Prompt:
wie schnell ist ein Gegenstand beim Aufprall wenn dieser aus 20 Metern Höhe auf den Boden fällt? Ich möchte eine Herleitung und das Resultat in m/s und km/m
Assistant:
deepseek-r1-distill-llama-8b
Thoughts
Thought for 48.97 seconds
Okay, so I need to figure out how fast an object is moving when it hits the ground after falling 20 meters. I remember that gravity pulls things down, and there's a constant acceleration called gravitational acceleration, which is about 9.81 m/s² on Earth. So, if an object falls from a height, its speed increases because of this acceleration due to gravity.
First, I think I need to find the velocity just before the object hits the ground. I recall that the formula for the final velocity when dropping from a height is:
v = sqrt(2gh)
Where:
v is the final velocity
g is the gravitational acceleration (9.81 m/s²)
h is the height (20 meters)
So, plugging in the numbers:
v = sqrt(2 * 9.81 * 20)
v = sqrt(392.4)
v ≈ 19.8 m/s
That means the object hits the ground at about 19.8 meters per second.
Now, to convert that into kilometers per hour (km/h), since 1 km is 1000 meters and 1 hour is 3600 seconds, I can use the conversion factor:
1 m/s = 3.6 km/h
So,
v_kmh = v_mps * 3.6
v_kmh ≈ 19.8 * 3.6
v_kmh ≈ 71.28 km/h
Therefore, the object is moving at approximately 71.28 kilometers per hour when it hits the ground.
Wait a second, let me double-check that calculation to make sure I didn't make any mistakes.
Starting with:
v = sqrt(2gh)
v = sqrt(2 * 9.81 * 20)
v = sqrt(392.4)
v ≈ 19.8 m/s
That seems correct. Now, converting meters per second to kilometers per hour.
Since there are 1000 meters in a kilometer and 3600 seconds in an hour:
1 m/s = (1000/3600) km/h = 5/18 km/h ≈ 0.27778 km/h
So,
v_kmh = v_mps * 0.27778
v_kmh ≈ 19.8 * 0.27778 ≈ 5.5116 km/h
Wait, that's a big difference from what I got earlier. Hmm, did I confuse something here?
No, wait, no. 1 m/s is actually equal to approximately 3.6 km/h, not 0.27778 km/h.
Let me correct that:
Since there are 1000 meters in a kilometer and 60 seconds in a minute,
1 m/s = (1000/60) m/min = 16.6667 m/min
And since 1 km = 1000 m, then:
1 m/s = 16.6667 m/min * (1 km / 1000 m) ≈ 0.0166667 km/min
But to convert to hours, we need to go from minutes to hours.
So,
1 minute = 1/60 hour
Therefore,
1 m/s = 0.0166667 km/min * (1 hour / 60 min) ≈ 0.00027778 km/h
Wait, that's not matching what I thought earlier. But in reality, the conversion factor is:
1 m/s = 3.6 km/h
Because:
1 m/s = 1000/3600 km/h
≈ 0.27777 km/h? No, that can’t be right.
Wait no, let me calculate it again.
1 m/s = (1000 meters)/(3600 seconds) = 1000/3600 km/h ≈ 0.27778 km/h
But that contradicts the standard conversion factor of 3.6 km/h per m/s. Where is the confusion here?
Wait, no, actually 1 m/s is equal to approximately 3.6 km/h.
Let me check:
1 meter per second * 3600 seconds in an hour = 3600 meters per hour
Since 1 kilometer is 1000 meters,
3600 meters/hour / 1000 meters/km = 3.6 km/h
Ah, okay, so I was mistaken earlier. It's 3.6 km/h, not approximately 0.27778 km/h.
So, to convert m/s to km/h:
v_kmh = v_mps * 3.6
Therefore,
v ≈ 19.8 m/s * 3.6 ≈ 71.28 km/h
That matches my initial calculation. So earlier when I thought it was 5.5 km/h, that was wrong because of a mistake in the conversion factor.
So, final answer is approximately 71.28 km/h.
Um die Geschwindigkeit eines Gegenstands zu berechnen, der von einer Höhe von 20 Metern auf den Boden fällt, verwenden wir die Formel für die endgültige Geschwindigkeit beim Aufprall:
vfinal=2ghvfinal=2gh
Wo:
g=9,81 m/s2g=9,81m/s2 (gravitative Beschleunigung)
h=20 mh=20m (Höhe des Falls)
Setzen wir die Werte ein:
vfinal=2×9,81 m/s2×20 mvfinal=2×9,81m/s2×20m
vfinal=392,4 m/svfinal=392,4m/s
vfinal≈19,8 m/svfinal≈19,8m/s
Um die Geschwindigkeit in km/h zu erhalten, verwenden wir die Umrechnung:
1 m/s = 3,6 km/h
Daher:
vfinal_km/h=19,8 m/s×3,6 km/hm/svfinal_km/h=19,8m/s×3,6m/skm/h
vfinal_km/h≈71,28 km/hvfinal_km/h≈71,28km/h
Endergebnis
Die Geschwindigkeit des Gegenstands beim Aufprall beträgt ungefähr 71,28 km/h.
20.54 tok/sec, 1366 tokens 2.35s to first token
Llama 3.2
- Llama 3.3 70B läuft nicht auf meinem MacBook
hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF
Llama 3.2 auf dem MacBook Pro
Prompt
wie schnell ist ein Gegenstand beim Aufprall wenn dieser aus 20 Metern Höhe auf den Boden fällt? Ich möchte eine Herleitung und das Resultat in m/s und km/m
Assistant
llama-3.2-3b-instruct
Um die Geschwindigkeit eines Gegenstands bei Aufprall zu berechnen, können wir einige physikalische Prinzipien anwenden. Wir werden die Fallbeschleunigung unter Berücksichtigung der Schwerkraft und des Reisens einer Anfangsgeschwindigkeit verwenden.
Schritt 1: Energiebeziehung
Wenn ein Gegenstand von 20 Metern Höhe auf den Boden fällt, verlieren wir seine potenzielle Energie (PE) durch die Gravitationskraft. Die potenzielle Energie kann mit der folgenden Gleichung berechnet werden:
PE = m × g × h
wobei:
- m: Masse des Objekts in Kilogramm (kg)
- g: Fallbeschleunigung 9,81 m/s²
- h: Höhe des Falls in Metern (m)
Schritt 2: Kinematik
Nicht nur die potenzielle Energie wird verloren, sondern auch die kinetische Energie (KE). Der Gesamtverlust an Energie ist jedoch gleich dem Verlust der potenziellen Energie:
PE + KE = KE_i + KE_f
wobei:
- PE: Potentielle Energie
- KE_i: Initalkinetische Energie (keine Bewegung vor Falleinsetzen, daher 0)
- KE_f: Endkinetische Energie nach dem Aufprall
- KE: Gesamtkinetische Energie
Schritt 3: Gleichung für die Geschwindigkeit
Da wir wissen möchten, wie schnell das Objekt auftrifft, können wir eine Gleichung verwenden, um die Geschwindigkeit zu ermitteln:
KE = (1/2) × m × v²
wobei:
- KE: Endkinetische Energie
- m: Masse des Objekts in Kilogramm (kg)
- v: Geschwindigkeit nach dem Aufprall in Metern pro Sekunde (m/s)
Wenn wir die Gleichungen aus Schritt 1 und Schritt 2 kombinieren, erhalten wir:
0 + KE = (1/2) × m × v² KE = (1/2) × m × g × h
Diese Gleichung kann vereinfacht werden, indem beide Seiten mit 2 multipliziert und dann durch die Masse des Objekts geteilt wird:
v² = g × h v = sqrt(g × h)
Ermittlung der Geschwindigkeit
Wenn wir nun unsere Werte einsetzen:
- Fallhöhe (h): 20 Meter
- Fallbeschleunigung (g): 9,81 m/s²
Dann können wir die folgende Gleichung verwenden:
v = sqrt(9,81 × 20) = sqrt(196,2) ≈ 14.00 m/s
Damit erhalten wir bei einem Aufprall aus einer Höhe von 20 Metern eine Geschwindigkeit von etwa 14 Meter pro Sekunde.
Umrechnung in km/h
Wenn Sie auch das Ergebnis in Kilometer pro Stunde (km/h) sehen möchten, können wir die folgende Tabelle verwenden:
1 m/s ≈ 3,6 km/h
Wir multiplizieren nun unsere Geschwindigkeit von 14 Meter pro Sekunde mit dieser Umrechnungsfaktor:
14 m/s × 3,6 = 50,4 km/h
40.27 tok/sec, 755 tokens,0.24s to first token
leider falsch
Mistral Nemo Instruct 12B Q4_K_M
lmstudio-community/Mistral-Nemo-Instruct-2407-GGUF/Mistral-Nemo-Instruct-2407-Q4_K_M.gguf
Mistral Nemo auf dem MacBook Pro
Prompt
wie schnell ist ein Gegenstand beim Aufprall wenn dieser aus 20 Metern Höhe auf den Boden fällt? Ich möchte eine Herleitung und das Resultat in m/s und km/m
Assistant
mistral-nemo-instruct-2407
Ein Körper, der von einem gewissen Punkt aus fällt, wird von der Schwerkraft beschleunigt.Die Beschleunigung due zu der Erdanziehung ist ungefähr 9.81ms29.81s2m.
Um die Geschwindigkeit des Gegenstandes beim Aufprall zu berechnen, kann man den folgenden Zusammenhang verwenden:
v=2ghv=2gh
Dabei ist vv die Geschwindigkeit in m/s, gg die Fallbeschleunigung und hh die Höhe in Metern.
Da der Gegenstand aus 20 Metern Höhe fällt, kann man diesen Wert für hh einsetzen:
v=2∗9.81∗20v=2∗9.81∗20
v=392.4v=392.4
v≈19.79msv≈19.79sm
In km/h würde die Geschwindigkeit dann sein:
v≈68.5kmhv≈68.5hkm
21.04 tok/sec, 200 tokens, 0.61s to first token
km/h leider grob geschätzt, also:
Berechne die Umwandlung von m/s zu km/h nochmals und zeige den Rechnungsweg
Assistant
mistral-nemo-instruct-2407
Um die Geschwindigkeit in m/s in km/h umzuwandeln, muss man mit dem folgenden Faktor multiplizieren:
1ms=3.6kmh1sm=3.6hkm
Dabei kommt der Faktor durch folgende Überlegung zustande:
Es gibt 1000 Meter in einem Kilometer und 3600 Sekunden in einer Stunde. Daher muss man die Geschwindigkeit in m/s mit dem Faktor 1000m1km∗3600s1h1km1000m∗1h3600s multiplizieren, um sie in km/h zu verwandeln.
Also:
vkm/h=vm/s∗3.6vkm/h=vm/s∗3.6
Dabei ist vm/svm/s die Geschwindigkeit in m/s und vkm/hvkm/h die Geschwindigkeit in km/h.
Wenn man nun die oben berechnete Geschwindigkeit von etwa 19.79 m/s in km/h umwandelt, bekommt man:
vkm/h≈19.79∗3.6vkm/h≈19.79∗3.6
vkm/h≈70.404kmhvkm/h≈70.404hkm
20.17 tok/sec, 248 tokens, 1.67s to first token
AnythingLLM
- https://anythingllm.com/desktop
- kann RAG/Dokumente in Arbeitsbereiche hochladen
- LM Studio kann als Server verwendet werden, funktioniert, siehe Server Log
Server Log in LM Studio (Menü Developer)
2025-02-02 21:22:26 [INFO]
Server started.
2025-02-02 21:22:26 [INFO]
Just-in-time model loading active.
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] Success! HTTP server listening on port 1234
2025-02-02 21:22:51 [WARN]
[LM STUDIO SERVER] Server accepting connections from the local network. Only use this if you know what you are doing!
2025-02-02 21:22:51 [INFO]
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] Supported endpoints:
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] -> GET http://192.168.16.16:1234/v1/models
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] -> POST http://192.168.16.16:1234/v1/chat/completions
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] -> POST http://192.168.16.16:1234/v1/completions
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] -> POST http://192.168.16.16:1234/v1/embeddings
2025-02-02 21:22:51 [INFO]
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] Logs are saved into /Users/pp/.cache/lm-studio/server-logs
2025-02-02 21:24:11 [INFO]
[LM STUDIO SERVER] Running chat completion on conversation with 2 messages.
2025-02-02 21:24:11 [INFO]
[LM STUDIO SERVER] Streaming response...
2025-02-02 21:24:12 [INFO]
[LM STUDIO SERVER] First token generated. Continuing to stream response..
2025-02-02 21:24:35 [INFO]
Finished streaming response
2025-02-02 21:24:35 [INFO]
[LM STUDIO SERVER] Client disconnected. Stopping generation... (If the model is busy processing the prompt, it will finish first.)
Weitere Software für lokale KI
https://anythingllm.com/desktop
https://localai.io/
https://ollama.com/
Quellen
Entwickler: KI aus, Hirn an!
02.02.2025
Was ihr noch nicht über DeepSeek wusstet
31.01.2025
the ONLY way to run Deepseek...
31.01.2025
Dein persönliches ChatGPT! KI Server selbst gebaut - so geht’s
21.06.2024
Hardware
- DELL, Smart Selection PowerEdge R7515 Rack Server Premium
- AMD EPYC 7763, 128GB RAM, Nvidia GeForce RTX 3090
DeepSeek in Nextcloud KI nutzen
2.2.2025
https://www.patreon.com/posts/deepseek-in-ki-121349153
Verwendet Modell 'DeepSeek-R1-Distill-Llama-8B'
https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Llama-8B
DeepSeek R1
DeepSeek R1 Hardware Requirements Explained
01.02.2025
Kommentare
@BlueSpork
In this video, I failed to mention that all the models shown are quantized Q4 models, not full-size models. These Q4 models are smaller sized models. They are easier to load on computers with limited resources. That's why I used Q4 models—to show what most people can run on their computers. However, I should have mentioned that these are not full-size models. If you have enough hardware resources you can download larger Q8, and fp16 models from Ollama's website. Also, I didn't cover running local LLMs in RAM instead of VRAM in detail because this video focuses mainly on GPUs and VRAM. I might make another video explaining running them in RAM in more detail.
@Mehtab20mehtab
deepseek r1 32b is fine. difference in quality response is 8 percent more in 70B like 61 but not worth it for performance and memory. u can check result in decoder comparison. but from 14b to 32b the improvement is insane 37 to 57. for comparison o1-mini has 53.8 in livecodebench. Deepseek r1 671b has 65.9 the highest in leaderboard for livecodebench. If u use local ai for complex task, Use at least q3 or q4 along with fine granulation not coarse. Fine granulation mean _K_S or _K_M not _K_L one which is coarser not fine. Fine one would be optimised for quality but require more computing power but is worthit with good dealings with tokens. Coarser are optimised along with big little parts so it easier to get advantage for performance and answering simple questions fastly. Complex task require informed question to get weighted. More quantization number like Q4 is good enough. Here is another theory Q2 only has 2 power 2 so 4 weights. Q3 has 2^3 so 8 weights enough quality boost. Q4 has 2^4 so 16 weights. Moving on would be beneficial with longer question answers. Also do not download like Q4_0 the 0 mean unoptimised just quantized. There is more way to answer these things.
Deepseek R1 Locally: Ollama + Open WebUI
21.01.2025
- schon geht es weiter...
Kostenlose ChatGPT Alternative Qwen generiert Videos, Bilder & Text | Neuer KI-Chatbot aus China
02.02.2025
DeepSeek R1 Cloned for $30?! PhD Student STUNNING Discovery
02.02.2025
You HAVE to Try Agentic RAG with DeepSeek R1 (Insane Results)
03.02.2025