ki

KI lokal und privat

Von peter portmann,

Veröffentlicht am 2. Feb. 2025   —   11 min Lesezeit

selfhostedcode

Proof of Concept

✔️
Eigener KI Server funktioniert mit LM Studio ohne Programmierung
✔️
Dokumente können mit AnythingLLM lokal mit Sprachmodellen analysiert werden
✔️
Das Konzept funktioniert unter macOS, Windows und Linux

Erkenntnisse

💡
Die Konfiguration kann in einer grafischen Oberfläche erfolgen
💡
Kenntnisse der Sprachmodelle für den spezifischen Einsatzzweck sind unabdingbar
💡
Die verwendeten Modelle zwischen 8B und 12B liefern etwa 20 Tokens pro Sekunde
💡
DeepSeekR1 informiert transparent was es 'denkt', das verkürzt die Wartezeit

Bei Verwendung von KI Modellen in der Cloud landen die Daten unweigerlich auf fremden Servern. Die Wahl, ob die Daten in den USA oder in China landen, ist nicht wirklich prickelnd.

SwissGPT könnte im medizinischen Bereich eine Lösung sein. Oder auf eigenem Server installierte Software und Sprachmodelle.

Das Problem sind die Anforderungen an die Hardware. Hier das 'Protokoll' der heutigen Recherche.

Hardware

  • MacBook Pro, M2 Pro, macOS 15.2, 32GB RAM

LM Studio

https://lmstudio.ai/
https://lmstudio.ai/models

  • RAG geht hier nur direkt im Chat
  • Attach Files: Upload up to 5 files at a time, with a maximum combined size of 30MB. Supported formats include PDF, DOCX, TXT, and CSV.
  • Kann als Server für AnythingLLM verwendet werden, siehe unten

DeepSeek-R1-Distill-Llama-8B-Q4_K_M

lmstudio-community/DeepSeek-R1-Distill-Llama-8B-GGUF/DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf

Konversation mit DeepSeek-R1 auf dem MacBook Pro

Prompt:
wie schnell ist ein Gegenstand beim Aufprall wenn dieser aus 20 Metern Höhe auf den Boden fällt? Ich möchte eine Herleitung und das Resultat in m/s und km/m

Assistant:
deepseek-r1-distill-llama-8b

Thoughts

Thought for 48.97 seconds
Okay, so I need to figure out how fast an object is moving when it hits the ground after falling 20 meters. I remember that gravity pulls things down, and there's a constant acceleration called gravitational acceleration, which is about 9.81 m/s² on Earth. So, if an object falls from a height, its speed increases because of this acceleration due to gravity.
First, I think I need to find the velocity just before the object hits the ground. I recall that the formula for the final velocity when dropping from a height is:
v = sqrt(2gh)
Where:
v is the final velocity
g is the gravitational acceleration (9.81 m/s²)
h is the height (20 meters)
So, plugging in the numbers:
v = sqrt(2 * 9.81 * 20)
v = sqrt(392.4)
v ≈ 19.8 m/s
That means the object hits the ground at about 19.8 meters per second.
Now, to convert that into kilometers per hour (km/h), since 1 km is 1000 meters and 1 hour is 3600 seconds, I can use the conversion factor:
1 m/s = 3.6 km/h
So,
v_kmh = v_mps * 3.6
v_kmh ≈ 19.8 * 3.6
v_kmh ≈ 71.28 km/h
Therefore, the object is moving at approximately 71.28 kilometers per hour when it hits the ground.
Wait a second, let me double-check that calculation to make sure I didn't make any mistakes.
Starting with:
v = sqrt(2gh)
v = sqrt(2 * 9.81 * 20)
v = sqrt(392.4)
v ≈ 19.8 m/s
That seems correct. Now, converting meters per second to kilometers per hour.
Since there are 1000 meters in a kilometer and 3600 seconds in an hour:
1 m/s = (1000/3600) km/h = 5/18 km/h ≈ 0.27778 km/h
So,
v_kmh = v_mps * 0.27778
v_kmh ≈ 19.8 * 0.27778 ≈ 5.5116 km/h
Wait, that's a big difference from what I got earlier. Hmm, did I confuse something here?
No, wait, no. 1 m/s is actually equal to approximately 3.6 km/h, not 0.27778 km/h.
Let me correct that:
Since there are 1000 meters in a kilometer and 60 seconds in a minute,
1 m/s = (1000/60) m/min = 16.6667 m/min
And since 1 km = 1000 m, then:
1 m/s = 16.6667 m/min * (1 km / 1000 m) ≈ 0.0166667 km/min
But to convert to hours, we need to go from minutes to hours.
So,
1 minute = 1/60 hour
Therefore,
1 m/s = 0.0166667 km/min * (1 hour / 60 min) ≈ 0.00027778 km/h
Wait, that's not matching what I thought earlier. But in reality, the conversion factor is:
1 m/s = 3.6 km/h
Because:
1 m/s = 1000/3600 km/h
≈ 0.27777 km/h? No, that can’t be right.
Wait no, let me calculate it again.
1 m/s = (1000 meters)/(3600 seconds) = 1000/3600 km/h ≈ 0.27778 km/h
But that contradicts the standard conversion factor of 3.6 km/h per m/s. Where is the confusion here?
Wait, no, actually 1 m/s is equal to approximately 3.6 km/h.
Let me check:
1 meter per second * 3600 seconds in an hour = 3600 meters per hour
Since 1 kilometer is 1000 meters,
3600 meters/hour / 1000 meters/km = 3.6 km/h
Ah, okay, so I was mistaken earlier. It's 3.6 km/h, not approximately 0.27778 km/h.
So, to convert m/s to km/h:
v_kmh = v_mps * 3.6
Therefore,
v ≈ 19.8 m/s * 3.6 ≈ 71.28 km/h
That matches my initial calculation. So earlier when I thought it was 5.5 km/h, that was wrong because of a mistake in the conversion factor.
So, final answer is approximately 71.28 km/h.
Um die Geschwindigkeit eines Gegenstands zu berechnen, der von einer Höhe von 20 Metern auf den Boden fällt, verwenden wir die Formel für die endgültige Geschwindigkeit beim Aufprall:
vfinal=2ghvfinal​=2gh​
Wo:
g=9,81 m/s2g=9,81m/s2 (gravitative Beschleunigung)
h=20 mh=20m (Höhe des Falls)
Setzen wir die Werte ein:
vfinal=2×9,81 m/s2×20 mvfinal​=2×9,81m/s2×20m​
vfinal=392,4 m/svfinal​=392,4​m/s
vfinal≈19,8 m/svfinal​≈19,8m/s
Um die Geschwindigkeit in km/h zu erhalten, verwenden wir die Umrechnung:
1 m/s = 3,6 km/h
Daher:
vfinal_km/h=19,8 m/s×3,6 km/hm/svfinal_km/h​=19,8m/s×3,6m/skm/h​
vfinal_km/h≈71,28 km/hvfinal_km/h​≈71,28km/h

Endergebnis
Die Geschwindigkeit des Gegenstands beim Aufprall beträgt ungefähr 71,28 km/h.

20.54 tok/sec, 1366 tokens 2.35s to first token

Llama 3.2

  • Llama 3.3 70B läuft nicht auf meinem MacBook

hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF

Llama 3.2 auf dem MacBook Pro

Prompt
wie schnell ist ein Gegenstand beim Aufprall wenn dieser aus 20 Metern Höhe auf den Boden fällt? Ich möchte eine Herleitung und das Resultat in m/s und km/m

Assistant
llama-3.2-3b-instruct

Um die Geschwindigkeit eines Gegenstands bei Aufprall zu berechnen, können wir einige physikalische Prinzipien anwenden. Wir werden die Fallbeschleunigung unter Berücksichtigung der Schwerkraft und des Reisens einer Anfangsgeschwindigkeit verwenden.

Schritt 1: Energiebeziehung

Wenn ein Gegenstand von 20 Metern Höhe auf den Boden fällt, verlieren wir seine potenzielle Energie (PE) durch die Gravitationskraft. Die potenzielle Energie kann mit der folgenden Gleichung berechnet werden:

PE = m × g × h

wobei:

  • m: Masse des Objekts in Kilogramm (kg)
  • g: Fallbeschleunigung 9,81 m/s²
  • h: Höhe des Falls in Metern (m)

Schritt 2: Kinematik

Nicht nur die potenzielle Energie wird verloren, sondern auch die kinetische Energie (KE). Der Gesamtverlust an Energie ist jedoch gleich dem Verlust der potenziellen Energie:

PE + KE = KE_i + KE_f

wobei:

  • PE: Potentielle Energie
  • KE_i: Initalkinetische Energie (keine Bewegung vor Falleinsetzen, daher 0)
  • KE_f: Endkinetische Energie nach dem Aufprall
  • KE: Gesamtkinetische Energie

Schritt 3: Gleichung für die Geschwindigkeit

Da wir wissen möchten, wie schnell das Objekt auftrifft, können wir eine Gleichung verwenden, um die Geschwindigkeit zu ermitteln:

KE = (1/2) × m × v²

wobei:

  • KE: Endkinetische Energie
  • m: Masse des Objekts in Kilogramm (kg)
  • v: Geschwindigkeit nach dem Aufprall in Metern pro Sekunde (m/s)

Wenn wir die Gleichungen aus Schritt 1 und Schritt 2 kombinieren, erhalten wir:

0 + KE = (1/2) × m × v² KE = (1/2) × m × g × h

Diese Gleichung kann vereinfacht werden, indem beide Seiten mit 2 multipliziert und dann durch die Masse des Objekts geteilt wird:

v² = g × h v = sqrt(g × h)

Ermittlung der Geschwindigkeit

Wenn wir nun unsere Werte einsetzen:

  • Fallhöhe (h): 20 Meter
  • Fallbeschleunigung (g): 9,81 m/s²

Dann können wir die folgende Gleichung verwenden:

v = sqrt(9,81 × 20) = sqrt(196,2) ≈ 14.00 m/s

Damit erhalten wir bei einem Aufprall aus einer Höhe von 20 Metern eine Geschwindigkeit von etwa 14 Meter pro Sekunde.

Umrechnung in km/h

Wenn Sie auch das Ergebnis in Kilometer pro Stunde (km/h) sehen möchten, können wir die folgende Tabelle verwenden:

1 m/s ≈ 3,6 km/h

Wir multiplizieren nun unsere Geschwindigkeit von 14 Meter pro Sekunde mit dieser Umrechnungsfaktor:

14 m/s × 3,6 = 50,4 km/h

40.27 tok/sec, 755 tokens,0.24s to first token

leider falsch

Mistral Nemo Instruct 12B Q4_K_M

lmstudio-community/Mistral-Nemo-Instruct-2407-GGUF/Mistral-Nemo-Instruct-2407-Q4_K_M.gguf

Mistral Nemo auf dem MacBook Pro

Prompt
wie schnell ist ein Gegenstand beim Aufprall wenn dieser aus 20 Metern Höhe auf den Boden fällt? Ich möchte eine Herleitung und das Resultat in m/s und km/m

Assistant
mistral-nemo-instruct-2407

Ein Körper, der von einem gewissen Punkt aus fällt, wird von der Schwerkraft beschleunigt.Die Beschleunigung due zu der Erdanziehung ist ungefähr 9.81ms29.81s2m​.

Um die Geschwindigkeit des Gegenstandes beim Aufprall zu berechnen, kann man den folgenden Zusammenhang verwenden:

v=2ghv=2gh​

Dabei ist vv die Geschwindigkeit in m/s, gg die Fallbeschleunigung und hh die Höhe in Metern.

Da der Gegenstand aus 20 Metern Höhe fällt, kann man diesen Wert für hh einsetzen:

v=2∗9.81∗20v=2∗9.81∗20​

v=392.4v=392.4​

v≈19.79msv≈19.79sm​

In km/h würde die Geschwindigkeit dann sein:

v≈68.5kmhv≈68.5hkm​

21.04 tok/sec, 200 tokens, 0.61s to first token

km/h leider grob geschätzt, also:
Berechne die Umwandlung von m/s zu km/h nochmals und zeige den Rechnungsweg

Assistant
mistral-nemo-instruct-2407

Um die Geschwindigkeit in m/s in km/h umzuwandeln, muss man mit dem folgenden Faktor multiplizieren:

1ms=3.6kmh1sm​=3.6hkm​

Dabei kommt der Faktor durch folgende Überlegung zustande:

Es gibt 1000 Meter in einem Kilometer und 3600 Sekunden in einer Stunde. Daher muss man die Geschwindigkeit in m/s mit dem Faktor 1000m1km∗3600s1h1km1000m​∗1h3600s​ multiplizieren, um sie in km/h zu verwandeln.

Also:
vkm/h=vm/s∗3.6vkm/h​=vm/s​∗3.6

Dabei ist vm/svm/s​ die Geschwindigkeit in m/s und vkm/hvkm/h​ die Geschwindigkeit in km/h.

Wenn man nun die oben berechnete Geschwindigkeit von etwa 19.79 m/s in km/h umwandelt, bekommt man:

vkm/h≈19.79∗3.6vkm/h​≈19.79∗3.6

vkm/h≈70.404kmhvkm/h​≈70.404hkm​

20.17 tok/sec, 248 tokens, 1.67s to first token


AnythingLLM

Server Log in LM Studio (Menü Developer)

2025-02-02 21:22:26 [INFO]
Server started.
2025-02-02 21:22:26 [INFO]
Just-in-time model loading active.
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] Success! HTTP server listening on port 1234
2025-02-02 21:22:51 [WARN]
[LM STUDIO SERVER] Server accepting connections from the local network. Only use this if you know what you are doing!
2025-02-02 21:22:51 [INFO]
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] Supported endpoints:
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] -> GET http://192.168.16.16:1234/v1/models
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] -> POST http://192.168.16.16:1234/v1/chat/completions
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] -> POST http://192.168.16.16:1234/v1/completions
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] -> POST http://192.168.16.16:1234/v1/embeddings
2025-02-02 21:22:51 [INFO]
2025-02-02 21:22:51 [INFO]
[LM STUDIO SERVER] Logs are saved into /Users/pp/.cache/lm-studio/server-logs
2025-02-02 21:24:11 [INFO]
[LM STUDIO SERVER] Running chat completion on conversation with 2 messages.
2025-02-02 21:24:11 [INFO]
[LM STUDIO SERVER] Streaming response...
2025-02-02 21:24:12 [INFO]
[LM STUDIO SERVER] First token generated. Continuing to stream response..
2025-02-02 21:24:35 [INFO]
Finished streaming response
2025-02-02 21:24:35 [INFO]
[LM STUDIO SERVER] Client disconnected. Stopping generation... (If the model is busy processing the prompt, it will finish first.)


Weitere Software für lokale KI

https://anythingllm.com/desktop
https://localai.io/
https://ollama.com/


Quellen

Entwickler: KI aus, Hirn an!

02.02.2025


Was ihr noch nicht über DeepSeek wusstet

31.01.2025

the ONLY way to run Deepseek...

31.01.2025


Dein persönliches ChatGPT! KI Server selbst gebaut - so geht’s

21.06.2024

Hardware

  • DELL, Smart Selection PowerEdge R7515 Rack Server Premium
  • AMD EPYC 7763, 128GB RAM, Nvidia GeForce RTX 3090

DeepSeek in Nextcloud KI nutzen

2.2.2025
https://www.patreon.com/posts/deepseek-in-ki-121349153

Verwendet Modell 'DeepSeek-R1-Distill-Llama-8B'
https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Llama-8B


DeepSeek R1

DeepSeek R1 Hardware Requirements Explained

01.02.2025

Kommentare

@BlueSpork
In this video, I failed to mention that all the models shown are quantized Q4 models, not full-size models. These Q4 models are smaller sized models. They are easier to load on computers with limited resources. That's why I used Q4 models—to show what most people can run on their computers. However, I should have mentioned that these are not full-size models. If you have enough hardware resources you can download larger Q8, and fp16 models from Ollama's website. Also, I didn't cover running local LLMs in RAM instead of VRAM in detail because this video focuses mainly on GPUs and VRAM. I might make another video explaining running them in RAM in more detail.

@Mehtab20mehtab
deepseek r1 32b is fine. difference in quality response is 8 percent more in 70B like 61 but not worth it for performance and memory. u can check result in decoder comparison. but from 14b to 32b the improvement is insane 37 to 57. for comparison o1-mini has 53.8 in livecodebench. Deepseek r1 671b has 65.9 the highest in leaderboard for livecodebench. If u use local ai for complex task, Use at least q3 or q4 along with fine granulation not coarse. Fine granulation mean _K_S or _K_M not _K_L one which is coarser not fine. Fine one would be optimised for quality but require more computing power but is worthit with good dealings with tokens. Coarser are optimised along with big little parts so it easier to get advantage for performance and answering simple questions fastly. Complex task require informed question to get weighted. More quantization number like Q4 is good enough. Here is another theory Q2 only has 2 power 2 so 4 weights. Q3 has 2^3 so 8 weights enough quality boost. Q4 has 2^4 so 16 weights. Moving on would be beneficial with longer question answers. Also do not download like Q4_0 the 0 mean unoptimised just quantized. There is more way to answer these things.

Deepseek R1 Locally: Ollama + Open WebUI

21.01.2025


  • schon geht es weiter...

Kostenlose ChatGPT Alternative Qwen generiert Videos, Bilder & Text | Neuer KI-Chatbot aus China

02.02.2025

DeepSeek R1 Cloned for $30?! PhD Student STUNNING Discovery

02.02.2025

You HAVE to Try Agentic RAG with DeepSeek R1 (Insane Results)

03.02.2025


Auf Facebook teilen Auf Linkedin teilen Auf Twitter teilen Per E-Mail senden

Newsletter abonnieren

Einschreiben und kostenlos News direkt per E-Mail erhalten.

einschreiben