https://sleepingrobots.com/dreams/stop-using-ollama/ - #Ollama has moved to closed source and isn't acknowledging the #OpenSource roots. For local #LLM #models, best to move to #LMStudio or #MicrosoftFoundry Local.
#lmstudio
6 posts · Last used 14d
Local LLM Arena #5
Pierwszy prawdziwy test GPT-OSS jako lokalnego agenta programistycznego przyniósł więcej informacji, niż się spodziewałem — tylko niekoniecznie o samym modelu.
Okazało się, że pierwsza wersja testu miała problem z izolacją środowiska Codex CLI. Do kontekstu lokalnego modelu trafiały informacje o wtyczkach i narzędziach, które nie miały nic wspólnego z zadaniem programistycznym.
Dlatego wyniku tego testu nie traktuję jako miarodajnego wyniku GPT-OSS.
Zacząłem więc poprawiać środowisko: czyste sesje, brak chmurowego fallbacku, izolacja hidden testów, kontrola retry, timeouty i dodatkowa diagnostyka.
I tutaj pojawił się kolejny problem.
Sam system testujący zrobił się zbyt skomplikowany.
Kolejne preflighty potrafiły zawieszać procesy na wiele godzin, a podczas ostatniej próby Antigravity doszedł do około 48 GB (?!?!?) zajętej pamięci na MacBooku Air M4 z 16 GB RAM.
System w końcu przestał odpowiadać i potrzebny był twardy restart.
Na szczęście właściwy Trial #2 nigdy nie został uruchomiony, a po restarcie Mac wrócił do normalnego stanu: 0 MB swapu i około 87% wolnej pamięci.
Wniosek jest prosty: nie ma sensu dokładać kolejnych warstw do wadliwego harnessu.
Teraz robię krok wstecz.
Codex ma przeprowadzić audyt całej obecnej infrastruktury i pomóc zaprojektować prostszą wersję V4.
Założenia są już inne:
– każdy proces ma twardy timeout,
– żadnego czekania godzinami,
– test ma własny niezależny System Guard,
– w razie problemów zatrzymywana jest tylko grupa procesów trialu,
– hidden testy są całkowicie poza zasięgiem modelu podczas kodowania,
– iCloud nie jest częścią krytycznej ścieżki,
– Antigravity ma tylko przygotować i uruchomić test, a nie czekać na niego godzinami.
Cel się nie zmienił.
Tym razem jednak najpierw trzeba mieć pewność, że sam test nie jest groźniejszy dla Maca niż model, który ma sprawdzać.
#LocalLLM #LLM #AI #AppleSilicon #MacBookAir #M4 #LMStudio #Codex #GPTOSS #Coding #OpenSourceAI
I know that AI is a controversial topic on here. Same reservations as most: copyright, energy, junior roles eaten, the slop epidemic. Not pretending those are not real.
But "I won't touch it" is a competitive handicap in 2026. I engage carefully: human in the loop, my name on every paragraph.
The tiered stack I actually run, with the local Mistral on a laptop iGPU getting most of the space because that is the part with craft in it.
https://blog.hofstede.it/ai-stack-2026/
#ai #selfhosting #lmstudio #llm #blog
🇺🇦I've been playing with #LMStudio for #localLLM with mediocre results. However #gemma4 really changed that. It's faster and is more capable then the other models I could try on my hardware. It has recent data and is able to use a fetch tool(among others) to get info on stuff it doesn't know!
So I installed #ollama and now it runs even faster, to the point where delay(waiting) is not that noticeable.
Since I am a lightweight user, I can see myself using it as mainly source.
I tried out the Gemma AI models from Google, running locally on my AMD APU (Ryzen 7 Pro 7840U with Radeon 780M) and asked it some questions about ZFS send / receive.
gemma-4-26B-A4B-Q4_K_M:
14.29 tok/sec . The information, it generated, was factually correct and well laid out. Not the fasted, and surprisingly good.
gemma-4-E4B-Q4-K_M:
26 tok/sec. The information was completely wrong BS with made up parameters. The presentation was confident and well laid out. But it generated it quickly 😂
Bottom line: confidently incorrect at high speeds.
#ai #gemma #lmstudio #llm #generativeAI #amd #radeon
You've seen all posts