Ho provato un LLM in locale per sviluppo
Published: Tue, 09/30/25
E ho mollato dopo 1 ora.
Il mio setup è:
- GeForce RTX 3060 12 GB
- i7 12700 KF
- 32 GB RAM
- LM Studio
Ho provato vari modelli della famiglia Llama e Gemma nei ditorni dei 7-8B di parametri e ho incontrato rogne di ogni tipo:
- Se vuoi risposte in tempi decenti, finestra di conversazione sui 5000 token
- 5000 token per workflow di revisione testi o codice sono bazzecole
- Se cominci ad attacare dei tool (tipo Azure DevOps MCP Server) servono 21000+ token perché il system prompt viene arricchito di tutte le descrizioni dei tool.
- I modelli a volte non capiscono che devono chiamare i tool.
- Quando lo capiscono non riescono a capire bene come passare i parametri.
- Si può integrare solo in Visual Studio Code Insiders e non la versione stable.
Conclusione
Mi viene da ridere a pensare che c'è chi dice che è in grado di usare modelli in casa con facilità. Ok per gioco o esperimento, ma per lavorare davvero, gente, serve TANTO ferro.
20 € di Copilot al mese? Sono un regalo!
Tu hai mai provato con LM Studio o simili per ospitare ed usare LLM in privato?
Sharing is caring
Se conosci qualcuno che potrebbe trovare utile ricevere e-mail per migliorare l'organizzazione dei team di sviluppo software, DevOps e software engineering in generale inoltragli questo post! Qui può iscriversi e cominciare a ricevere subito!
Rispondo alle tue e-mail
Nessuno ci fa mai caso nelle newsletter ma puoi rispondere a questo messaggio e io lo leggerò! Fammi sapere cosa ne pensi!
Garanzia al 100% di errori di battitura — Questo messaggio è artigianale, allevato all'aperto e senza glutine. È stato creato a mano con amore e inviato senza filtri. Non c'è stato alcun processo di revisione, nessun processo editoriale, nessuna revisione post-fatto. Pertanto, posso praticamente garantire che ci sia qualche tipo di errore di battitura, grammaticale o un inciampo letterario che farebbe rabbrividire la mia insegnante di italiano delle medie.
Ti piacerebbe condividere questa email? Inoltra questo messaggio a qualche amico. Se preferisci condividere il link, lo puoi trovare qui: https://micheleferracin.it/blog/
Qualcuno di speciale ti ha condiviso questa e-mail? Fantastico! Puoi iscriverti per ricevere future email qui: https://go.micheleferracin.it/newsletter