AI · Local-first
OllaPy.
Un’interfaccia semplice per i modelli sul tuo computer.
OllaPy nasce dalla mia passione per i modelli open source, soprattutto quelli che potevo eseguire in locale sul mio computer. Mentre ChatGPT e le interfacce chatbot iniziavano a diffondersi, volevo provare a costruirne una: un’interfaccia collegata a Ollama attraverso le sue API. In quel momento non avevo il front-end che cercavo per questa configurazione locale, così l’ho realizzato da solo.
Ho lavorato sulla scelta tra modelli diversi, sulla configurazione della finestra di contesto e sulla gestione degli allegati insieme alla conversazione. Prendere ispirazione da altri chatbot mi ha aiutato a capire quali funzioni desideravo e come volevo utilizzarle. Il progetto riguardava la progettazione dell’interfaccia tanto quanto il collegamento al modello.
L’ho utilizzato per un periodo su un MacBook Pro M1 con 8 GB di memoria. L’hardware condizionava l’esperienza: dovevo usare modelli piccoli, con capacità limitate rispetto a ciò che cercavo, e le risposte erano lente. Provare personalmente l’applicazione mi ha fatto conoscere in modo concreto i compromessi dell’esecuzione locale.
Con l’evoluzione degli strumenti intorno a Ollama, per me è venuta meno la stessa esigenza di avere un’interfaccia mia. OllaPy rimane un progetto di apprendimento: mi ha insegnato a progettare un chatbot intorno alle funzioni e alle interazioni che mi interessavano. In quel momento mi è stato utile ed è stato soddisfacente costruirlo.
Per chi vuole provare
Risorse per approfondire.
Gli strumenti citati nel racconto, con documentazione, guide e codice da cui partire per costruire qualcosa di tuo.
Vuoi fare qualcosa di simile?
Se hai una domanda su questo progetto o vuoi confrontarti su un’idea, scrivimi. Mi fa piacere condividere quello che ho imparato.
Fammi una domanda