Backend per data entry

[pdonadeo]

Mi sono reso conto che, a prescindere dal formato che decidiamo di usare per i dati, è davvero scomodo lavorare simultaneamente su file differenti: si finisce per andare in conflitto.

Siccome le applicazioni web sono state inventate apposta ho pensato di scrivere una piccola applicazione (in Django) in cui mettere editare comodamente le informazioni che ci servono.

Poi i file JSON o YAML o qualunque altra cosa li genero da quel database.

Sempre nell'ottica del minimalismo spinto per ora uso SQLite.

[pdonadeo]

È on line qui: https://db.euscitojoypad.it/

Chiedete accesso e vi sarà dato.

Per ora non si può fare assolutamente niente perché non ho ancora completato i models di Django, penso che lo farò domani.

[bionicco]

A tal proposito volevo cheiderti come pensavi di fare l'architettura.
Direi che hai già delle macchine su cui fai girar tutto e non ti crea problemi gestire così la cosa.
perchè altrimenti una soluzione molto "frontend e basta" potrebbe esser quella di usare qualche servizio che offre un DB interrogabile via graphql (per esempio graphcms o fauna) e semplificare così la gestione (tanto i numeri di entry e di accessi non dovrebbero essere tali da portare a costi significativi)
In ogni caso non conosco il mondo python quindi mi sento abbastanza inutile a livello di codice

[pdonadeo]

In sintesi, perché sto guardando l'Eurovision (aspettando il podcast di domani):

1. non so come deve funzionare graficamente la ricerca, giovedì rivedo la mia collega e la metto in un angolo, rischiando una denuncia per molestie
2. quello che so è che vorrei fare tutto lato client: all'init del componente App farò una chiamata al backend che restituirà un unico JSON con tutti i dati. Poi pensavo di usare una libreria "stile Elastic Search dei poveri" come Fuse.js per cercare e mostrare i dati, senza ulteriori chiamate al backend. Fuse.js permette anche di fare ricerche fuzzy, quindi risolvi in un colpo solo tutti i problemi che dici, compreso "deth strendig".
3. lascia assolutamente stare OCaml: non puoi impararlo in una settimana e neanche in un mese, ci penso io. Concordiamo piuttosto la chiamata, io te la implemento lato server e bona.
4. quindi — se posso dare un consiglio — piuttosto che perdere tempo su OCaml guarda Fuse.js e cerca di far partire in locale il backend. Magari domani aggiorno il README in modo da includere istruzioni passo passo su come far partire il backend, mentre si sviluppa il frontend.

Una nota su OCaml, doverosa: ho iniziato questa cosa per gioco e quindi ho usato il linguaggio di programmazione con cui sono più a mio agio. Se avessi pensato che sarebbero state coinvolte altre persone avrei certamente scelto qualcosa di meno esoterico e di nicchia ma… ormai è andata così.

P.S. Aspetto i commenti di domani sul "porca vacca" della Pausini 😂

[MarcoJul]

Io purtroppo sono uno di quelli che l'eurovision lo ascolta appunto attraverso il podcast, e l'anno scorso addirittura in completa differita :o

Ottimo, non conoscevo Fuse.js, mi ci metto e vedo come funziona.
Se vogliamo gestirla solo lato client, direi che servirà solo una chiamata al json appunto al caricamento della pagina, non credo ci sia una grande mole di dati (al momento almeno) da dover fare paginazioni o infinite scrolling per gestire più chiamate (che sarebbero comunque limitate).

Vi aggiorno sullo sviluppo!

[pdonadeo]

@MarcoJul su che sistema operativo lavori? Chiedo perché devo capire come scrivere le istruzioni.

[MarcoJul]

Attualmente su MacOs, grazie!

[pdonadeo]

@MarcoJul ho aggiunto al README un po' di istruzioni, spero siano sufficienti: https://github.com/pdonadeo/e-uscito-joypad#sviluppare-in-frontend-in-react

[pdonadeo]

@Mascalian @bionicco @MarcoJul @SKApretto71 @zampale @agofa

Il mini (micro!) sito per introdurre un po' di metadati sugli episodi è on line. Alcuni di voi mi hanno già chiesto un account e l'ho creato. Ho già inserito 3 episodi come test, c'è da completare il lavoro.

Intanto lavoro al discorso giochi e come associarli agli episodi anche se per oggi credo di non avere altro tempo da dedicare al progetto.

[bionicco]

Visto che al primo insieriemnto ho già fatto un doppione, ho aggiunto un thread dove annunciare a quali episodi si intende dedicarsi in modo da evitare sovrapposizioni....ognuno segna su cosa lavora così siamo sicuri di non sovrapporsi
Inoltre ho dei dubbi:

1. cosa si intende per url? Io ho inserito la pagina specifica del post dell'episodio (quella con il testo,per intendersi) mentre ho visto che altri hanno linkato la pagian di episodes
2. Per gli episodi che non hanno un'immagine specifica inseriiamo un'immagine generica (come potrebbe essere questo )? o comunque ne useremo una di deafult per cui non ce n'è bisogno? (fra l'altro 256x256 forse è un po' limitante)
3. io vorrei inserire anche i video (i pezzi meglio di joypad), come numerazione per quelli usiamo qualcosa tipo "video 1" ?

[agofa]

Le immagini sono insieme alla scaletta....non vale la pena andarle a prendere da istagram!
Semmai le inserisco io

Però mi sembra non ci siano tutte
Comunque va bene le prenderò da lì

[bionicco]

Hai ragione della prima stagione non ci sono ma esistono comunque su istagram, quindi andranno recuperate li

[pdonadeo]

@pdonadeo non sai che joypad è nato come videoshow (non so se la definizione è giusta) poi è passato (immagino per questioni di costi/tempi per far una video) al podcast? Puoi cercarli sul tubo o su il post esempio

Non ne avevo la più pallida idea! Devo aggiungere una URL per i video? Ci vogliono 10 minuti ma se alla fine i video sono pochi non so quanto ne valga la pena.

@zampale che ne pensi?

[zampale]

Non so: in effetti è contenuto Joypad a tutti gli effetti, potrebbe anche starci che ci sia. Vanno usati però solo i link del post, perché YT era usato poco e male.

[pdonadeo]

Non so: in effetti è contenuto Joypad a tutti gli effetti, potrebbe anche starci che ci sia. Vanno usati però solo i link del post, perché YT era usato poco e male.

Perfetto: in settimana, appena ho un attimo, aggiungo anche un altro link per i video al database.

[pdonadeo]

Ho aggiunto un campo per la eventuale URL del video:

Ho aggiunto anche una colonna nella lista degli episodi per segnalare quale ha la cover e quale ancora no:

[agofa]

Dovrei aver inserito tutte le URL di annuncio episodio, ma non ho trovato queste

• Episodio 41
• Episodio extra del 14/12/2020

@zampale forse sai dove siano finite, ammesso che esistano

[bionicco]

Li ho sistemati!

[agofa]

Grazie :-)

[pdonadeo]

@MarcoJul è on line in questo momento una versione del sito con il backend che serve un file JSON con tutti i dati presenti fino ad ora nel CMS ed un frontend che li carica all'avvio.

Potete vedere il formato del JSON (DEL TUTTO PROVVISORIO) qui: https://www.euscitojoypad.it/api/db-data

Come detto il frontend già carica quel file all'avvio... e poi ovviamente non ci fa niente se non metterlo in un React state, vedi qui:

e-uscito-joypad/frontend/src/App.jsx

Line 9 in 45204e4

const [dbData, setDbData] = React.useState({});

e qui:

e-uscito-joypad/frontend/src/App.jsx

Lines 19 to 25 in 45204e4

	React.useEffect(() => {
	fetch("/api/db-data")
	.then(response => response.json())
	.then(data => {
	setDbData(data);
	});
	}, []);

[pdonadeo]

Sì fai solo degli esperimenti anche perché la ricerca dovrebbe cercare nei giochi... che è la cosa che non abbiamo ancora 😂

Ma almeno puoi fare tentativi di ricerca in un JSON che somiglia molto a quello definitivo: magari cerca nei titoli, tanto per cominciare, o qualcosa del genere.

[MarcoJul]

Ok, anche perché poi le idee/problemi mi vengono più facilmente quando comincio a metterci le mani. Vi tengo aggiornati (anche se ci penserà anche Github a farlo🫡 )

[MarcoJul]

Sto gestendo il rendering della lista, per ora tutte le informazioni vengono fuori senza troppi problemi, l'unico inghippo é l'ordine.. Non avendo l'accesso al form del database (nel caso chiedo di poter entrare anche io, almeno per vedere come funziona e cosa aspettarmi) non capisco quale sia l'informazione che ordina nel JSON gli episodi.. prima di mettermi a fare sorting lato front volevo capire se era una cosa di semplice risoluzione da dietro le quinte..

[pdonadeo]

prima di mettermi a fare sorting lato front volevo capire se era una cosa di semplice risoluzione da dietro le quinte..

L'output in JSON l'ho fatto in 10 minuti scarsi e non è ordinato in nessun modo. Non c'è alcun problema ad ordinarlo, dimmi come e io lo faccio 😃

[pdonadeo]

@MarcoJul Ti scrivo in privato per l'accesso al CMS.

[n1k9]

@pdonadeo Ciao. Se serve una mano su Django qualcosa ne so. Su OCaml mi piacerebbe tanto (all'università usavo il LISP qualche decennio fa), ma al momento non ho tutto 'sto tempo da dedicarci.

[pdonadeo]

Ciao Nicola, per ora su Django non c'è bisogno: è un semplice "admin" con 4 tabelle e serve per raccogliere i dati e produrre un JSON che poi viene servito, insieme agli artefatti del frontend, da un server OCaml, come hai visto.

Quello che serve, santoddio, è dare una mano sul data entry, forza! 😉

[agofa]

Quello che serve, santoddio, è dare una mano sul data entry, forza! 😉

Yep.....
Stasera dovrei riuscire a fare un episodio, forse 2
Segnerò nel thread apposito quali farò

[bionicco]

Se abbiamo particolare fretta (perchè il frontend è quasi pronto e vorremmo poter pubblicare) possiamo fare una prima passata di tutti gli episodi usando solo i dati delle scaletta, che almeno ci permettono di inserire i principali titoli (le recensioni) e poi approfondire con l'ascolto i singoli episodi insierendo tutti i dettagli (a partire dai consigli che non sempre sono scritti nelle scalette)
Se ci fosse questa necessità basterebbe magari aggiungere un flag agli episodi per segnalare quali sono stati completamente ascoltati e quali descritti solo a partire dalla scalaetta.
Altrimenti proseguiamo nel dettaglio, ma con più calma

[n1k9]

Mi pare una buona idea inserire le scalette e successivamente ultimare con altri dati.
Si riesce ad avere le scalette trascritte?

[pdonadeo]

@n1k9 certamente sì! Mandami una email (preferibilmente @gmail.com perché stanno su Drive) a p punto donadeo chiocciola gmail punto com.

[agofa]

Ho aperto questa: #19
Nulla di importante sia chiaro

[bionicco]

Mi sono accorto inserendo alcuni episodi e vedendo i commenti lasciati da altri durante l'inserimento che a volte ci sarebbe l'esigenza di segnalare qualcosa in più rispetto ai meri titoli dei giochi (alcuni episodi sono incentrati su una piattaforma o su particolari aspetti dei giochi o sviluppatori, etc...).
Per cui potrebbe essere utile aggiungere altre forme di input. Potrebbe essere un campo note (stavolta pensato per essere visualizzato frontend) oppure potrebbe essere una serie di tag da aggiungere eventualmente all'episodio (soluzione che preferirei) anche senza particolare dettagli (come minutaggio o autori) ma solo considerati nei risultati della ricerca. Che ne dite?

[pdonadeo]

Capisco l'esigenza ma tutte queste esigenze le rimanderei ad una seconda fase: aggiungere "tipologie di input" non è una soluzione perché qui abbiamo tre persone che parlano di un argomento vastissimo a ruota libera.

Iniziamo ad andare on line con qualcosa, poi vedremo i prossimi sviluppi, ad esempio il motore di ricerca full text.

[bionicco]

Io approfitterei di questo momento di entusiasmo per raccogliere più informazioni possibili, perchè non credo che torneremo sistematicamente a riascoltare le puntate. Quello che secondo me varebbe la pena associare a un episodio sono quegli argomenti che caratterizzano un intero blocco (ci sono blocchi interi dedicati a una console per esempio) non qualunque cosa trattata, altrimenti è chiaro che non ne usciamo più
In ogni caso è vero che l'interesse è sui titoli, anche perché è ciò su cui è probabile che qualcuno torni a riascoltare i vecchi episodi...quindi l'importante è "segnare" quello.
Magari in presenza di macro argomenti li continuiamo a segnare sulle note ed eventualmente li recupereremo velocemente da lì

[pdonadeo]

@bionicco ho capito benissimo quello che vuoi dire ma l'argomento è complesso. Ti rispondo decentemente questa sera, adesso non posso proprio.

[pdonadeo]

@bionicco il problema è che è impossibile categorizzare tutto quello che viene detto in un discorso parlato. È già emersa l'idea delle "frasi da ricordare", ho aggiunto l'osservatorio Star Citizen, poi ci sono le console e le piattaforme, gli studi di produzione, i publisher e altri "argomenti" in generale come le console war, oppure i milioni spesi da Zampa per Final Fantasy. E ammesso di includere tutto questo ti chiedo: come dovrebbe funzionare il motore di ricerca? Cosa cerca esattamente e a cosa da priorità nei risultati?

Io per ora metterei i titoli, che sono facilmente "digitalizzabili", ovvero: Bordone ha citato un gioco? Lo si mette, è abbastanza facile e soprattutto è chiaro cosa cercare.

Tutto il resto lo rimanderei ad un motore di ricerca full text in cui si cerca semplicemente in tutto il testo, avendo a disposizione un sistema di speech recognition come quello di AWS.

Con tutto il testo e la ricerca full text se uno cerca Naughty Dog (vedi qui) lo trova.

Questa deve essere necessariamente una "fase 2" perché mettere on line un sistema del genere, oltre al costo di AWS per avere il testo, richiede un database vero e sono altri costi. Poi c'è lo sviluppo: con un database vero il sito va rifatto quasi interamente, almeno per quanto riguarda il backend.

[bionicco]

A me va bene che ci siano solo i giochi.
L'esigenza (se possiamo chiamarla così) con cui ho proposto l'idea dell'archivio era andare a ritrovare quando si è parlato di un certo titolo e se già questa funzionalità non so quanti lo utilizzeranno, figuriamoci andare a cercare cose più "strane".
Allo stesso tempo vedo dalle note degli episodi inseriti che c'è stata l'esigenza di segnalare altre cose trattate durante il podcast che probabilmente sono risultate significative. Per questo mi sembrava utile rendere ricercabili alcuni argomenti. Avrei detto che almeno gli argomenti che caratterizzano un intero blocco meriterebbero un tag (per fare un esempio "playdate"), ma potrebbe non essere un criterio abbastanza chiaro e che può produrre risultati incoerenti per ogni puntata, quindi pace.

Se comunque dovesse essere inserita anche la descrizione dell'episodio e sarà ricercabile potrebbe bastare a ritrovare i macro argomenti.

Questa ipotetica fase 2 mi sembra un po' eccessiva...ma se hai l'entusiasmo per farla non posso che complimentarmi e stringerti la mano :)