Coroplete normalizzate?

[albertocottica]

Mi piacerebbe fare una prova con le coroplete normalizzate, che potrebbero dare un'indicazione molto rozza della cosiddette densità mafiosa. A occhio, vedo due possibilità:

1. aggiungere una colonna al foglio con i dati con la popolazione di ciascun Comune, Provincia, Regione (anche se vedo che hai dei files province_beni_tipo.js e regioni_beni_tipo.js, che sono comodi perché puoi usarli per aggiungere i dati di popolazione provinciali e regionali una volta sola)
2. modificare il javascript: immagino che ci sarà una funzione che si occupa di determinare il numero che poi va visualizzato come gradazione di colore. Oggi questo numero viene determinato contando beni che hanno lo stesso codice comunale (o provinciale, o regionale); si tratta di fare la stessa cosa, e in più dividere il risultato per la popolazione.

Questa è la teoria. In pratica, però, sono così imbranato che non capisco nemmeno in quale file si trova questa funzione :-( . @aborruso, se mi dai una dritta ci provo; ma se no, non voglio rallentarvi, fate conto che non abbia detto niente.

[aborruso]

Ciao @albertocottica basterebbe prendere uno dei file cartografici - ad esempio regioni_beni_tipo.js - aprirlo in un programma che consente di leggere e modificare i campi (QGIS è uno di questi), aggiungere la colonna sulla popolazione e popolarla con un JOIN sui dati ISTAT sulla pololazione, e infine aggiungere una colonna come risultato del calcolo di cui parli.
Sono pochi click, ma ci vuole un po' di dimestichezza. Disponibile a scrivere un tutorial.

In prima battuta è bene che lo faccia chi di noi è "solito" gestire questi dati. Vediamo se oggi a mezzanotte riesco :)

[nelsonmau]

a proposito di choropleth, ve ne condivido due sui comuni sciolti per mafia (fonte dati http://www.autonomiecalabria.it/lac/comuni-sciolti/)
[curiosità: in questo caso il dato assoluto praticamente coincide in maniera proporzionale con il dato normalizzato]
[curiosità2: le province più colpite da scioglimento per mafia, sono spesso le più colpite da beni confiscati - anche se i beni confiscati in teoria si possono trovare ovunque, mentre gli scioglimenti per mafia sono "territoriali" per definizione]

[albertocottica]

La discussione sulle coroplete normalizzate è andata avanti, e siamo arrivati a una proposta abbastanza argomentata (vedi). Però le coroplete pubblicate attualmente non sono normalizzate, né fanno riferimento al concetto di energia potenziale. Che faccio, smonto i testi?

[aborruso]

@albertocottica purtroppo mi sono occupato di altro e sono indietro. Mi dai un paio di giorni?

[aborruso]

@albertocottica alcune domanda su sulla formula da te proposta EPbc = N * Y_np

Sul sito dell'ANBSC trovi questa suddivisione di "stato": http://goo.gl/AiWazW.
Per N consideriamo soltanto gli immobili "in gestione" (come da questo glossario http://goo.gl/vEv6L2)?

Per Y_np utilizzo il numero totale di addetti (si intendono i dipendenti delle istituzioni non profit attive)?

[albertocottica]

@aborruso la risposta alla prima domanda è sì (aggiorno il wiki).

La risposta alla seconda domanda è anche sì, anche se quello non è l'unico indicatore di forza della società civile. Per esempio, un altro è il numero di organizzazioni nonprofit. Non mi ricordo chi aveva proposto di usare il dato degli addetti, credevo che fosse facilmente disponibile.

[aborruso]

@albertocottica abbiamo sia numero di organizzazioni che numero di addetti.

Uso il numero di addetti? Qualcosa d'altro?

[albertocottica]

MI dai il link ai dati? Butto una correlazione, vale la pena di menarsela solo se le distribuzioni sono molto diverse.

[aborruso]

@albertocottica qui con me ho soltanto il dato grezzo ISTAT, quello su cui ho fatto grandi pulizie ce l'ho in un altro PC.

Ho riscaricato tutto e fatto una pulizia un po' alla cieca http://ge.tt/7d80RBZ1/v/0?c

Le colonne importanti sono Territory e value

[aborruso]

Qui province e regioni http://ge.tt/5T1wTBZ1?c

Appena arrivo a casa vedo di inviarvi il file normalizzato. Sorry

[albertocottica]

Vedo, ma qui ci sono solo gli addetti, non posso fare il confronto con il numero delle org. Comunque non è un gran problema, qui stiamo già lavorando molto di fino.

[aborruso]

Ciao @albertocottica ecco il file con l'energia potenziale dei comuni con beni in gestione. Più tardi faccio le coroplete.

http://ge.tt/4q1jpIZ1/v/0?c

[aborruso]

Ecco il link corretto http://ge.tt/87HktIZ1/v/0?c

[aborruso]

Ecco uno screenshot delle coroplete normalizzate delle province. Ho evidenziato alcune differenze di andamento.
Notte.

[albertocottica]

Interessante, no?

On Tue, Apr 15, 2014 at 11:25 PM, Andrea Borruso
[email protected]:

Ecco uno screenshot delle coroplete normalizzate delle province.
Notte.

[image: ep1]https://cloud.githubusercontent.com/assets/30607/2713270/500ed8bc-c4e4-11e3-9e97-e558997067cd.png

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/4#issuecomment-40536496
.

[aborruso]

Yes, ma per stasera vado a nanna :)

[nelsonmau]

@albertocottica @aborruso sono incuriosito dal concetto di 'energia potenziale'. Non trovo però la descrizione sulla pag che avete linkato. dove trovo info?
imho sarebbe interessante fare anche il ragionamento al contrario sull' "energia espressa", e poi misurare di conseguenza quella inespressa.

2. vale la pena fare un ragionamento sugli immobili? incrociare valore medio al mq per provincia in base al tipo di immobile, si potrebbero prendere i dati nomisma o di altri istituti simili. Se interessa, mi attivo

[albertocottica]

@nelsonmau è sul wiki.

2 è sicuramente interessante. Il che prova la Legge di Cottica sui dati e la ricerca: nessun lavoro è mai veramente finito. :-)

[albertocottica]

@aborruso a questo punto si capisce cosa succede all'energia potenziale pro capite. Si illumina la Valle D'Aosta; sbiadiscono Milano, Roma, Napoli e Bari; riemerge la Sicilia meridionale. Palermo direi che rimane l'area dove l'impatto è massimo in tutti i casi, ma è interessante vedere che il ragionamento sull'energia potenziale accende una luce sul nord.

[nelsonmau]

@albertocottica tnx :) ho letto il wiki. Probabilmente mi sto perdendo qualche ragionamento che avete già condiviso insieme a BO o altrove, ma non capisco una cosa: perché l'occupazione nel non-profit avrebbe una correlazione con il numero di beni assegnati? è già emerso dall'andamento dei dei due dati?

2. l'avrete visto di certo, ma ho notato che libera tratta in maniera asciutta la parte dei dati http://www.libera.it/flex/cm/pages/ServeBLOB.php/L/IT/IDPagina/8
   A occhio e croce direi cmq che i dati sono analoghi (su Libera ci sono ~13k beni confiscati).

Lo sapete già di certo, ma ve lo dico lo stesso: i ragazzi di monithon hanno già un dialogo con Libera

[nelsonmau]

qui quotazioni immobiliari http://wwwt.agenziaentrate.gov.it/servizi/Consultazione/ricerca.htm
non mi pare che ci siano dati scaricabili però

[nelsonmau]

provo a fare scraping di questo se non c'è già un file da qlc parte http://www.agenziaentrate.gov.it/wps/wcm/connect/e0722e00427c0577930d9fb864e93aec/Allegato+2+-+Territorialit%C3%A0+del+livello+delle+quotazioni+immobiliari.pdf?MOD=AJPERES&CACHEID=e0722e00427c0577930d9fb864e93aec

[aborruso]

Ciao @nelsonmau , scraping fatto.
C'è da estrarre il campo regione. Ma è facile, lo trovi nella colonna "testo", cercando il carattere "#".

http://ge.tt/2zg7TRb1/v/0?c

[aborruso]

@nelsonmau la prima regione, che non ho scritto, è l'Abruzzo

[nelsonmau]

@aborruso ammazza! :D ora tocca joinarli con i comuni istat, no?
dammi qualche gg e ti pingo

[nelsonmau]

@aborruso ecco qua http://ge.tt/3QcNhpb1/v/0
le colonne con "M_" nell'intestazione stanno per 'merged'.
ci sono un po' ci comuni con valori null (forse sono quelli uniti ad altri...)
dacci un'occhiata se puoi perché l'ho fatto con refine e mi è riuscito in fretta quindi di sicuro c'è qualche errore

(non ho però ben capito come funzionanano le quotazioni leggendo il testo sul pdf...)

[aborruso]

Caro @nelsonmau alcuni dei comuni con valori "null" in realtà son presenti su entrambi, ma differenze nel CASE (con accenti) danno "fastidio": "Città Sant'Angelo" in ISTAT e "CITTÀ SANT'ANGELO" nel PDF, o "Ciminà" e "CIMINÀ".

Pulisco e restituisco :)

[nelsonmau]

Yes! Grazie! :-)

Però cmq in quello scrapato c'è una decina di record in più mi pare

sorry for typos, sent by mobile

Andrea Nelson Mauro @nelsonmau
dataninja.it

datamediahub.it

Il giorno 18/apr/2014 12:27, "Andrea Borruso" [email protected]
ha scritto:

Caro @nelsonmau https://github.com/nelsonmau alcuni dei comuni con
valori "null" in realtà son presenti su entrambi, ma differenze nel CASE
(con accenti) danno "fastidio": "Città Sant'Angelo" in ISTAT e "CITTÀ
SANT'ANGELO" nel PDF, o "Ciminà" e "CIMINÀ".

Pulisco e restituisco :)

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/4#issuecomment-40800483
.

[aborruso]

Ammiraglio @nelsonmau qui tutti i "tuoi" 8092 record associati ai codici ISTAT: http://ge.tt/9HN7otb1/v/0?c

Anche questo dataset è un piccolo tesoro e può essere molto utile.

Ne parliamo prestissimo.

Auguri,

a

[aborruso]

@nelsonmau @albertocottica anche l'indice delle quotazioni immobiliari adesso in Data Package format: https://github.com/spaghetti-open-data/beni-confiscati-aperti/blob/gh-pages/dati/quotazioni_immobiliari/datapackage.json

Qui la preview con il viewer: http://bit.ly/1gHEMwL
Qui

[nelsonmau]

@aborruso bellissimo questo datapackage!

[nelsonmau]

@aborruso sarò tonto ma io però non ho capito come funziona questo indice immobiliare. Si può fare una media provinciale? sum / numero comuni?

[aborruso]

@nelsonmau da tonto a tonto :)

I valori di media calcolati su base provinciale sono diversi da quelli presenti dal PDF. La ragione dovrebbe essere questa:
""L'indicatore delle quotazioni immobiliari a livello provinciale” è stato ottenuto attraverso la ponderazione dell’indicatore a livello comunale con il rapporto tra il numero complessivo di abitazioni per comune e il numero complessivo".

Meglio quindi estrarre separatamente i dati provinciali.
di abitazioni della provincia di appartenenza.