3D scanner & Reverse Engineering. Una panoramica sulle tecnologie di reverse engineering e sui modelli di scanner commerciali e open source/DIY. Come riparare i file con Meshlab e netfabb. Uso della kinect.
Laser scanner 3d beni culturali e naturaligpandiscia
Antonio Acito, Michele Lupo, Gianfranco Vincenzo Pandiscia
LA CARTOGRAFIA NELLA VALORIZZAZIONE DEI BENI NATURALI E CULTURALI: LE APPLICAZIONI LASER SCANNER 3D
Convegno AIC, Padova, 10-11 maggio 2012
3D scanner & Reverse Engineering. Una panoramica sulle tecnologie di reverse engineering e sui modelli di scanner commerciali e open source/DIY. Come riparare i file con Meshlab e netfabb. Uso della kinect.
Laser scanner 3d beni culturali e naturaligpandiscia
Antonio Acito, Michele Lupo, Gianfranco Vincenzo Pandiscia
LA CARTOGRAFIA NELLA VALORIZZAZIONE DEI BENI NATURALI E CULTURALI: LE APPLICAZIONI LASER SCANNER 3D
Convegno AIC, Padova, 10-11 maggio 2012
Terranova M. S., Dalla fotogrammetria al Kinect: approcci di rilievo a confrontoProgetto Open Téchne
Dissertazione finale del Master Open Téchne 2013.
L' elaborato descrive le metodologie e i risultati del rilievo e della modellazione 3D di alcuni manufatti
archeologici presenti all'interno della collezione del Museo del Buonconsiglio di Trento. Nello specifico
sono stati rilevati ed elaborati una maschera egizia in legno dipinto, un monumento celebrativo e una base decorata, entrambi in marmo. Le acquisizioni sono state effettuate avvalendosi di una procedura
fotogrammetrica close-range e del sensore Microsoft Kinect. Nel primo caso, i dataset di immagini ottenuti sono stati elaborati con software opensource ( PPT e VSFM) e commerciali lowcost ( Agisoft Photoscan), al fine di testarne le diverse performances. I modelli 3D ottenuti con le diverse metodologie, sono stati confrontati metricamente.
http://www.istitutoficlu.org/iniziative/master-open-techne-2012-2013-discussione-finale/
Shape Modeling è la disciplina che studia l'insieme di algoritmi e tecniche utilizzati per la creazione, la modifica e l'animazione di oggetti digitali. Si tratta di un interessante campo di studio e di applicazione in particolare nel settore dell'industria dell'intrattenimento. Questo intervento tratterà una revisione ampia e di alto livello del settore, sia in termini di ricerca di base che di applicazioni.
Con l’introduzione di una stampante 3D a scuola gli studenti acquisiscono conoscenze, capacità operative e strumentali nell’uso dei programmi di disegno CAD 3D e delle procedure di stampa.
Tecniche di Image-Based Modeling per il rilievo 3D di opere scultoree e archi...Cristina Giancristofaro
Rilievo 3D della scultura di un Leone marmoreo realizzata da Flaminio Vacca e della Chiesa di S.Giovanni Battista (Chiesa dell'Autostrada del Sole) mediante tecniche di Structure from motion.
Nuvole di punti ottenute mediante il software Python Photogrammetry ToolBox. Operazioni di post-processing eseguite con l'impiego di software open: Meshlab, Cloud Compare.
Presentazione Sviluppo e confronto di tecniche di stima della traiettoria di ...Andrea Bidinost
TARGET: Estimate camera pose and trajectory from 3D images acquired by 3D structured light sensor.
Development of new algorithm for egomotion estimation (Frame Based and Color Fusion) and comparison with Iterative Closest Point approaches.
Usage of inverse depth space for 3D data modelization.
Terranova M. S., Dalla fotogrammetria al Kinect: approcci di rilievo a confrontoProgetto Open Téchne
Dissertazione finale del Master Open Téchne 2013.
L' elaborato descrive le metodologie e i risultati del rilievo e della modellazione 3D di alcuni manufatti
archeologici presenti all'interno della collezione del Museo del Buonconsiglio di Trento. Nello specifico
sono stati rilevati ed elaborati una maschera egizia in legno dipinto, un monumento celebrativo e una base decorata, entrambi in marmo. Le acquisizioni sono state effettuate avvalendosi di una procedura
fotogrammetrica close-range e del sensore Microsoft Kinect. Nel primo caso, i dataset di immagini ottenuti sono stati elaborati con software opensource ( PPT e VSFM) e commerciali lowcost ( Agisoft Photoscan), al fine di testarne le diverse performances. I modelli 3D ottenuti con le diverse metodologie, sono stati confrontati metricamente.
http://www.istitutoficlu.org/iniziative/master-open-techne-2012-2013-discussione-finale/
Shape Modeling è la disciplina che studia l'insieme di algoritmi e tecniche utilizzati per la creazione, la modifica e l'animazione di oggetti digitali. Si tratta di un interessante campo di studio e di applicazione in particolare nel settore dell'industria dell'intrattenimento. Questo intervento tratterà una revisione ampia e di alto livello del settore, sia in termini di ricerca di base che di applicazioni.
Con l’introduzione di una stampante 3D a scuola gli studenti acquisiscono conoscenze, capacità operative e strumentali nell’uso dei programmi di disegno CAD 3D e delle procedure di stampa.
Tecniche di Image-Based Modeling per il rilievo 3D di opere scultoree e archi...Cristina Giancristofaro
Rilievo 3D della scultura di un Leone marmoreo realizzata da Flaminio Vacca e della Chiesa di S.Giovanni Battista (Chiesa dell'Autostrada del Sole) mediante tecniche di Structure from motion.
Nuvole di punti ottenute mediante il software Python Photogrammetry ToolBox. Operazioni di post-processing eseguite con l'impiego di software open: Meshlab, Cloud Compare.
Presentazione Sviluppo e confronto di tecniche di stima della traiettoria di ...Andrea Bidinost
TARGET: Estimate camera pose and trajectory from 3D images acquired by 3D structured light sensor.
Development of new algorithm for egomotion estimation (Frame Based and Color Fusion) and comparison with Iterative Closest Point approaches.
Usage of inverse depth space for 3D data modelization.
Presentazione Sviluppo e confronto di tecniche di stima della traiettoria di ...
3D graphics for cultural heritage
1.
2. Per l’esame di Grafica 3D per i Beni Culturali, io e Marina presentiamo 4
oggetti, ottenuti con tecniche di acquisizione diverse.
I 4 oggetti sono: un'anfora di terracotta, un angelo di gesso, un medaglione
di pietra nera lucida e un’anforina di terracotta.
L'anfora di terracotta e l’angelo di gesso sono stati ottenuti mediante la
tecnica di Dense Stereo Matching, utilizzando il server Arc3D, e la
ricostruzione è stata fatta mediante il software Meshlab. Il medaglione e
l’anforina sono stati acquisiti mediante scansione utilizzando lo scanner
Minolta VI-900 presente al CNR. Per la ricostruzione è stato utilizzato
Meshlab.
Il medaglione è stato acquisito una volta mediante foto (dense stereo
matching) e una volta mediante scansione, e successivamente è stato fatto un
confronto e ne abbiamo tratto le conclusioni.
3. Come hardware (per le acquisizioni) abbiamo
utilizzato:
1) Sony Cyber-shot DSC-HX100V
2) Iphone 3GS
3) Minolta VI-900
Come software per la ricostruzione dei modelli 3D
abbiamo utilizzato:
1) Meshlab V1.3.0a
2) Arc3D
4. L'anfora è stata acquisita tramite foto (Dense Stereo Matching), che poi sono
state inviate ad Arc3D. Ho fatto molte prove all’interno e all’esterno. Quando
finalmente ho ottenuto un file v3d soddisfacente, sono passata al lavoro su
Meshlab.
Avendo problemi con Meshlab sul mio pc, ho lavorato al pc del CNR che,
essendo più potente del mio, mi ha permesso di non dover diminuire il
numero di facce del modello e di lavorare più velocemente. Su Meshlab ho
quindi effettuato i seguenti passaggi:
Ho ripulito il modello con strumenti e filtri (remove unreferenced vertex, ecc...)
Ho ricostruito la superficie con il filtro Poisson (11 e 10)
Ho migliorato il colore, con il filtro vertex color gamma correction
Ho scalato il modello portandolo a grandezza reale. Per fare questo ho preso
delle misure sull’oggetto reale e le corrispondenti sul modello 3D. Ho poi
calcolato il fattore di scala (facendo il rapporto dei valori trovati e la media)
che ho poi impostato sul filtro transform: scale.
5. Ottenuto il modello finale, ho riscontrato diversi problemi:
1) Durante l’acquisizione non ho potuto fotografare la base del anfora, quindi su
Meshlab l'anfora risultava aperta sul fondo perché la base non era stata acquisita.
Il poisson è riuscito a chiuderla, anche se con una leggera bombatura, ma non
potevo accettarla dato che, essendo una base “inventata”, il colore sarebbe
rimasto bianco (dato dal poisson).
2) Durante l’acquisizione non è stata acquisita perfettamente l’apertura superiore
dell’anfora, quindi sul modello 3D risulta un po’ frastagliata dato che di fatto
mancano dei pezzi.
3) Durante la misurazione sul modello 3D e sull’oggetto reale non sono stata
precisa nell’ordine dei millimetri, quindi, dopo la scalatura, le misure del modello
3D si avvicinano molto a quelle reali, ma non corrispondono perfettamente. Con
pazienza e precisione maggiori avrei ottenuto risultati più soddisfacenti.
6.
7. L’angelo è stato acquisito tramite foto (Dense Stereo Matching), che poi sono
state inviate ad Arc3D. Ho fatto molte prove all’esterno. Quando finalmente ho
ottenuto un file v3d soddisfacente, sono passata al lavoro su Meshlab.
Avendo problemi con Meshlab sul mio pc, ho lavorato al pc del CNR che,
essendo molto potente, mi ha permesso di non dover diminuire il numero di
facce del modello. Su Meshlab ho quindi effettuato i seguenti passaggi:
Ho ripulito il modello con strumenti e filtri (remove unreferenced vertex, ecc...)
Ho ricostruito la superficie con il filtro Poisson (11 e 10)
Ho migliorato il colore, con i filtri vertex color gamma correction e vertex color
white balance.
Ho scalato il modello portandolo a grandezza reale. Per fare questo ho preso
delle misure sull’oggetto reale e le corrispondenti sul modello 3D. Ho poi
calcolato il fattore di scala (facendo il rapporto dei valori trovati e la media)
che ho poi impostato sul filtro transform: scale.
8. Ottenuto il modello finale, ho riscontrato diversi problemi:
1) Durante l’acquisizione non ho potuto fotografare il retro piatto dell’angelo, quindi
su Meshlab l’angelo risultava aperto sul retro, perché questo non era stato acquisito. Il
poisson è riuscito a chiudere il modello, ma in questo caso con una enorme
bombatura sul retro che non potevo accettare essendo molto brutta esteticamente;
quindi l’ho tagliata, ma l’angelo è rimasto comunque aperto sul retro. Ho tentato con
altri metodi per chiuderlo, ma senza successo.
2) Durante l’acquisizione, le foto hanno preso un colore tendente al blu (forse a causa
della luce esterna), quindi su Meshlab il modello risultava grigio-bluastro, mentre
l’oggetto reale è di un color bianco sporco. Ho migliorato il colore usando dei filtri.
3) Durante la misurazione sul modello 3D e sull’oggetto reale non sono stata precisa
nell’ordine dei millimetri, quindi, dopo la scalatura, le misure del modello 3D si
avvicinano molto a quelle reali, ma non corrispondono perfettamente. Con pazienza e
precisione maggiori avrei ottenuto risultati più soddisfacenti.
9.
10. Il medaglione è stato acquisito la prima volta tramite foto (Dense
Stereo Matching), che poi sono state inviate ad Arc3D. Non avendo
ottenuto risultati soddisfacenti, è stato acquisito una seconda
volta tramite scansione, mediante lo scanner Minolta VI-900.
Per ogni tecnica utilizzata, abbiamo poi proceduto con il lavoro su
Meshlab.
Per il modello ottenuto tramite dense stereo matching:
Ho ripulito il modello con strumenti e filtri (remove unreferenced
vertex, ecc…)
Ho ricostruito la superficie con il filtro Poisson (11 e 10)
Ho migliorato il colore, con il filtro vertex color gamma correction
11. Per il modello ottenuto tramite scansione:
Essendo lucido, il medaglione è stato spolverato con della cipria
mediante l’apposito pennellino, per renderlo più opaco.
Sono state fatte varie scansioni alla parte frontale dell’oggetto (la parte
del retro non era acquisibile tramite scanner)
Le varie scansioni sono state ripulite con strumenti e filtri (remove
unreferenced vertex, ecc…)
Una volta pulite le varie scansioni sono state allineate in Meshlab tramite
lo strumento align (senza selezionare allow scaling perché trattandosi di
scansioni, il modello è già scalato alle misure reali)
La superficie è stata ricostruita con filtro VCG (con valore = 0,4)
12. Ottenuti il modelli finali, ho riscontrato diversi problemi:
1) Modello ottenuto mediante Dense Stereo Maching: Durante l’acquisizione
non è stato acquisito il retro, quindi su Meshlab risultava solo la parte frontale del
medaglione. Il poisson è riuscito a chiuderlo, ma in questo caso con una enorme
bombatura sul retro non accettabile essendo molto brutta esteticamente, quindi
l’ho tagliata ma il medaglione è rimasto senza il retro. La parte frontale non è
venuta benissimo, dato che le foto del file v3d non risultavano “blu”.
2) Modello ottenuto mediante Scansione: essendo il medaglione di un
materiale molto scuro e lucido nella parte del retro, il retro dell’oggetto non è
acquisibile mediante scanner. Inoltre la forma dell’oggetto non si presta
benissimo a questo tipo di acquisizione anche perché l’oggetto ha uno spessore
molto piccolo.
13. Abbiamo operato un confronto tra le due geometrie dei medaglioni (quello
dallo scanner e quello da 3D da immagini), allineando i due modelli,
utilizzando matrice corrente Freeze su ogni livello e successivamente il filtro
Sampling -> Housdorff Distance.
Successivamente abbiamo utilizzato il filtro Color-Colorize by vertex quality
per visuliazzare meglio, grazie all'aiuto dei colori (blu = sbagliato, rosso =
buono), di quanto differissero le distanze tra i due oggetti.
Possiamo vedere come il colore blu è concentrato nel bordo interno del
medaglione e in alcune zone interne degli ideogrammi. Il rosso invece è
concentrato nelle aree pianeggianti, che sono state le zone di miglior
successo. Le aree rimanenti sono di colore verde.
14. La tecnica del dense stereo matching ha dei vantaggi: rispetto alla scansione è automatica,
veloce, possono essere acquisiti modelli piccoli e grandi, i non esperti possono creare il loro
modello 3D ed è economica. Ma ha anche degli svantaggi: non è così accurata, non tutti gli
oggetti possono essere acquisiti (anche scansione), è in fase di ricerca (mentre la scansione
è ottimizzata). Gli oggetti che abbiamo ottenuto da scansione sono più precisi di quelli
ottenuti con dense stereo matching, ma non hanno colore.
Il 3D da immagini è più facile e meno costoso rispetto al 3d scanning, ma non si ha
l'informazione sulla scala reale della scena, quindi come ultimo step si dovrà fare una
scalatura. Con il 2d scanning invece è possibile misurare in modo automatico le proprietà
geometriche di un oggetto.
Per gli oggetti scansionati abbiamo ricostruito la superficie con VCG perché ha un buon
controllo sulla risoluzione, si può dividere a blocchetti facilitando il lavoro hardware, ma
fonde solo ciò che è scansionato.
Per ripristinare il colore perso dall’acquisizione tramite scanner, abbiamo provato ad
utilizzare i filtri: Ambient Occlusion e Discrete Curvature. Qualcosa forse si poteva fare anche
con gli Shaders…
15.
16. Infine l’anforina è stata acquisita solo tramite scansione, mediante lo scanner
Minolta VI-900, dal momento che le prove effettuate con iPhone 3GS e Arc3D
avevano dato scarsi risultati (foto verdi e non blu).
Per il modello ottenuto:
Sono state fatte varie scansioni a tutti i lati dell’oggetto. (Sono state fatte molte
scansioni, dato che era necessario acquisire metà anforina per volta da ogni lato,
dato che la “pancia” dell’anforina “bloccava” il laser che non acquisiva la metà
opposta)
Le varie scansioni sono state ripulite con strumenti e filtri (es. remove
unreferenced vertex, ecc…)
Una volta pulite, le varie scansioni sono state allineate in Meshlab tramite lo
strumento align (senza selezionare allow scaling perché, trattandosi di scansioni,
il modello è già scalato alle misure reali)
La superficie è stata ricostruita con filtro VCG (con valore = 0,4)
Sono state leggermente ripulite le anse con lo strumento pennello
17. L’acquisizione dell’anforina mediante scansione non è stata semplice
perchè la forma dell’oggetto non permetteva al laser dello scanner di
acquisire un intero lato con una sola scansione. Abbiamo dovuto fare
infatti molte scansioni per ogni lato dell’oggetto, e abbiamo dato ai file i
nomi LATOA, LATOB, LATOC così da poterli riconoscere per
l’allineamento successivo.
L’allineamento dei pezzi dell’anforina è stato complicato, dato che i lati
erano molti simili tra di loro (l’anforina è simmetrica) e poco riconoscibili.
Inoltre i dettagli erano molto poco visibili e facevo fatica a trovare dei
punti corrispondenti.
Essendo ottenuta tramite scansione, l’anforina risulta bianca, senza
colore. Per ripristinare il colore perso dall’acquisizione tramite scanner,
abbiamo provato ad utilizzare i filtri: Ambient Occlusion e Discrete
Curvature. Qualcosa forse si poteva fare anche con gli Shaders…
18.
19. Arrivate al termine, possiamo dire che questo esame ha costituito un'esperienza
positiva poiché ci ha permesso di acquisire competenze specifiche in un campo
attuale come quello della Grafica 3D, che oggi trova applicazione in differenti
ambiti: intrattenimento (videogames, realtà virtuale), e-commerce (visualization of
3D models), robotica (reconstruction environments and autonomous navigation),
arte, architettura (building models), archeologia (supporto a ristrutturazioni o
documentazione di scavi) medicina, ecc…
Si ringraziano per l’aiuto e la disponibilità il professor Matteo DellePiane, Marco
Callieri e Luca Benedetti del CNR-ISTI di Pisa.
20. Presentazione per il corso di
GRAFICA 3D PER I BENI CULTURALI
Professore: Matteo DellePiane