Download to read offline
![ERGAS
• Indica in generale la qualità dell’immagine fusa
• 𝐸𝑅𝐺𝐴𝑆 =
100
𝑟𝑎𝑡𝑖𝑜
∗
1
𝑁
∗ 𝑛=1
𝑁 𝐸[𝑟 𝑛−𝑓𝑛]2
𝐸[𝑟 𝑛]2
• Tale valore deve essere il più possibile vicino a 0 e in ogni caso non deve
essere superiore a 3](https://image.slidesharecdn.com/telerilevamento-160701135106/75/Remote-Sensing-19-2048.jpg)
Remote Sensing
- 1. Università degli studidi Salerno Corso di Laurea Magistrale in Ingegneria Informatica Anno 2015/2016 Corso di Telerilevamento Presentazione progetto Pansharpening Gruppo: Breton-Belz Emmanuel – Capozzoli Settimio – Di Gruttola Carmine – Imbrenda Alessandro
- 2. Outline • Descrizione delproblema • Strumenti utilizzati • Pansharpening • Validazione • Implementazione • Risultati
- 3. Descrizione del problema •Input: un’immagine ad alta risoluzione spettrale e l’altra ad alta risoluzione spaziale • Output: immagine risultante ad alta risoluzione spaziale e spettrale
- 4. Strumenti utilizzati • SatelliteEO-1 sensore ALI di pollo • Dataset in formato GeoTIFF convertito in HDF • Strumento di sviluppo: IDL • Strumento di verifica: MatLab
- 5. Satellite EO-1 sensoreALI • Orbita polare a circa 700 Km dalla Terra • Scansione along-track tramite array di sensori • Corregge errori dovuti a riflettanza atmosferica, in particolare vapore acqueo • Sensore ALI acquisisce immagini multispettrali (30 m) e pancromatiche (10 m)
- 6.
- 7. Descrizione del Dataset •Dataset acquisito dal sito http://earthexplorer.usgs.gov/ • Il dataset è riguardante la città di Roma • Scelto in quanto ci sono molti dettagli all’interno dell’immagine e copre una grande variazione di bande nel visibile • Dati in formato GeoTIFF convertiti in HDF
- 8. Strumenti di sviluppo •IDL (Interactive Data Language) • MatLab
- 9.
- 10. Tecniche di Pansharpening •Nel corso del progetto sono state sviluppate due tecniche di pansharpening, entrambe rientranti nella famiglia Component Substitution: Gram-Schmidt e Gram-Schmidt Adaptive.
- 11. Interpolazione • Nearest Neighbor •Bilineare • Bicubica
- 12. Gram-Schmidt • Utilizza latecnica di ortogonalizzazione di GS brevettata per la KODAK • Tecnica comunemente usata in algebra lineare • MS interpolate alla scala della PAN come vettori • Immagine PAN a scala ridotta simulata • Sottrazione della media dei pixel per ogni banda • Vengono calcolati i coefficienti • Estrazione dei dettagli e fusione tra le immagini • Una versione migliore di GS è Gram-Schmidt Apdative (GSA)
- 13. Gram-Schmidt Adaptive • Sibasa sugli stessi principi del GS • L’immagine PAN a scala ridotta viene generata da media pesata delle bande MS con pesi MSE-minimizzati rispetto alla versione passa bassa filtrata della PAN.
- 14. Validazione • Sono necessariemetriche formali di qualità dei metodi di pansharpening • il confronto visivo è inaffidabile in quanto il sistema visivo umano non è ugualmente sensibile ai diversi artefatti • È richiesta un’immagine di riferimento che però non esiste • Per ovviare a questo problema, che non permette la diretta applicazione del protocollo di Wald, si utilizza la Reduced-Resolution Assessment
- 15.
- 16. Reduced-Resolution Assessment • Siconsidera l’immagine a una risoluzione spaziale più bassa dell’originale e si usa l’originale come riferimento. • Gli indici presenti in questa categoria sono: • Spectral Angle Mapper (SAM) • Spatial Correlation Coefficient (SCC) • Erreur Relative Globale Adimensionelle de Synthèse (ERGAS) • Universal Image Quality Index (Q-index)
- 17. SAM • Indicatore delladistorsione spettrale • Si calcola la differenza tra l’angolo spettrale di tutte le bande, ottenendo un indice che rappresenta la differenza tra due immagini • 𝑆𝐴𝑀 = 𝑐𝑜𝑠 −1( 𝑖=1 𝑛 𝑡 𝑖 𝑟 𝑖 ( 𝑖=1 𝑛 𝑡 𝑖 2) 1 2( 𝑖=1 𝑛 𝑟 𝑖 2) 1 2 ) • ri rappresenta l’immagine di riferimento • fi rappresenta l’immagine fusa
- 18. SCC • Indicatore dell’integritàdell’immagine fusa • L’immagine viene trattata globalmente • 𝑆𝐶𝐶 = 𝑚,𝑛 𝑟 𝑚,𝑛∗𝑓 𝑚,𝑛 𝑚,𝑛 𝑟 𝑚,𝑛 2 ∗ 𝑚,𝑛 𝑓 𝑚,𝑛 2 • Il valore deve essere il più possibile vicino ad 1
- 19. ERGAS • Indica ingenerale la qualità dell’immagine fusa • 𝐸𝑅𝐺𝐴𝑆 = 100 𝑟𝑎𝑡𝑖𝑜 ∗ 1 𝑁 ∗ 𝑛=1 𝑁 𝐸[𝑟 𝑛−𝑓𝑛]2 𝐸[𝑟 𝑛]2 • Tale valore deve essere il più possibile vicino a 0 e in ogni caso non deve essere superiore a 3
- 20. Q4 • Il Q4tratta le 4 bande dell’immagine multispettrale • 𝑄4 = 𝜎 𝑧1𝑧2 𝜎 𝑧1∗𝜎 𝑧2 ∗ 2𝜎 𝑧1∗𝜎 𝑧2 𝜎 𝑧1 2 + 𝜎 𝑧2 2 ∗ 2 𝑧1 ∗ 𝑧2 𝑧2 2+ 𝑧2 2 • 𝜎𝑧 rappresenta la varianza • 𝑧 = 𝑎 + 𝑖𝑏 + 𝑗𝑐 + 𝑘𝑑 è la rappresentazione hypercomplessa dell’immagine dividendo le 4 bande
- 21.
- 22. GS vs GSAcon interpolazione NN Indici GS GSA SAM 1.9918° 1.9838° SCC 0.8908 0.8886 ERGAS 2.7134 3.1849 Q4 0.7752 0.7606
- 23. GS vs GSAcon interpolazione bilineare Indici GS GSA SAM 2.0412° 2.0027° SCC 0.8897 0.8886 ERGAS 2.7410 3.2139 Q4 0.7645 0.7582
- 24. GS vs GSAcon interpolazione bicubica Indici GS GSA SAM 2.0243° 2.0018° SCC 0.8899 0.8886 ERGAS 2.7272 3.2028 Q4 0.7710 0.7591
Editor's Notes
- #4 Lo scopo del progetto è quello di ottenere un’immagine ad alta risoluzione spettrale e spaziale, a partire da due immagine distinte, una ad alta risoluzione spettrale e l’altra ad alta risoluzione spaziale. Risoluzione spaziale: rappresenta la più piccola caratteristica distinguibile nell’immagine. Dipende dall’IFOV. È legato ai pixel in alcuni casi, ma non in tutti in quanto possiamo rappresentare più IFOV con un unico pixel facendo una media ottenendo una minore risoluzione. La massima risoluzione si ha quando ad un pixel è associato un IFOV. Risoluzione spettrale: descrive la capacità di un sensore di definire intervalli di lunghezza d’onda fini. I sensori multi-spettrali lavorano su più lunghezze d’onda diverse a bande molto strette.
- #6 Multispettrali: risoluzione massima spaziale 30 m Pancromatica: risoluzione massima spaziale 10 m Swath: 37 km Repeat cycle: 16 giorni Orbita period: 98.9 minuti quindi circa 14 orbite al giorno
- #8 GeoTIFF: tipo di metadati che permette di incorporare riferimenti geografici all’interno di un’immagine TIFF. HDF: tipo di file progettato per contenere e organizzare grandi quantità di dati come ad esempio array multidimensionali.
- #9 IDL: utilizzato per lo sviluppo del progetto sulla base del codice MatLab MatLab: utilizzato per la verifica dei risultati ottenuti Problematiche IDL: kaiser, convoluzione, shift della ifft, fft non normalizzata sul numero di campioni
- #10 Consiste nel fondere un’immagine multispettrale con una pancromatica al fine di ottenere un’immagine complessiva che abbia la risoluzione spettrale della prima con la risoluzione spaziale della seconda. La prima a sinistra è un’immagine multispettrale (MS) la seconda è pancromatica (PAN) la terza è l’immagine risultante dalla fusione. Da come si può comprendere dalla sintetica descrizione data in precedenza, le problematiche del Pansharpening rientrano nella classe del “Data Fusion”: Image fusion is a concept of combining multiple images into composite products, through which more information than that of individual input images can be revealed. Ma ad esempio rispetto alla multisensor fusion non richiedono operazioni di correzione di fase e spaziali perché le immagini sono state raccolte tutte a bordo della stessa piattaforma, questo è uno dei motivi per il quale è una tecnica di grande interesse. Per lo stesso motivo non è necessario fare l’allineamento delle immagini. All of the methods depend on the panchromatic and the multispectral image being very closely co registered. When images are co registered, you can think of overlaying one on top of the other and examining any pixel in the top image. The pixel in the image below that should be the exact same feature on the ground. Pan sharpening algorithms depend on the input images being co registered because they all perform operations on corresponding pixels in both images. They all do something with the multispectral pixel and the panchromatic pixels to create new pixels. If the images are not co registered, the processing will use the wrong pixels, not the corresponding ones and the result will not look natural. f the images are not well co registered, you can fix this situation using the RemoteView image to image registration tool. For nearly all modern sensors, this is not an issue, the bands are precisely co registered because they are collected with the same sensor at the same instant in time.
- #11 This family is based on the projection of the MS image into another space, assuming that this transformation separates the spatial structure from the spectral information in different components [1]. Subsequently, the transformed MS image can be enhanced by replacing the component containing the spatial structure with the PAN image. Accordingly, the greater the cor- relation between the PAN image and the replaced component, the lower the distortion introduced by this fusion approach [1]. To this purpose, histogram matching of the PAN image to the selected component is performed before the substitution takes place. Thus, the histogram-matched PAN will exhibit same mean and variance as the component to replace. Finally, the pansharpening process is completed by bringing the data back to the original space through the inverse transformation. This approach is global (i.e., it operates in the same way on the whole image), leading to advantages and limitations. In greater details, techniques belonging to this class are usually characterized by a high fidelity in rendering the spatial details in the final product [43], and they are, in general, fast and easy to implement. On the other side, they are not able to account for local dissimilarities between the PAN and MS images originated by the spectral mismatch between the PAN and MS channels of the instruments, which may produce significant spectral distortions [1], [6]. An alternative denomination of CS is projection substitution [1], to emphasize the two main steps of these techniques. Interpolazione: NN, bilineare, bicubica Come si può vedere gli elementi essenziali sono l’interpolazione alla scala del PAN ed il confronto degli istogrammi entrambi cerchiati in grigio, da questo schema si ottiene la formulazione generale del metodo: Dove: : è l’immagine finale (Pansharpened image) : è l’immagine interpolata alla scala del PAN : è un vettore di guadagni (injection gains) : è l’immagine pancromatica è definita come segue Con w è il vettore dei pesi
- #12 L’algoritmo nearest neighbor è l’algoritmo base e richiede minor tempo di elaborazione rispetto a tutti gli altri algoritmi di interpolazione perché considera solo un pixel , il più vicino al punto interpolato. Questo ha l’effetto di rendere “semplice” ogni pixel più grande. L’algoritmo di interpolazione bilineare considera quattro pixel limitrofi presi da una matrice 3×3 dove il punto centrale è quello da interpolare. L’algoritmo di interpolazione bicubica va un passo oltre quello bilineare, considerando una matrice 7×7. I pixel che vengono presi in considerazione sono ben 16. Poiché questi pixel sono a varie distanze dal pixel sconosciuto, ai pixel più vicini viene dato un peso maggiore nel calcolo. L’interpolazione bicubica produce immagini notevolmente nitide rispetto ai due metodi precedenti ed è forse la combinazione ideale tra il tempo di elaborazione e qualità finale, tanto che è uno standard in molti programmi di editing di immagini ( tra cui Adobe Photoshop).
- #16 Questa immagine mostra l’applicazione per la riduzione della risoluzione delle immagine. MTF per la MS – filtro gaussiano
- #22 Le funzionalità principali del Pansharpening sviluppate nel progetto presentano uno schema di funzionamento generale riassunto dal diagramma di flusso
- #23 NN
- #24 Bilineare
- #25 Bicubica