SlideShare a Scribd company logo
1 of 71
LiVinG NeTWorkS LaB
            Dal 2002 il Living Networks
             Lab (Dipartimento di Scuenze
             dell’Informazione - Università
             di Milano) lavora con culture
             di neuroni su MEA (array di
             microelettrodi)

            Il gruppo è composto da
             fisici, elettronici, informatici e
             biotecnologi, con il supporto
             di un laboratorio biologico
             esterno.
LiVinG NeTWorkS LaB

   Obiettivo del gruppo è lo sviluppo della ricerca nel
    campo della biologia computazionale, della bionica e
    dell’Intelligenza Artificiale.


   Il gruppo ha effettuato molti esperimenti sullo sviluppo e
    l’analisi di strutture organizzate di reti neurali biologiche
    adese a supporto elettronico.
Ambiti di ricerca

   Ricerca in campo neurofisiologico:
    metodo di decodifica di segnali provenienti da reti di
    neuroni; non esistono ad oggi interpretazioni
    sperimentali della semantica dei segnali gestiti da reti
    di cellule nervose



   Ricerca in campo robotico:
    sistema bionico in grado di apprendere e di guidare
    attuatori
Ambiti di ricerca

   Ricerca nel campo delle reti neurali artificiali (ANN):
    implementazione di una rete software
    autoorganizzante in grado di fornire un output esplicito
    e di funzionare in tempo reale


   Ricerca nel campo del supporto dell’handicap:
    metodo per implementare in futuro protesi
    direttamente impiantate nel sistema nervoso centrale
    per sostituire porzioni di cervello danneggiate e/o
    guidare arti naturali o artificiali
Struttura del neurone
             La scoperta della struttura
              del neurone risale al 1965
              (Deiters)

             Il neurone è dotato di un
              soma, di un assone, dei
              dendriti e delle sinapsi

             Ramòn y Cajal evidenzia i
              dendriti e gli assoni con il
              metodo di Golgi
Rete di neuroni
La trasmissione
dei segnali neurali

            La trasmissione dei
             segnali nei neuroni
             avviene per via
             elettrochimica

            L’arrivo di un segnale
             elettrico libera dei
             neurotrasmettitori che
             attraversano la fessura
             sinaptica e vengono
             riconvertiti in segnali
             elettrici
La trasmissione
dei segnali neurali
Il potenziale d’azione (spike)
                Il potenziale d’azione è il
                 segnale che si propaga
                 attraverso le cellule neurali
                 lungo l’assone
                Si innesca quando il
                 potenziale di membrana si
                 allontana dal suo valore di
                 riposo superando una
                 certa soglia
Modello del potenziale d’azione
                                      A.C. Hodgkin e A.F. Huxley
                                      nel 1952 hanno aperto le
                                      porte ad una comprensione
                                      dettagliata di come i segnali
                                      elettrofisiologici siano
                                      trasmessi all'interno del
                                      sistema nervoso




n indica la frazione di canali K+ (potassio) aperti, m la frazione di canali
Na+ (sodio) attivati, h la frazione di canali Na+ (sodio) inattivati
Studio della codifica
     dell’informazione neurale
   Lo studio della codifica dell’ informazione neurale è
    basata sull’ implementazione di analisi statistiche
   Attualmente si ritiene che la maggior partedelle
    informazioni rilevanti, se non tutte, siano contenute nel
    tasso medio di “firing” del neurone
   Oltre al firing rate si considera l’Inter Spike Interval (ISI)
    che è l’intervallo temporale che intercorre tra due spikes
    successivi.
Tecniche di misura del
          segnale neurale
   Gran parte della moderna neurofisiologia è basata su
    studi sperimentali con tecnica patch-clamp

   Il metodo del patch-clamp risale al 1983 (Sakmann
    and Neher), ed è effettuato tramite una micropipetta di
    vetro

   Misura il potenziale a cavallo della membrana cellulare

   Misura anche il potenziale all’interno della membrana
    cellulare se si perfora la membrana
Interfacciamento fra neuroni e
           circuiti elettronici
    Nei primi anni novanta fu stabilita per la prima
     volta un’interfaccia elettrica tra cellule nervose e
     microstrutture semiconduttrici, utilizzando i
     neuroni delle sanguisughe, uniti a transistor
     disposti su una piastra di silicio (Fromherz)

    In seguito Fromherz ha approfondito la natura
     della giunzione neurone-silicio perfezionando la
     tecnica di interfacciamento
Interfacciamento fra neuroni e
       circuiti elettronici
   Nel 2000 un team di ricercatori della
    Northwestern University di Chicago,
    dell’Università dell’Illinois e dell’Università di
    Genova ha creato una creatura ibrida costituita da
    un corpo meccanico controllato dal cervello di
    lampreda marina

   Nel 2002 Fromherz ha coltivato delle cellule
    nervose su elettrodi di silicio: le cellule nervose
    hanno formato sinapsi con gli elettrodi di silicio
    che rispondevano a stimoli elettrici
Interfacciamento fra neuroni e
           circuiti elettronici
    Nel 2003 il gruppo della Duke University è riuscito
     a collegare 320 microelettrodi alle cellule nel
     cervello di una scimmia, permettendo di tradurre
     direttamente i segnali elettrici in istruzioni per il
     computer, in grado di spostare un braccio
     robotico

    Nel 2005 il gruppo del SISSA di Trieste ha
     sperimentato la possibilità di utilizzare i neuroni
     su MEA come “neurocomputers” in grado di
     filtrare delle immagini digitali
Il nostro progetto
   Strutturare reti di neuroni biologici in forma di
    ANN.

   Ipotizzare una forma di apprendimento di questo
    sistema ibrido attraverso l’immissione iterata di
    pattern digitali secondo la tecnica ANN

   Decodificare i segnali neurali di output attraverso
    una ANN (ITSOM) e con questi guidare gli
    attuatori di un robot
Il nostro progetto

   Coltivazione sul MEA delle cellule staminali che sono state fatte differenziare in neuroni umani.

   Creazione della rete di Kohonen e di Hopfield su MEA

   La configurazione delle reti è stata scelta dopo una simulazione software su reti artificiali di Kohonen e di Hopfield, in modo da valutare il numero
    minimo di neuroni necessari a classificare delle semplici immagini
Il sistema hardware/software
            Abbiamo sviluppato un sistema che
             interfaccia le cellule attraverso
             l’adesione diretta a MEA
             (MultiElectrode Arrays)

            Un MEA è un disco di Petri di vetro
             in cui sono inseriti piccolissimi
             elettrodi. Ciascun elettrodo è
             connesso per mezzo di una traccia
             isolata ad un connettore esterno.
Il sistema hardware/software

                 Il MEA permette la
                  registrazione dell’attività delle
                  cellule simultaneamente da
                  diversi canali

                 Può registrare a lungo
                  l’attività cellulare senza
                  danneggiare le cellule

                 E’ adatto ai nostri
                  esperimenti perché permette
                  di studiare il comportamento
                  dinamico di un’intera rete di
                  neuroni
Il sistema hardware/software


                 Il sistema è stato cambiato
                  e migliorato molte volte,
                  adottando man mano
                  schede di acquisizioni più
                  potenti e controller dedicati
Il sistema hardware/software
                 Al momento usiamo un
                  sistema avanzato National
                  Instruments:

                 Rack esterno PXI 1031
                  con board DAQ ad alta
                  velocità PXI 6251 (16 input
                  analogici, 24 Digital I/O, 2
                  output analogici) , velocità
                  di campionamento 1.25
                  MS/s

                 Labview 8.0 per la
                  gestione della scheda e
                  della regsitrazione dei
                  segnali
Il sistema hardware/software

    Un controller dedicato
    progettato dal nostro
     gruppo permette di
     preamplificare i segnali
     neurali e stimolarli con
     pattern digitali
I neuroni
   •Fino ad oggi abbiamo usato
   cellule staminali neurali
   •Le cellule vengono piastrate alla
   densità a 3500 celle/cm2 in un
   mezzo contenente i fattori di
   crescita EGF e FGF-2
   •Le cellule sono coltivate per 15
   giorni per ottenere neuroni maturi
   •Abbiamo coltivato le cellule
   direttamente su MEA ricoperto da
   substrato di matrigel
Il nostro progetto
    E’ stato sviluppato un programma di controllo del
     sistema in linguaggio Labview, utilizzato per:
     il controllo del flusso degli esperimenti
     la generazione dei pattern sensoriali simulati
     l’acquisizione dei segnali
     l’interfacciamento con la rete neurale
     la generazione dei segnali di controllo degli
        attuatori del robot

    E’ stata sviluppata una rete neurale in linguaggio
     C sotto forma di DLL ed è stata linkata a Labview
Il nostro progetto
      Il differenziamento avviene su MEA.
      I nostri MEA Panasonic hanno 64 microelettrodi ITO
    (Indium Tin Oxide) – platino.
      La dimensione dei microelettrodi è 20 µ, la distanza
    interpolare 100 µ.
Il nostro progetto
   Si sono creati dei collegamenti per ricreare la rete di Hopfield e di Kohonen
   Kohonen: 8 neuroni di input, 3 neuroni dello strato competitivo
   Hopfield: 8 neuroni di input/output




                       Kohonen                                       Hopfield
Il nostro progetto
   Il software di stimolazione crea una serie di bitmap
    composte da 3 x 3 bit che rappresentano o un
    segnale “0” o un segnale “1”
   Si utilizzano gli 8 punti esterni




                    Carattere 0      Carattere 1
                    11111111         00001111
I pattern digitali
   Oltre allo “0” e “1” perfetto si considerano anche zeri e uni con rumore




0 con rumore




1 con rumore
L’apprendimento
   Le stimolazioni vengono dati con impulsi di +/-35 mV a frequenze diverse

   La durata del singolo impulso è stata impostata a 1.25 ms o 25 ms nei diversi esperimenti
Analisi dei risultati
Analisi dei risultati
Analisi dei risultati
Analisi dei risultati
   I segnali misurati sono stati successivamente elaborati utilizzando la RQA (Recurrence Quantification Analysis).
   Questo strumento di analisi non lineare analizza il grado di autoorganizzazione di un segnale
   Si costruisce una serie di M vettori di lunghezza N ricavati prendendo porzioni di segnale al tempo t+i (i=i+k),ottenendo una matrice di valori.
   Si calcola la distanza euclidea fra i punti costituiti dalle righe della matrice, e queste vengono codificate attraverso dei colori (Recurrence Plots)
Analisi dei risultati
   Essenzialmente, il Recurrence Plot è una tabella di codici di colori, in cui i colori caldi (giallo, rosso ed arancio) possono essere associati con le piccole distanze fra i
    vettori, mentre i colori freddi (azzurro, nero) possono essere usati per mostrare le grandi distanze.

   Per segnali random la distribuzione dei colori è completamente uniforme. Quanto più deterministico è il segnale, tanto più strutturato sarà il Recurrence Plot
Recurrent Plots
           Segnale di output prima della
            somministrazione dei pattern
           Il grafico è costituito da colori
            freddi e disorganizzati che
            segnalano la mancanza di
            autoorganizzazione della
            serie temporale.
Recurrent Plots
          Segnale di output durante
           la somministrazione dei
           pattern
          disorganizzato anche se
           con un inizio di
           autoorganizzazione
Recurrent Plots
          Segnale di output subito dopo la
           fine della somministrazione di un
           pattern sensoriale simulato
          Si vedono ampie bande uniformi di
           colore giallo e rosso, mentre i
           colori freddi sono limitati agli
           estremi del diagramma
Recurrent Plots
         Segnale di output dopo la fine della
          somministrazione dei pattern
          sensoriali simulati
         Si vedono ampie bande uniformi di
          colore giallo e rosso, mentre i colori
          freddi sono limitati agli estremi del
          diagramma, a dimostrazione di un
          altissimo grado di autoorganizzazione
Analisi dei risultati
   Sia l’analisi dei segnali elettrici che i Recurrent Plots concorrono alle stesse conclusioni :

       La rete di neuroni risponde in modo simile a stimolazioni simili, risponde in modo diverso a stimolazioni diverse

       I risultati raggiunti consentono di affermare che la rete di neuroni è in grado di “apprendere” stimoli sensoriali simulati autoorganizzandosi, e rispondendo adeguatamente ai pattern anche successivamente all’apprendimento
Decodifica dei segnali
    neurali attraverso una rete
        neurale artificiale
   Abbiamo quindi pensato possibile un passo
    successivo: offrire un’interpretazione agli output
    generati dai neuroni

   Sviluppo di una rete autoorganizzante ITSOM
    (Inductive Tracing Self Organizing Map) per la
    decodifica dei segnali neuronali

   La rete ITSOM è un’ evoluzione della SOM
    (Kohonen)
La rete SOM
Caratteristiche della rete SOM:
                                  •   Rete ad apprendimento non
                                      supervisionato.
                                  •   Composta da due strati: uno
                                      strato di input e uno strato
                                      competitivo o di Kohonen
                                  •   Tutti i neuroni di input sono
                                      connessi ad ogni neurone
                                      dello stato di output.
                                  •   Autoorganizzazione di insiemi
                                      di dati n-dimensionali su una
                                      mappa k-dimensionale ( k <<
                                      n ) (quantizzazione vettoriale)
La rete SOM
Apprendimento e classificazione della rete di Kohonen:

    Regola Winner Take All
    Calcolo delle distanze tra segnali di input x e pesi
     delle connessioni wi.
     Il neurone vincente è quello con distanza minima,
     premiato con una variazione dei pesi


     wi _ new = wi _ old + α      ( x − wi _ old ) zi
Problematiche della SOM
   Per input strettamente non lineari lo strato di output
    non riesce a mappare correttamente l’input
   Difficoltà di pervenire a convergenza certa non
    essendoci la possibilità di stabilire un errore della rete
    per ciascuna epoca
   Output non è esplicitato e necessita di un algoritmo per
    estrarlo

            PUNTI DI FORZA DELLA ITSOM
    Funziona in tempo reale
    Non necessita di convergenza
    Esplicitazione dell’output
La rete ITSOM
   Osservando la sequenza temporale dei neuroni vincenti di
    una SOM si nota che questa tende a ripetersi creando una
    serie temporale, costituente attrattori caotici, e che questi
    caratterizzano univocamente l’elemento di input che gli ha
    prodotti
   La rete ITSOM memorizza la serie temporale dei neuroni
    vincenti e successivamente li analizza col metodo degli z-
    score
Lo z-score
I punteggi cumulativi relativi a ciascun input vengono
normalizzati secondo la distribuzione della variabile
standardizzata “z”


                  • x = numero vittorie per il neurone
     x −μ
 z =              • μ = media dei punteggi sui vari neuroni
      σ           • σ = scarto quadratico medio
Lo z-score
    Fissata una soglia τ, 0<τ<1   z = 1 per z > τ
                                   z = 0 per z ≤ τ

   In questo modo ogni configurazione dei neuroni vincenti è
    rappresentata da un numero composto da zeri e uni

   Diventa poi immediato confrontare tra loro questi numeri
    binari detti codice ITSOM.
Lo z-score

              CODICI Z-SCORE


FASE DI TRAINING          FASE DI TESTING

 Generazione          Classificazione dei segnali
 degli z-score         in funzione degli z-score
 di riferimento      acquisiti nella fase di training
Lo z-score
   Ad esempio nella tabella sotto sono riportati i codici generati dalla ITSOM che elabora un set di segnali emessi
    dalle cellule stimolate con lo stesso pattern R
   La prima volta vince 10 volte il neurone 2, 5 volte il neurone 5, 6 volte il neurone 6, una volta il neurone 7 e così
    via
   La seconda volta vince 1 volta il neurone 2, 6 volte il neurone 5, 4 volte il neurone 6 e così via
Fasi dell’esperimento

   Strutturazione di una rete di Hopfield
   Generazione dei segnali e stimolazione dei neuroni biologici, registrazione della loro
    risposta.

   Inoltro dei dati alla rete neurale artificiale ITSOM:
                fase di training
                fase di testing

   Utilizzo dell’output della ITSOM per pilotare gli attuatori del Robot.
I neuroni
   Nell’ultimo esperimento
    abbiamo stimolato la rete per
    mezzo di pattern direzionali
   I pattern sono bitmap 8x8
   La durata del bit è 300 ms
   Ciascuna stimolazione è
    seguita da una pausa di 1 s
    in cui una Artificial Neural
    Network elabora i segnali
   L’impulso di stimolazione è
    un segnale è un segnale
    alternato a basso voltaggio
    (+/- 30 mV, 733 Hz)
Generazione di stimoli sensoriali simulati




                 Pattern: 8 bit per 8 bit.
                 Ogni bit ha la durata di 300 ms
                 Ogni stimolazione della durata complessiva di
                  2.4s è seguita da 1s di pausa durante alla fine
                  della la rete neurale registra gli output cellulari.
                 Il segnale utilizzato per stimolare le cellule è
                  un segnale alternato a bassa tensione (+/- 30
                  mV) a 733 Hz.
Generazione di stimoli
                      sensoriali simulati
Fase di Training:

   Somministrazione ripetuta di stimoli sensoriali simulati ai neuroni biologici

   Acquisizione (10 kHz) del segnale dei neuroni biologici

   Generazione degli z-score di riferimento della rete ITSOM
Generazione di stimoli
                          sensoriali simulati
Fase di Testing:

   Somministrazione di uno stimolo sensoriale simulato prescelto ai neuroni biologici

   Acquisizione (10 kHz) del segnale dai neuroni biologici

   Generazione dello z-score e confronto con quelli di riferimento

   Generazione dei comandi per pilotare il Robot
I neuroni

I pattern vengono
somministrati alla rete
biologica come treni di impulsi
elettrici in modo da
rappresentare i punti bianchi
(bit 1) o bianchi (0) della
bitmap
I neuroni
   •Gli impulsi sono somministrati
   simultaneamente su tutti gli elettrodi in
   forma di pattern

   •Le cellule sono stimolate da impulsi
   elettrici con differenti voltaggi e
   frequenze

   •Le stimolazioni sono somministrate con
   impulsi di 35 mV

   •La durata di un impulso è stata posta da
   1.25 ms a 25 ms in differenti esperimenti
La creatura bionica
   I neuroni sono
    connessi ad una
    Artificial Neural
    Network che
    decodifica i loro
    segnali dopo le
    stimolazioni

   Il sistema ibrido
    (artificiale/biologico)
    guida un minirobot
La creatura bionica

 Dopo una sequenza di stimolazioni di training,
 vengono somministrati alla rete biologica dei
 pattern direzionali random in forma di comandi

 LaITSOM decodifica i segnali neurali e il
 minirobot esegue i comandi
Parametri di taratura
    della ITSOM
Risultati
                                                                         Direzioni
        Input 1-400ms                                                                                                Totale
                                            Pattern F          Pattern B      Pattern L         Pattern R
Classificati correttamente                         4               5                 3                  3                 15
Non classificati correttamente                     1               0                 3                  3                 7
Non classificati                                   0               1                 1                  1                 3
Totale dei pattern forniti                         5               6                 7                  7                 25
% Classificati                                    100%          83,33%         85,71%             85,71%              88%
% Classificati correttamente                      80%           83,33%         42,86%             42,86%              60%

                    Percentuale di classificazione nelle quattro direzioni

       100%

        80%

        60%
                                                                                         Non classificati
        40%                                                                              Non classificati correttamente
        20%                                                                              Classificati correttamente

         0%
              Pattern F   Pattern B   Pattern L    Pattern R    Totale
                                      Direzioni
Risultati
Analizzando i dati ottenuti con il metodo delle matrici di
confusione possiamo calcolare la sensibilità e la
specificità per valutare la bontà del nostro classificatore


Per ogni matrice di confusione si possono definire quattro
importanti parametri:

   Falso Positivo (FP): è la probabilità che un pattern sia stato erroneamente
   classificato come appartenente ad un altro pattern.
   Falso Negativo (FN): è la probabilità che uno specifico pattern sia stato
   erroneamente classificato non nel suo specifico pattern.
   Vero Positivo (VP): è la probabilità che un pattern sia stato correttamente
   classificato come appartenente ad uno specifico pattern.
   Vero Negativo (VN): è la probabilità che un pattern sia stato correttamente
   classificato come non appartenente ad uno specifico pattern.
Risultati
Definiamo quindi:
   Sensibilità = (VP / ( VP + FN))*100
   Specificità = (VN / (VN + FP))*100




           Matrice di confusione pattern F

                         F            Non F

           F            VP             FN

         Non F           FP            VN
Risultati
      Matrice di confusione pattern F           Matrice di confusione pattern B
                     F           Non F                        B            Non B
      F              4              0           B              5              6
   Non F             1             17         Non B            0             11

      Matrice di confusione pattern L           Matrice di confusione pattern R
                     L           Non L                        R            Non R
      L              3              1           R              3              0
   Non L             3             15         Non R            3             16

Sensibilità = (TP / ( TP + FN))*100                 Specificità = (TN / (TN +
                                                            FP))*100
                  Pattern F     Pattern B   Pattern L      Pattern R        Totale
 Sensibilità        100%         45,45%       75%           100%           80,11%

 Specificità       94,44%         100%       83,33%         84,21%         90,50%


               Il modello di classificatore appare soddisfacente
Risultati
   Sviluppo di un sistema hardware/software in grado di
    interagire con i neuroni

   Sviluppo di un sistema di apprendimento di percezioni
    simulate di una rete di neuroni umani, correttamente
    allenata.

   Sviluppo di una opportuna ANN per la decodifica delle
    reazioni dei neuroni

   Sperimentazione di un sistema robotico ibrido in grado
    di guidare un attuatore
Risultati
   Attualmente in neurofisiologia si analizza solo la
    frequenza di spike e non si arriva alla decodifica
    semantica dei segnali neuronali
   Non esistono teorie consolidate sull’apprendimento di
    reti neurali biologiche
   Abbiamo sviluppato un sistema innovativo di
    decodifica dei segnali provenienti da reti di neuroni
    biologici e un sistema di apprendimento basati su
    riscontri sperimentali
   Anche il risultato sperimentale conseguito, ossia il
    movimento di un robot guidato dall’output di neuroni
    biologici in base all’apprendimento di pattern sensoriali
    simulati, non ha precedenti in letteratura.
Valutazione comparativa
            con la letteratura
   Nella letteratura esaminata in precedenza si è cercato di
    affidare ad un cervello già funzionante il compito di
    autoorganizzarsi sotto l’azione di stimoli esterni

Nel nostro studio si è giunti a:
 Strutturare una rete di neuroni a priori disorganizzata
  seguendo la struttura di una ANN

   Farle apprendere stimoli sensoriali simulati

   Decodificare i segnali di output della rete
La creatura bionica
 Command                         Robot


Left                             Left

Forward                          Backward

Backward                         Backward

Left                             Left

Left                             Left
La creatura bionica
 “Cremino” è la prima creatura ibrida dotata di un
 piccolo cervello umano

 Scopo    di questa ricerca è
     Raggiungere una migliore comprensione del
      meccanismo neurofisiologico della memoria e
      dell’apprendimento
     Sviluppare un’interfaccia efficiente fra neuroni ed
      elettronica
     Compiere un progresso nello sviluppo di protesi
      neuroelettroniche
Problemi da risolvere
   Identificazione sicura dei neuroni che formano la rete

   Persistenza in vita delle cellule
   Ottimizzazione della decodifica dei segnali
    neurofisiologici

   Crescita di complessità del sistema in modo da
    effettuare esperimenti a ciclo chiuso con sensori
    montati sul robot

   Miniaturizzazione
Sviluppi in corso
   Progetto europeo FLASHPOM: progettazione ed
    implementazione di MEA speciali con piste litografate
    e strato di polimeri che guidano le cellule a depositarsi
    solo sopra gli elettrodi senza spostarsi

   Ottimizzazione della ITSOM studio di un nuovo
    algoritmo di identificazione degli attrattori caotici

   Realizzazione di una ITSOM integrata in HW
Pubblicazioni
   R. Pizzi, D. Rossetti, G. Cino,D. Marino, and A. Vescovi, “A CULTURED HUMAN NEURAL
    NETWORK DRIVES A ROBOTIC ACTUATOR", Biosystems Journal, Elsevier ed., in corso
    di pubbl.

   R. Pizzi, “ARTIFICIAL MIND”, in: Reflexing Interfaces: the Complex Coevolution of
    Information Technology Ecosystems , IGI group, Hershey, PA, USA

   R. Pizzi, G. Cino, F. Gelain, D. Rossetti and A. Vescovi, "LEARNING IN HUMAN NEURAL
    NETWORKS ON MICROELECTRODE ARRAYS", Biosystems Journal, Volume 88, Issues
    1-2, March 2007, Pages 1-15, Elsevier ed.

   Rita M.R. Pizzi, Danilo Rossetti, Giovanni Cino, Daniela Marino and Angelo L. Vescovi, “A
    BIOLOGICAL NEURAL NETWORK DRIVES A ROBOTIC ACTUATOR”, Proc. CISI06,
    Ancona 26–29 settembre 2006.

   R. Pizzi, A. Fantasia, F. Gelain, D. Rossetti, G. Cino and A. Vescovi, “HOPFIELD AND
    KOHONEN MODELS: AN IN VIVO TEST”, Proc. International Meeting on Computational
    Intelligence Methods for Bioinformatics and Biostatistics, Perugia 15-17 settembre 2004,
    Kluwer ed.

   R. Pizzi, D. Rossetti, G. Cino, A . Vescovi, “ANOMALOUS FINDINGS IN CULTURED
    NEURONS IN PRESENCE OF LASER PULSES”, in fase di revisione su: Biosystems
    Journal, Elsevier

   R. Pizzi, D. Rossetti, G. Cino, A.L. Vescovi and W. Baer, “NEURONS REACT TO
    ULTRAWEAK ELECTROMAGNETIC FIELDS”, Quantum Mind 2007, Salzburg 23-26 Luglio
    2007.
   W. Baer, R. Pizzi, THE SEARCH FOR BIOLOGICAL QUANTUM COMPUTER ELEMENTS
    accettato a :ICCES'08: International Conference on Computational & Experimental
    Engineering and Sciences, Honololu, Hawaii, Marzo 2008
The first human-electronic creature: Cremino

More Related Content

Viewers also liked (11)

Molecular cooperation to reinforce immune response during carcinoma (1)
Molecular cooperation to reinforce immune response during carcinoma (1)Molecular cooperation to reinforce immune response during carcinoma (1)
Molecular cooperation to reinforce immune response during carcinoma (1)
 
Week 16 day 3-eu
Week 16  day 3-euWeek 16  day 3-eu
Week 16 day 3-eu
 
September 11 meeting
September 11 meetingSeptember 11 meeting
September 11 meeting
 
Telemedicine for Africa: remote consulting to support the fight against HIV/A...
Telemedicine for Africa: remote consulting to support the fight against HIV/A...Telemedicine for Africa: remote consulting to support the fight against HIV/A...
Telemedicine for Africa: remote consulting to support the fight against HIV/A...
 
Explorers simulation day 4
Explorers simulation day 4Explorers simulation day 4
Explorers simulation day 4
 
Week 11 day 5- cold war
Week 11  day 5- cold warWeek 11  day 5- cold war
Week 11 day 5- cold war
 
Where do you live mate 2015
Where do you live mate 2015Where do you live mate 2015
Where do you live mate 2015
 
Notes prepositions
Notes prepositionsNotes prepositions
Notes prepositions
 
Microtubules in 5 minutes
Microtubules in 5 minutesMicrotubules in 5 minutes
Microtubules in 5 minutes
 
European physical features
European physical featuresEuropean physical features
European physical features
 
Europe physical features
Europe physical featuresEurope physical features
Europe physical features
 

Similar to The first human-electronic creature: Cremino

Potenziale azione fisio&riab_080310_0
Potenziale azione fisio&riab_080310_0Potenziale azione fisio&riab_080310_0
Potenziale azione fisio&riab_080310_0
imartini
 
Cervelli sotto il_microscopio n
Cervelli sotto il_microscopio nCervelli sotto il_microscopio n
Cervelli sotto il_microscopio n
imartini
 
Una retina artificiale per ridare la vista 2010-11-10
Una retina artificiale per ridare la vista   2010-11-10Una retina artificiale per ridare la vista   2010-11-10
Una retina artificiale per ridare la vista 2010-11-10
Ionela
 
Reti Neurali
Reti NeuraliReti Neurali
Reti Neurali
Agabiti25
 
2 recettori sensoriali
2 recettori sensoriali2 recettori sensoriali
2 recettori sensoriali
imartini
 
Sistema nervoso
Sistema nervosoSistema nervoso
Sistema nervoso
imartini
 
Sistnervoso 1
Sistnervoso 1Sistnervoso 1
Sistnervoso 1
imartini
 
Tesi laurea Cristian Randieri: TECNICHE DI SOFT COMPUTING PER LA MODELLISTICA...
Tesi laurea Cristian Randieri: TECNICHE DI SOFT COMPUTING PER LA MODELLISTICA...Tesi laurea Cristian Randieri: TECNICHE DI SOFT COMPUTING PER LA MODELLISTICA...
Tesi laurea Cristian Randieri: TECNICHE DI SOFT COMPUTING PER LA MODELLISTICA...
Cristian Randieri PhD
 

Similar to The first human-electronic creature: Cremino (20)

Webinar 42N Integrazione cervello - intelligenza artificiale
Webinar 42N Integrazione cervello - intelligenza artificialeWebinar 42N Integrazione cervello - intelligenza artificiale
Webinar 42N Integrazione cervello - intelligenza artificiale
 
Introduzione sulla system biology nel contesto delle biotecnologie moderne Ti...
Introduzione sulla system biology nel contesto delle biotecnologie moderne Ti...Introduzione sulla system biology nel contesto delle biotecnologie moderne Ti...
Introduzione sulla system biology nel contesto delle biotecnologie moderne Ti...
 
Reti neurali: ipotetiche forme di vita artificiale o realistici calcolatori a...
Reti neurali: ipotetiche forme di vita artificiale o realistici calcolatori a...Reti neurali: ipotetiche forme di vita artificiale o realistici calcolatori a...
Reti neurali: ipotetiche forme di vita artificiale o realistici calcolatori a...
 
EEG - Datamining pres. 08-10-2013
EEG - Datamining pres. 08-10-2013EEG - Datamining pres. 08-10-2013
EEG - Datamining pres. 08-10-2013
 
Reti Neurali Su Personal Computer + Fuzzy Logic
Reti Neurali Su Personal Computer + Fuzzy LogicReti Neurali Su Personal Computer + Fuzzy Logic
Reti Neurali Su Personal Computer + Fuzzy Logic
 
Le reti neurali
Le reti neuraliLe reti neurali
Le reti neurali
 
Potenziale azione fisio&riab_080310_0
Potenziale azione fisio&riab_080310_0Potenziale azione fisio&riab_080310_0
Potenziale azione fisio&riab_080310_0
 
Cervelli sotto il_microscopio n
Cervelli sotto il_microscopio nCervelli sotto il_microscopio n
Cervelli sotto il_microscopio n
 
Una retina artificiale per ridare la vista 2010-11-10
Una retina artificiale per ridare la vista   2010-11-10Una retina artificiale per ridare la vista   2010-11-10
Una retina artificiale per ridare la vista 2010-11-10
 
Cardiac Imaging Lab
Cardiac Imaging LabCardiac Imaging Lab
Cardiac Imaging Lab
 
Neural Network per la composizione musicale
Neural Network per la composizione musicaleNeural Network per la composizione musicale
Neural Network per la composizione musicale
 
Reti Neurali
Reti NeuraliReti Neurali
Reti Neurali
 
ICON activities
ICON activitiesICON activities
ICON activities
 
2 recettori sensoriali
2 recettori sensoriali2 recettori sensoriali
2 recettori sensoriali
 
Sistema nervoso
Sistema nervosoSistema nervoso
Sistema nervoso
 
Sistnervoso 1
Sistnervoso 1Sistnervoso 1
Sistnervoso 1
 
AV_slides
AV_slidesAV_slides
AV_slides
 
Tesi laurea Cristian Randieri: TECNICHE DI SOFT COMPUTING PER LA MODELLISTICA...
Tesi laurea Cristian Randieri: TECNICHE DI SOFT COMPUTING PER LA MODELLISTICA...Tesi laurea Cristian Randieri: TECNICHE DI SOFT COMPUTING PER LA MODELLISTICA...
Tesi laurea Cristian Randieri: TECNICHE DI SOFT COMPUTING PER LA MODELLISTICA...
 
Tesi Laurea Cristian Randieri
Tesi Laurea  Cristian RandieriTesi Laurea  Cristian Randieri
Tesi Laurea Cristian Randieri
 
Sistema Nervoso
Sistema NervosoSistema Nervoso
Sistema Nervoso
 

More from Rita Pizzi (6)

Computational Prediction of Binding Affinity between Psychotropic Drugs and N...
Computational Prediction of Binding Affinity between Psychotropic Drugs and N...Computational Prediction of Binding Affinity between Psychotropic Drugs and N...
Computational Prediction of Binding Affinity between Psychotropic Drugs and N...
 
Data mining Methods for the Stratification of the Arrhythmic Risk in Young an...
Data mining Methods for the Stratification of the Arrhythmic Risk in Young an...Data mining Methods for the Stratification of the Arrhythmic Risk in Young an...
Data mining Methods for the Stratification of the Arrhythmic Risk in Young an...
 
Peoplehavethepower
PeoplehavethepowerPeoplehavethepower
Peoplehavethepower
 
Exploring structural and dynamical properties of microtubules by means of A...
Exploring structural and dynamical properties  of microtubules by means of  A...Exploring structural and dynamical properties  of microtubules by means of  A...
Exploring structural and dynamical properties of microtubules by means of A...
 
An affordable Quantum Cryptography system
An affordable Quantum Cryptography systemAn affordable Quantum Cryptography system
An affordable Quantum Cryptography system
 
Biofisica dei microtubuli
Biofisica dei microtubuliBiofisica dei microtubuli
Biofisica dei microtubuli
 

The first human-electronic creature: Cremino

  • 1. LiVinG NeTWorkS LaB  Dal 2002 il Living Networks Lab (Dipartimento di Scuenze dell’Informazione - Università di Milano) lavora con culture di neuroni su MEA (array di microelettrodi)  Il gruppo è composto da fisici, elettronici, informatici e biotecnologi, con il supporto di un laboratorio biologico esterno.
  • 2. LiVinG NeTWorkS LaB  Obiettivo del gruppo è lo sviluppo della ricerca nel campo della biologia computazionale, della bionica e dell’Intelligenza Artificiale.  Il gruppo ha effettuato molti esperimenti sullo sviluppo e l’analisi di strutture organizzate di reti neurali biologiche adese a supporto elettronico.
  • 3. Ambiti di ricerca  Ricerca in campo neurofisiologico: metodo di decodifica di segnali provenienti da reti di neuroni; non esistono ad oggi interpretazioni sperimentali della semantica dei segnali gestiti da reti di cellule nervose  Ricerca in campo robotico: sistema bionico in grado di apprendere e di guidare attuatori
  • 4. Ambiti di ricerca  Ricerca nel campo delle reti neurali artificiali (ANN): implementazione di una rete software autoorganizzante in grado di fornire un output esplicito e di funzionare in tempo reale  Ricerca nel campo del supporto dell’handicap: metodo per implementare in futuro protesi direttamente impiantate nel sistema nervoso centrale per sostituire porzioni di cervello danneggiate e/o guidare arti naturali o artificiali
  • 5. Struttura del neurone  La scoperta della struttura del neurone risale al 1965 (Deiters)  Il neurone è dotato di un soma, di un assone, dei dendriti e delle sinapsi  Ramòn y Cajal evidenzia i dendriti e gli assoni con il metodo di Golgi
  • 7. La trasmissione dei segnali neurali  La trasmissione dei segnali nei neuroni avviene per via elettrochimica  L’arrivo di un segnale elettrico libera dei neurotrasmettitori che attraversano la fessura sinaptica e vengono riconvertiti in segnali elettrici
  • 9. Il potenziale d’azione (spike)  Il potenziale d’azione è il segnale che si propaga attraverso le cellule neurali lungo l’assone  Si innesca quando il potenziale di membrana si allontana dal suo valore di riposo superando una certa soglia
  • 10. Modello del potenziale d’azione A.C. Hodgkin e A.F. Huxley nel 1952 hanno aperto le porte ad una comprensione dettagliata di come i segnali elettrofisiologici siano trasmessi all'interno del sistema nervoso n indica la frazione di canali K+ (potassio) aperti, m la frazione di canali Na+ (sodio) attivati, h la frazione di canali Na+ (sodio) inattivati
  • 11. Studio della codifica dell’informazione neurale  Lo studio della codifica dell’ informazione neurale è basata sull’ implementazione di analisi statistiche  Attualmente si ritiene che la maggior partedelle informazioni rilevanti, se non tutte, siano contenute nel tasso medio di “firing” del neurone  Oltre al firing rate si considera l’Inter Spike Interval (ISI) che è l’intervallo temporale che intercorre tra due spikes successivi.
  • 12. Tecniche di misura del segnale neurale  Gran parte della moderna neurofisiologia è basata su studi sperimentali con tecnica patch-clamp  Il metodo del patch-clamp risale al 1983 (Sakmann and Neher), ed è effettuato tramite una micropipetta di vetro  Misura il potenziale a cavallo della membrana cellulare  Misura anche il potenziale all’interno della membrana cellulare se si perfora la membrana
  • 13. Interfacciamento fra neuroni e circuiti elettronici  Nei primi anni novanta fu stabilita per la prima volta un’interfaccia elettrica tra cellule nervose e microstrutture semiconduttrici, utilizzando i neuroni delle sanguisughe, uniti a transistor disposti su una piastra di silicio (Fromherz)  In seguito Fromherz ha approfondito la natura della giunzione neurone-silicio perfezionando la tecnica di interfacciamento
  • 14. Interfacciamento fra neuroni e circuiti elettronici  Nel 2000 un team di ricercatori della Northwestern University di Chicago, dell’Università dell’Illinois e dell’Università di Genova ha creato una creatura ibrida costituita da un corpo meccanico controllato dal cervello di lampreda marina  Nel 2002 Fromherz ha coltivato delle cellule nervose su elettrodi di silicio: le cellule nervose hanno formato sinapsi con gli elettrodi di silicio che rispondevano a stimoli elettrici
  • 15. Interfacciamento fra neuroni e circuiti elettronici  Nel 2003 il gruppo della Duke University è riuscito a collegare 320 microelettrodi alle cellule nel cervello di una scimmia, permettendo di tradurre direttamente i segnali elettrici in istruzioni per il computer, in grado di spostare un braccio robotico  Nel 2005 il gruppo del SISSA di Trieste ha sperimentato la possibilità di utilizzare i neuroni su MEA come “neurocomputers” in grado di filtrare delle immagini digitali
  • 16. Il nostro progetto  Strutturare reti di neuroni biologici in forma di ANN.  Ipotizzare una forma di apprendimento di questo sistema ibrido attraverso l’immissione iterata di pattern digitali secondo la tecnica ANN  Decodificare i segnali neurali di output attraverso una ANN (ITSOM) e con questi guidare gli attuatori di un robot
  • 17. Il nostro progetto  Coltivazione sul MEA delle cellule staminali che sono state fatte differenziare in neuroni umani.  Creazione della rete di Kohonen e di Hopfield su MEA  La configurazione delle reti è stata scelta dopo una simulazione software su reti artificiali di Kohonen e di Hopfield, in modo da valutare il numero minimo di neuroni necessari a classificare delle semplici immagini
  • 18. Il sistema hardware/software  Abbiamo sviluppato un sistema che interfaccia le cellule attraverso l’adesione diretta a MEA (MultiElectrode Arrays)  Un MEA è un disco di Petri di vetro in cui sono inseriti piccolissimi elettrodi. Ciascun elettrodo è connesso per mezzo di una traccia isolata ad un connettore esterno.
  • 19. Il sistema hardware/software  Il MEA permette la registrazione dell’attività delle cellule simultaneamente da diversi canali  Può registrare a lungo l’attività cellulare senza danneggiare le cellule  E’ adatto ai nostri esperimenti perché permette di studiare il comportamento dinamico di un’intera rete di neuroni
  • 20. Il sistema hardware/software  Il sistema è stato cambiato e migliorato molte volte, adottando man mano schede di acquisizioni più potenti e controller dedicati
  • 21. Il sistema hardware/software  Al momento usiamo un sistema avanzato National Instruments:  Rack esterno PXI 1031 con board DAQ ad alta velocità PXI 6251 (16 input analogici, 24 Digital I/O, 2 output analogici) , velocità di campionamento 1.25 MS/s  Labview 8.0 per la gestione della scheda e della regsitrazione dei segnali
  • 22. Il sistema hardware/software  Un controller dedicato progettato dal nostro gruppo permette di preamplificare i segnali neurali e stimolarli con pattern digitali
  • 23. I neuroni •Fino ad oggi abbiamo usato cellule staminali neurali •Le cellule vengono piastrate alla densità a 3500 celle/cm2 in un mezzo contenente i fattori di crescita EGF e FGF-2 •Le cellule sono coltivate per 15 giorni per ottenere neuroni maturi •Abbiamo coltivato le cellule direttamente su MEA ricoperto da substrato di matrigel
  • 24. Il nostro progetto  E’ stato sviluppato un programma di controllo del sistema in linguaggio Labview, utilizzato per:  il controllo del flusso degli esperimenti  la generazione dei pattern sensoriali simulati  l’acquisizione dei segnali  l’interfacciamento con la rete neurale  la generazione dei segnali di controllo degli attuatori del robot  E’ stata sviluppata una rete neurale in linguaggio C sotto forma di DLL ed è stata linkata a Labview
  • 25. Il nostro progetto  Il differenziamento avviene su MEA.  I nostri MEA Panasonic hanno 64 microelettrodi ITO (Indium Tin Oxide) – platino.  La dimensione dei microelettrodi è 20 µ, la distanza interpolare 100 µ.
  • 26. Il nostro progetto  Si sono creati dei collegamenti per ricreare la rete di Hopfield e di Kohonen  Kohonen: 8 neuroni di input, 3 neuroni dello strato competitivo  Hopfield: 8 neuroni di input/output Kohonen Hopfield
  • 27. Il nostro progetto  Il software di stimolazione crea una serie di bitmap composte da 3 x 3 bit che rappresentano o un segnale “0” o un segnale “1”  Si utilizzano gli 8 punti esterni Carattere 0 Carattere 1 11111111 00001111
  • 28. I pattern digitali  Oltre allo “0” e “1” perfetto si considerano anche zeri e uni con rumore 0 con rumore 1 con rumore
  • 29. L’apprendimento  Le stimolazioni vengono dati con impulsi di +/-35 mV a frequenze diverse  La durata del singolo impulso è stata impostata a 1.25 ms o 25 ms nei diversi esperimenti
  • 33. Analisi dei risultati  I segnali misurati sono stati successivamente elaborati utilizzando la RQA (Recurrence Quantification Analysis).  Questo strumento di analisi non lineare analizza il grado di autoorganizzazione di un segnale  Si costruisce una serie di M vettori di lunghezza N ricavati prendendo porzioni di segnale al tempo t+i (i=i+k),ottenendo una matrice di valori.  Si calcola la distanza euclidea fra i punti costituiti dalle righe della matrice, e queste vengono codificate attraverso dei colori (Recurrence Plots)
  • 34. Analisi dei risultati  Essenzialmente, il Recurrence Plot è una tabella di codici di colori, in cui i colori caldi (giallo, rosso ed arancio) possono essere associati con le piccole distanze fra i vettori, mentre i colori freddi (azzurro, nero) possono essere usati per mostrare le grandi distanze.  Per segnali random la distribuzione dei colori è completamente uniforme. Quanto più deterministico è il segnale, tanto più strutturato sarà il Recurrence Plot
  • 35. Recurrent Plots  Segnale di output prima della somministrazione dei pattern  Il grafico è costituito da colori freddi e disorganizzati che segnalano la mancanza di autoorganizzazione della serie temporale.
  • 36. Recurrent Plots  Segnale di output durante la somministrazione dei pattern  disorganizzato anche se con un inizio di autoorganizzazione
  • 37. Recurrent Plots  Segnale di output subito dopo la fine della somministrazione di un pattern sensoriale simulato  Si vedono ampie bande uniformi di colore giallo e rosso, mentre i colori freddi sono limitati agli estremi del diagramma
  • 38. Recurrent Plots  Segnale di output dopo la fine della somministrazione dei pattern sensoriali simulati  Si vedono ampie bande uniformi di colore giallo e rosso, mentre i colori freddi sono limitati agli estremi del diagramma, a dimostrazione di un altissimo grado di autoorganizzazione
  • 39. Analisi dei risultati  Sia l’analisi dei segnali elettrici che i Recurrent Plots concorrono alle stesse conclusioni :  La rete di neuroni risponde in modo simile a stimolazioni simili, risponde in modo diverso a stimolazioni diverse  I risultati raggiunti consentono di affermare che la rete di neuroni è in grado di “apprendere” stimoli sensoriali simulati autoorganizzandosi, e rispondendo adeguatamente ai pattern anche successivamente all’apprendimento
  • 40. Decodifica dei segnali neurali attraverso una rete neurale artificiale  Abbiamo quindi pensato possibile un passo successivo: offrire un’interpretazione agli output generati dai neuroni  Sviluppo di una rete autoorganizzante ITSOM (Inductive Tracing Self Organizing Map) per la decodifica dei segnali neuronali  La rete ITSOM è un’ evoluzione della SOM (Kohonen)
  • 41. La rete SOM Caratteristiche della rete SOM: • Rete ad apprendimento non supervisionato. • Composta da due strati: uno strato di input e uno strato competitivo o di Kohonen • Tutti i neuroni di input sono connessi ad ogni neurone dello stato di output. • Autoorganizzazione di insiemi di dati n-dimensionali su una mappa k-dimensionale ( k << n ) (quantizzazione vettoriale)
  • 42. La rete SOM Apprendimento e classificazione della rete di Kohonen:  Regola Winner Take All  Calcolo delle distanze tra segnali di input x e pesi delle connessioni wi.  Il neurone vincente è quello con distanza minima, premiato con una variazione dei pesi wi _ new = wi _ old + α ( x − wi _ old ) zi
  • 43. Problematiche della SOM  Per input strettamente non lineari lo strato di output non riesce a mappare correttamente l’input  Difficoltà di pervenire a convergenza certa non essendoci la possibilità di stabilire un errore della rete per ciascuna epoca  Output non è esplicitato e necessita di un algoritmo per estrarlo PUNTI DI FORZA DELLA ITSOM  Funziona in tempo reale  Non necessita di convergenza  Esplicitazione dell’output
  • 44. La rete ITSOM  Osservando la sequenza temporale dei neuroni vincenti di una SOM si nota che questa tende a ripetersi creando una serie temporale, costituente attrattori caotici, e che questi caratterizzano univocamente l’elemento di input che gli ha prodotti  La rete ITSOM memorizza la serie temporale dei neuroni vincenti e successivamente li analizza col metodo degli z- score
  • 45. Lo z-score I punteggi cumulativi relativi a ciascun input vengono normalizzati secondo la distribuzione della variabile standardizzata “z” • x = numero vittorie per il neurone x −μ z = • μ = media dei punteggi sui vari neuroni σ • σ = scarto quadratico medio
  • 46. Lo z-score Fissata una soglia τ, 0<τ<1 z = 1 per z > τ z = 0 per z ≤ τ  In questo modo ogni configurazione dei neuroni vincenti è rappresentata da un numero composto da zeri e uni  Diventa poi immediato confrontare tra loro questi numeri binari detti codice ITSOM.
  • 47. Lo z-score CODICI Z-SCORE FASE DI TRAINING FASE DI TESTING Generazione Classificazione dei segnali degli z-score in funzione degli z-score di riferimento acquisiti nella fase di training
  • 48. Lo z-score  Ad esempio nella tabella sotto sono riportati i codici generati dalla ITSOM che elabora un set di segnali emessi dalle cellule stimolate con lo stesso pattern R  La prima volta vince 10 volte il neurone 2, 5 volte il neurone 5, 6 volte il neurone 6, una volta il neurone 7 e così via  La seconda volta vince 1 volta il neurone 2, 6 volte il neurone 5, 4 volte il neurone 6 e così via
  • 49. Fasi dell’esperimento  Strutturazione di una rete di Hopfield  Generazione dei segnali e stimolazione dei neuroni biologici, registrazione della loro risposta.  Inoltro dei dati alla rete neurale artificiale ITSOM:  fase di training  fase di testing  Utilizzo dell’output della ITSOM per pilotare gli attuatori del Robot.
  • 50. I neuroni  Nell’ultimo esperimento abbiamo stimolato la rete per mezzo di pattern direzionali  I pattern sono bitmap 8x8  La durata del bit è 300 ms  Ciascuna stimolazione è seguita da una pausa di 1 s in cui una Artificial Neural Network elabora i segnali  L’impulso di stimolazione è un segnale è un segnale alternato a basso voltaggio (+/- 30 mV, 733 Hz)
  • 51. Generazione di stimoli sensoriali simulati  Pattern: 8 bit per 8 bit.  Ogni bit ha la durata di 300 ms  Ogni stimolazione della durata complessiva di 2.4s è seguita da 1s di pausa durante alla fine della la rete neurale registra gli output cellulari.  Il segnale utilizzato per stimolare le cellule è un segnale alternato a bassa tensione (+/- 30 mV) a 733 Hz.
  • 52. Generazione di stimoli sensoriali simulati Fase di Training:  Somministrazione ripetuta di stimoli sensoriali simulati ai neuroni biologici  Acquisizione (10 kHz) del segnale dei neuroni biologici  Generazione degli z-score di riferimento della rete ITSOM
  • 53. Generazione di stimoli sensoriali simulati Fase di Testing:  Somministrazione di uno stimolo sensoriale simulato prescelto ai neuroni biologici  Acquisizione (10 kHz) del segnale dai neuroni biologici  Generazione dello z-score e confronto con quelli di riferimento  Generazione dei comandi per pilotare il Robot
  • 54. I neuroni I pattern vengono somministrati alla rete biologica come treni di impulsi elettrici in modo da rappresentare i punti bianchi (bit 1) o bianchi (0) della bitmap
  • 55. I neuroni •Gli impulsi sono somministrati simultaneamente su tutti gli elettrodi in forma di pattern •Le cellule sono stimolate da impulsi elettrici con differenti voltaggi e frequenze •Le stimolazioni sono somministrate con impulsi di 35 mV •La durata di un impulso è stata posta da 1.25 ms a 25 ms in differenti esperimenti
  • 56. La creatura bionica  I neuroni sono connessi ad una Artificial Neural Network che decodifica i loro segnali dopo le stimolazioni  Il sistema ibrido (artificiale/biologico) guida un minirobot
  • 57. La creatura bionica  Dopo una sequenza di stimolazioni di training, vengono somministrati alla rete biologica dei pattern direzionali random in forma di comandi  LaITSOM decodifica i segnali neurali e il minirobot esegue i comandi
  • 58. Parametri di taratura della ITSOM
  • 59. Risultati Direzioni Input 1-400ms Totale Pattern F Pattern B Pattern L Pattern R Classificati correttamente 4 5 3 3 15 Non classificati correttamente 1 0 3 3 7 Non classificati 0 1 1 1 3 Totale dei pattern forniti 5 6 7 7 25 % Classificati 100% 83,33% 85,71% 85,71% 88% % Classificati correttamente 80% 83,33% 42,86% 42,86% 60% Percentuale di classificazione nelle quattro direzioni 100% 80% 60% Non classificati 40% Non classificati correttamente 20% Classificati correttamente 0% Pattern F Pattern B Pattern L Pattern R Totale Direzioni
  • 60. Risultati Analizzando i dati ottenuti con il metodo delle matrici di confusione possiamo calcolare la sensibilità e la specificità per valutare la bontà del nostro classificatore Per ogni matrice di confusione si possono definire quattro importanti parametri: Falso Positivo (FP): è la probabilità che un pattern sia stato erroneamente classificato come appartenente ad un altro pattern. Falso Negativo (FN): è la probabilità che uno specifico pattern sia stato erroneamente classificato non nel suo specifico pattern. Vero Positivo (VP): è la probabilità che un pattern sia stato correttamente classificato come appartenente ad uno specifico pattern. Vero Negativo (VN): è la probabilità che un pattern sia stato correttamente classificato come non appartenente ad uno specifico pattern.
  • 61. Risultati Definiamo quindi:  Sensibilità = (VP / ( VP + FN))*100  Specificità = (VN / (VN + FP))*100 Matrice di confusione pattern F F Non F F VP FN Non F FP VN
  • 62. Risultati Matrice di confusione pattern F Matrice di confusione pattern B F Non F B Non B F 4 0 B 5 6 Non F 1 17 Non B 0 11 Matrice di confusione pattern L Matrice di confusione pattern R L Non L R Non R L 3 1 R 3 0 Non L 3 15 Non R 3 16 Sensibilità = (TP / ( TP + FN))*100 Specificità = (TN / (TN + FP))*100 Pattern F Pattern B Pattern L Pattern R Totale Sensibilità 100% 45,45% 75% 100% 80,11% Specificità 94,44% 100% 83,33% 84,21% 90,50% Il modello di classificatore appare soddisfacente
  • 63. Risultati  Sviluppo di un sistema hardware/software in grado di interagire con i neuroni  Sviluppo di un sistema di apprendimento di percezioni simulate di una rete di neuroni umani, correttamente allenata.  Sviluppo di una opportuna ANN per la decodifica delle reazioni dei neuroni  Sperimentazione di un sistema robotico ibrido in grado di guidare un attuatore
  • 64. Risultati  Attualmente in neurofisiologia si analizza solo la frequenza di spike e non si arriva alla decodifica semantica dei segnali neuronali  Non esistono teorie consolidate sull’apprendimento di reti neurali biologiche  Abbiamo sviluppato un sistema innovativo di decodifica dei segnali provenienti da reti di neuroni biologici e un sistema di apprendimento basati su riscontri sperimentali  Anche il risultato sperimentale conseguito, ossia il movimento di un robot guidato dall’output di neuroni biologici in base all’apprendimento di pattern sensoriali simulati, non ha precedenti in letteratura.
  • 65. Valutazione comparativa con la letteratura  Nella letteratura esaminata in precedenza si è cercato di affidare ad un cervello già funzionante il compito di autoorganizzarsi sotto l’azione di stimoli esterni Nel nostro studio si è giunti a:  Strutturare una rete di neuroni a priori disorganizzata seguendo la struttura di una ANN  Farle apprendere stimoli sensoriali simulati  Decodificare i segnali di output della rete
  • 66. La creatura bionica Command Robot Left Left Forward Backward Backward Backward Left Left Left Left
  • 67. La creatura bionica  “Cremino” è la prima creatura ibrida dotata di un piccolo cervello umano  Scopo di questa ricerca è  Raggiungere una migliore comprensione del meccanismo neurofisiologico della memoria e dell’apprendimento  Sviluppare un’interfaccia efficiente fra neuroni ed elettronica  Compiere un progresso nello sviluppo di protesi neuroelettroniche
  • 68. Problemi da risolvere  Identificazione sicura dei neuroni che formano la rete  Persistenza in vita delle cellule  Ottimizzazione della decodifica dei segnali neurofisiologici  Crescita di complessità del sistema in modo da effettuare esperimenti a ciclo chiuso con sensori montati sul robot  Miniaturizzazione
  • 69. Sviluppi in corso  Progetto europeo FLASHPOM: progettazione ed implementazione di MEA speciali con piste litografate e strato di polimeri che guidano le cellule a depositarsi solo sopra gli elettrodi senza spostarsi  Ottimizzazione della ITSOM studio di un nuovo algoritmo di identificazione degli attrattori caotici  Realizzazione di una ITSOM integrata in HW
  • 70. Pubblicazioni  R. Pizzi, D. Rossetti, G. Cino,D. Marino, and A. Vescovi, “A CULTURED HUMAN NEURAL NETWORK DRIVES A ROBOTIC ACTUATOR", Biosystems Journal, Elsevier ed., in corso di pubbl.  R. Pizzi, “ARTIFICIAL MIND”, in: Reflexing Interfaces: the Complex Coevolution of Information Technology Ecosystems , IGI group, Hershey, PA, USA  R. Pizzi, G. Cino, F. Gelain, D. Rossetti and A. Vescovi, "LEARNING IN HUMAN NEURAL NETWORKS ON MICROELECTRODE ARRAYS", Biosystems Journal, Volume 88, Issues 1-2, March 2007, Pages 1-15, Elsevier ed.  Rita M.R. Pizzi, Danilo Rossetti, Giovanni Cino, Daniela Marino and Angelo L. Vescovi, “A BIOLOGICAL NEURAL NETWORK DRIVES A ROBOTIC ACTUATOR”, Proc. CISI06, Ancona 26–29 settembre 2006.  R. Pizzi, A. Fantasia, F. Gelain, D. Rossetti, G. Cino and A. Vescovi, “HOPFIELD AND KOHONEN MODELS: AN IN VIVO TEST”, Proc. International Meeting on Computational Intelligence Methods for Bioinformatics and Biostatistics, Perugia 15-17 settembre 2004, Kluwer ed.  R. Pizzi, D. Rossetti, G. Cino, A . Vescovi, “ANOMALOUS FINDINGS IN CULTURED NEURONS IN PRESENCE OF LASER PULSES”, in fase di revisione su: Biosystems Journal, Elsevier  R. Pizzi, D. Rossetti, G. Cino, A.L. Vescovi and W. Baer, “NEURONS REACT TO ULTRAWEAK ELECTROMAGNETIC FIELDS”, Quantum Mind 2007, Salzburg 23-26 Luglio 2007.  W. Baer, R. Pizzi, THE SEARCH FOR BIOLOGICAL QUANTUM COMPUTER ELEMENTS accettato a :ICCES'08: International Conference on Computational & Experimental Engineering and Sciences, Honololu, Hawaii, Marzo 2008

Editor's Notes

  1. Questo video mostra il processso differenziativo di NSCs.
  2. La tabella riassume le prestazioni della ITSOM successive alla taratura La casualità sarebbe rappresentata al massimo dal 25% ma va sottolineato che in realtà i neuroni hanno ben più di 4 possibilità di scelta
  3. Nelle tabelle in rosso sono indicati i falsi positivi e in blu i falsi negativi. False Positive (FP): è la probabilità che un pattern sia stato erroneamente classificato come appartenente ad un altro pattern. False Negative (FN): è la probabilità che uno specifico pattern sia stato erroneamente classificato non nel suo specifico pattern. True Positive (TP): è la probabilità che un pattern sia stato correttamente classificato come appartenente ad uno specifico pattern. True Negative (TN): è la probabilità che un pattern sia stato correttamente classificato come non appartenente ad uno specifico pattern. Grazie a questi parametri è possibile definire altri due importanti indici che indicano la bontà del classificatore: Sensitività: è la probabilità che il test sia positivo dato che un determinato pattern possiede le caratteristiche di quella classe di appartenenza. Sensitivity = (TP / ( TP + FN))*100 Specificità: è la probabilità che il test sia negativo dato che un determinato pattern non possiede le caratteristiche di quella classe di appartenenza. Specificity = (TN / (TN + FP))*100 La sensitività (accuratezza) media di astrazione del modello è dell’80,11%, mentre la specificità (precisione) è del 90,50%. Dai rispettivi valori di sensitività e specificità possiamo considerare il modello di classificatore corretto ed efficiente nella classificazione dei segnali.