Implementazione hardware di reti neurali spiking bio-realistiche basate su memristore
Nella realizzazione di sistemi VLSI atti a mimare le funzionalità delle reti neurali biologiche l'obiettivo principale è quello di ottenere buone performance nei seguenti aspetti:
1. bio-plausibilità del comportamento del neurone;
2. compattezza e versatilità delle sinapsi.
In relazione al primo punto, la letteratura recente mostra che il meccanismo di “spike latency” ha un ruolo chiave nella rappresentazione della informazione a livello neuronale. Per questo motivo, in lavori precedenti il gruppo si è focalizzato su un modello di neurone che tenesse conto di questa caratteristica, ed oggi presenta un prototipo PSpice per l’implementazione analogica di tale modello. Tale implementazione fa uso di una tecnologia CMOS 90nm 6 Metal Copper, low-K. Il circuito risultante mostra una ottima corrispondenza con il relativo modello matematico, ed è al contempo caratterizzato da una bassa complessità.
In relazione al secondo punto, la rete implementa sinapsi basate su memristore, caratterizzate da un originale circuito di pilotaggio che permette la modulazione della conduttanza in base alla attività della rete, che ha la caratteristica di non essere soggetto a vincoli sulle forme d'onda che transitano sulla rete (ad esempio, spike, burst, etc.). Tale sinapsi può quindi essere guidata da stimoli di forma arbitraria, e mimare il meccanismo della spike timing dependent plasticity (STDP).
Per questa area di ricerca il gruppo ELTLAB collabora con il gruppo DSPVLSI dello stesso Dipartimento.
LISTA DELLE PUBBLICAZIONI
CONFERENCE PAPERS
Resistive Switching Behaviour In ZnO-rGO composite thin film
Gian Carlo Cardarilli, Marco Re, Mario Salerno, Gianluca Susi, Alessandro Cristini, Simone Acciarito, Luca Di Nunzio, Rocco Fazzolari
2016 Technical Report ET2016. DOI:10.13140/RG.2.2.14030.87364
Hardware implementation of a spiking neuron model based on memristor
Simone Acciarito, Gian Carlo Cardarilli, Alessandro Cristini, Luca Di Nunzio, Rocco Fazzolari, Gaurav Mani Khanal, Marco Re, Gianluca Susi
2016 Technical Report GE2016.
Ausilio per la navigazione autonoma di non vedenti
Progetto AudiNect: il progetto si propone di sopperire ai punti critici dei modelli classici di navigazione per non vedenti (tecniche sonar, infrarosso, GPS, RFID, ecc), andando a sfruttare il senso dell'udito, notevolmente sviluppato nei soggetti con disabilità visiva. L'AudiNect è una sorta di "sonar portatile", che tramite feedback acustico permette al soggetto di individuare la presenza di eventuali ostacoli e quindi la "via libera" più vicina verso cui potersi muovere.
In particolare, i dati di profondità vengono acquisiti dal Kinect, sotto forma di Depth Map, ed elaborati attraverso algoritmi che li mappano in opportuni comandi acustici (Fig. 1), forniti all'utente per la discriminazione degli spazi liberi, e facilmente interpretabili. Il software per il funzionamento dell'AudiNect è realizzato in Processing e i feedback acustici elaborati in PureData. Processing è in grado di interagire con il Kinect, tramite la libreria Simple OpenNI e di comunicare con PureData, mediante la libreria OSCp5.
FIGURA 1. Esempio di segnali acustici utilizzati per il training del soggetto al fine di testare l'AudiNect.
Progetto BrailNect: il Brailnect è volto ad integrare l'AudiNect (Fig. 2) per una esperienza di navigazione migliore. Il sistema preleva informazioni in 3D sull'ambiente antistante attraverso il Kinect e il feedback viene fornito, in forma tattile tramite dispositivo elettromeccanico (display aptico).
FIGURA 2. Schema completo AudiNect - BrailNect.
LISTA DELLE PUBBLICAZIONI
JOURNALS
AudiNect: An Aid for the Autonomous Navigation of Visually Impaired People, Based On Virtual Interface 
Link
Mario Salerno, Marco Re, Alessandro Cristini, Gianluca Susi, Marco Bertola, Emiliano Daddario, Francesca Capobianco
2013 Int. J. of Human Computer Interaction (IJHCI), Vol. 4, Issue 1, Feb. 2013, pp. 25-33. ISSN:2180-1347.
CONFERENCE PAPERS
A low-cost Indoor and Outdoor terrestrial autonomous navigation model
Gianluca Susi, Alessandro Cristini, Mario Salerno, Emiliano Daddario
2014 IEEE 22nd Telecommunications Forum TELFOR, 25-27 Nov 2014, Belgrade, Serbia, pp. 675-678. ISBN:978-1-4799-6190-0. DOI:10.1109/TELFOR.2014.7034499. IEEE CONFERENCE PUBLICATIONS.
Ricerca
L'attività di ricerca del gruppo è suddivisa nei seguenti tre campi:
- Reti neurali spiking asincrone
- Hardware neuromorfo basato su memristore
- Ausilio per la navigazione autonoma di non vedenti
- Ingegneria del suono
Risultati di rilievo:
- Best Paper Award @ 3rd International Conference on Advances in Computer Engineering (ACEEE 2012) - IDES;
- Premio Miglior Poster @ 29° Riunione Annuale dei Ricercatori di Elettrotecnica (ET2013).
Ingegneria del Suono
Il gruppo svolge ricerca nell'ambito dell'ingegneria del suono da parecchi anni e coordina, insieme al gruppo DSPVLSI della stessa Università, il "Master in Ingegneria del Suono e dello Spettacolo" attivo da più di 10 anni presso il dipartimento di Ingegneria Elettronica, (ex "Master in Ingegneria del Suono").
Reti neurali spiking asincrone
Questa area di ricerca riguarda lo sviluppo di un simulatore tempo-continuo di reti neurali spiking, semplice ed efficiente, che tiene conto dei parametri neuronali biologici di base, in cui il tempo di spike latency (Fig. 1) rappresenta il principale effetto per la generazione degli spike. È stata operata un'accurata analisi preliminare della spike latency, applicando i classici metodi di modellazione per singoli neuroni, tramite simulazioni sul modello biologico più accurato: il modello Hodgkin-Huxley.
FIGURA 1. In rosso è indicato l'andamento della spike latency in funzione del potenziale di membrana Vm (scala in rosso), o alternativamente in funzione della corrente esterna Iext. Tale andamento è stato ottenuto tramite simulazioni in ambiente NEURON. La curva blue tratteggiata indica l'andamento di un'iperbole equilatera attraverso la quale abbiamo approssimato il comportamento della spike latency. Inoltre, viene riportato in blue l'asse normalizzato S, indicante lo stato del neurone. Si noti che al di sotto di Sth (cioè della spiking threshold) nessuno spike può essere generato (area evanescente in blu).
Sulla base della teoria neuronale classica, sono stati definiti gli altri parametri fondamentali del sistema, come il decadimento sottosoglia, il periodo refrattario, il comportamento inibitorio, la plasticità sinaptica, ecc.
La natura continua della latenza richiede la necessità di effettuare simulazioni di tipo tempo-continuo e quindi l'implementazione di metodi di calcolo clock-based non risulta appropriata. Inoltre, a causa dell'elevata sensibilità intrinseca dell'intero sistema per eventi vicini e alle elevate dinamiche temporali dell'attività spiking, è indispensabile un metodo di simulazione event-driven. Infatti, per il modello di neurone proposto, l'alta precisione e l'efficienza di calcolo sono requisiti fondamentali.
È quindi in continuo perfezionamento l'implementazione e lo studio di una Rete Neurale Spiking di tipo asincrono, tale da permettere la simulazione di reti dell'ordine di 105 neuroni in tempi molto brevi, attualmente in ambiente MATLAB, ma aperta alla implementazione hardware. È anche possibile applicare algoritmi di plasticità per emulare interessanti fenomeni globali, come la "Neuronal Group Selection" (Fig. 2) o la "jitter-reduction".
FIGURA 2. Formazione di gruppi neuronali in seguito a stimolazione tramite sequenze di spike pseudo-random.
Tali sistemi di processamento parallelo possono essere usati per problematiche trattate con reti neurali classiche (ad esempio, pattern recognition), e non solo. Altre applicazioni riguardano lo studio di circuiti neurali biologici e la esplorazione di dinamiche caotiche nei sistemi nervosi.
Infine, questo modello permette anche di sintetizzare gruppi neurali capaci di far emergere rilevanti dinamiche globali.
AWARDS
Premio come Miglior Poster, ricevuto alla 29° riunione dei Ricercatori di Elettrotecnica (Università di Padova, IT), per il poster "Continuous-time Spiking Neural Networks: general paradigm and event-driven simulation". (M. Salerno, G. Susi, A. Cristini, M. Re, G.C. Cardarilli - Giugno 2013).
Best Paper Category, presso la conferenza internazionale "ACEEE, ACE 2012" (Amsterdam, NL) per l'articolo "Spiking neural networks as analog dynamical systems: basic paradigm and simple applications" (M. Salerno, G. Susi, A. D’Annessa, A. Cristini, Y. Sanfelice - Giugno 2012).
LISTA DELLE PUBBLICAZIONI
JOURNALS
Path multimodality in a Feedforward SNN module, using LIF with Latency model
Spiking Neural Networks As Continuous-Time Dynamical Systems: Fundamentals, Elementary Structures And Simple Applications
Mario Salerno, Gianluca Susi, Alessandro Cristini, Yari Sanfelice, Andrea D’Annessa
2013 ACEEE Int. J. on Information Technology, Vol. 3, No. 1, March 2013, pp. 80-89. ISSN:2158-0138, DOI:01.IJIT.3.1.1129
CONFERENCE PAPERS
Spiking Neural Networks based on LIF with Latency: Simulation and Synchronization Effects
Gian Carlo Cardarilli, Alessandro Cristini, Luca Di Nunzio, Marco Re, Mario Salerno, Gianluca Susi
2013 IEEE Asilomar Conference on Signals, Systems, and Computers, 3-6 Nov. 2013, Pacific Grove, CA, USA, pp. 1838-1842. ISBN:978-1-4799-2388-5, DOI:10.1109/ACSSC.2013.6810620. IEEE CONFERENCE PUBLICATIONS.
Spiking neural networks as analog dynamical systems: basic paradigm and simple applications
Mario Salerno, Gianluca Susi, Andrea D’Annessa, Alessandro Cristini, Yari Sanfelice
2012 Proc. of the 3rd Int. Conf. on advances in Computer Engineering, 2012, pp. 17-23. Publisher: ACEEE. ISBN:978-90-819067-8-4, DOI:02.ACE.2012.03.10
Accurate latency characterization for very large asynchronous spiking neural networks
Mario Salerno, Gianluca Susi, Alessandro Cristini
2011 Proc. of the 4th Int. Conf. on Bioinformatics Models, Methods and Algorithms, 2011, pp. 116-124. Publisher: SciTePress. ISBN:978-989-8425-36-2. DOI:10.5220/0003134601160124
BOOK CHAPTERS
A Continuous-Time Spiking Neural Network Paradigm
Alessandro Cristini, Mario Salerno, Gianluca Susi
2015 Advances in Neural Networks: Computational and Theoretical Issues, Smart Innovation, Systems and Technologies, Vol. 37, pp. 49-60, 2015. ISBN:978-3-319-18163-9, ISSN:2190-3018, DOI:10.1007/978-3-319-18164-6_6
POSTERS
Spiking neural network-based character recognition exploiting different coding schemes
Event-driven simulation of continuous-time neural networks
Mario Salerno, Gianluca Susi, Alessandro Cristini, Marco Re, Gian Carlo Cardarilli
2014 30th Riunione Annuale dei Ricercatori di Elettrotecnica (ET2014), Sorrento, IT. DOI:10.13140/2.1.4182.3045
Continuous-time Spiking Neural Networks: general paradigm and event-driven simulation
Mario Salerno, Gianluca Susi, Alessandro Cristini, Marco Re, Gian Carlo Cardarilli
2013 29th Riunione Annuale dei Ricercatori di Elettrotecnica (ET2013), Padova, IT. DOI:10.13140/2.1.2144.5443
TECHNICAL REPORTS
A simple approach for different-scale CTNN simulations
Mario Salerno, Gianluca Susi, Alessandro Cristini, Gian Carlo Cardarilli, Marco Re
Continuous-Time Neural Networks: paradigm and applications