Realtà Virtuali

Come funziona il corso

Occorrente per le lezioni di laboratorio:
Per il laboratorio occorre procurarsi occhiali per visione stereoscopica.Ne trovate, ad esempio, qui: http://store.scenes.it/ 
Occorre anche una macchina fotografica digitale

Bibliografia:
Introduzione: cos’è la Realtà Virtuale (Jerry Issale): http://vr.isdale.com/WhatIsVR.html

Per le tassonomie:
N.O. Bernsen, "A toolbox of output modalities", the Amodeus-II WWW-site, http://www.mrc-apu.cam.ac.uk/amodeus/, 1995.
N.O. Bernsen, "A taxonomy of input modalities" , the Amodeus-II WWW-site, http://www.mrc-apu.cam.ac.uk /amodeus/, 1996.
http://www.ds.arch.tue.nl/Research/publications/marc/marc97_TaxVrui.htm

R.S. Kalawsky, “Exploiting Virtual Reality Techniques in Education and Training: Technological Issues”. SIMA Report Series ISSN 1356-5370, 1996

Virtual Retinal Display demonstration: http://www.docstoc.com/docs/40339654/THE-VIRTUAL-RETINAL-DISPLAY

Realtà virtuale e interazione sensomotoria: http://www.fupress.net/index.php/adf/article/viewFile/2168/2089

storia della stereoscopia:
Gabriele Chiesa, "Stereofotografi italiani, Collezioni di stereofotografia", www.gri.it/storia/stereoita.htm
Macleay Museum’s Historic Photograph Collection, Australia, "Virtual Empire", www.usyd.edu.au/su/macleay/01VE/vEa1/VEa1b.html
tecniche utilizzate per cinema e tv: Dimension 3d, www.d3.com

sull'effetto Pulfrich: "Pulfrich Effect", www.siu.edu/~pulfrich/

su anaglifia ed effetto ghost: info.curtin.edu.au/~iwoodsa/

come funziona un display a cristalli liquidi autostereoscopici: http://www.crit.rai.it/eletel/2004-2/42-6.pdf

Sullo storytelling:
http://www.storycenter.org/canada/storytelling.html
http://net.educause.edu/er/erm08/erm0865_fig1.png
http://www.mendeley.com/research/disneys-aladdin-first-steps-toward-storytelling-in-virtual-reality/

La metafora del teatro di Brenda Laurel: http://www.newmediareader.com/book_samples/nmr-38-laurel.pdf

Equazione di rendering: http://en.wikipedia.org/wiki/Rendering_equation

Varie risorse (paper) su grafica 3D: http://trowley.org/

OpenGL:
http://www.realtimerendering.com/
http://www.opengl.org/wiki/Main_Page
http://it.wikipedia.org/wiki/OpenGL

Light fields and computational photography: http://www-graphics.stanford.edu/projects/lightfield/

Libri di testo:
Sherman and Craig, Understanding Virtual Reality
G. Burdea and P. Coffet, Virtual Reality Technology, Second Edition, Wiley-IEEE Press, 2003.
R. Kalawsky, The science of Virtual Reality and Virtual Environments, Addison-Wesley, 1993.
G. Kim, Designing virtual reality systems : the structured approach, Springer, 2005

Modalità d'esame

Scritto + progetto + discussione/presentazione orale del progetto

Scritto: relazione su argomento (da approfondire). Gli argomenti saranno man mano segnalati a lezione (ultima slide di ogni lezione) e vanno concordati con il docente.

Lo scopo della relazione è approfondire specifici argomenti collegati alla VR. Alla fine di ogni lezione saranno presentati degli argomenti da approfondire, tra cui scegliere. Quando si sceglie un argomento, occorre avere l’approvazione del docente. Se la scelta è approvata, il lavoro dovrà essere preparato in inglese, secondo il formato ACM (link qui ACM format), completo di reference e di lunghezza di una decina di pagine.
Gli scritti devono essere originali. Si avvisano gli studenti che i lavori saranno sottoposti al vaglio di software di plagiarism detection (software antiplagio) che controllano sia copiature da Internet, sia copiature da testi, sia da paper o simili. Se la relazione risulta copiata, anche solo in parte, non sarà ritenuta valida ai fini dell’esame. Studente avvisato mezzo salvato!

Informazioni su cosa è considerato plagio: www.plagiarism.org

Attenzione: è considerato plagio anche l'autoplagio, per cui NON riciclate lavori fatti precedentemente per altri esami

Progetto: realizzato con sw Blender. Argomento da concordare con il docente.

Orale: discussione progetto e test su argomenti visti a lezione

Materiale Lezioni

Introduzione alla VR: download slide in formato pdf

Lezione 1: download

Spazio collaborativo: click qui

Lezione 2: download

Lezione 3: download

Appendice lezione 3: download

Lezione 4: download

Lezione 5: download

Lezione 6: download

Lezione 7: download

Lezione 8: download

Lezione 9: download

Lezione 10 su BCI: download

Lezione 11: download

Materiale Laboratorio

laboratorio 1: download

laboratorio 2: download

quick start Blender: download

laboratorio Blender 1: download

laboratorio Blender 2: download

laboratorio Blender 3: download

laboratorio Blender 4-5: download

laboratorio BCI: download

laboratorio Python: download

laboratorio Blender-Python: download

Argomenti tra cui scegliere per la relazione

Sulla visione 3D
1. Gli Shutter Stereogram (tecnica "Tachistoscopica“). Cosa sono. Utilizzo nei sistemi di realtà virtuale. Un esempio.
2. La dominanza binoculare ed i suoi effetti sulla visione 3D. Sperimentazione di casi semplici.
3. X3D (il formato 3D per il web). Un esempio.
4. Mobile 3D graphics (PDAs, cell phones, etc.)

Sull’immersività
1. Audio immersivity. Stato dell’arte. Problemi aperti. Possibili sviluppi futuri.
2. Invasività dei devices per l’immersività nella VR. Stato dell’arte e problemi aperti, con particolare riferimento a ingombro, sicurezza (per la salute) e costi.
3. Sensi e immersività. Stato dell’arte, problemi aperti, nuove frontiere, con particolare riferimento a Naturalezza dell’interazione e feedback realistico
4. La VR nel cultural heritage e nelle applicazioni museali e culturali. Limiti e possibili soluzioni per l’utilizzo di massa (molti utenti contemporaneamente)
5. Possibili applicazioni della desktop VR (in particolare sistemi come Second Life, Italcity)
6. Aural display. Vantaggi e svantaggi di utilizzo. Stato dell’arte. Possibili evoluzioni.
7. Approfondimento display aptici. Vantagi e svantaggi. Possibili evoluzioni.
8. Importanza dello storytelling nella progettazione di VR. Un esempio.
9. La metafora del teatro di Laurel. Approfondimento. Un’applicazione alla VR.
10. Rendering ed equazione di rendering.
11. Kinematics modeling, Behavior modeling e Physical modeling. Un approfondimento.
12. Light field rendering. Computational imaging.
13. Haptic applications (applicazioni aptiche) nella realtà virtuale applicata al campo medico
14. VR nella riabilitazione (funzionale, cognitiva…) relativamente ai vari metodi, in particolare al metodo Perfetti.
15. Video immersivi: tecniche, tecnologie, nuove frontiere.

Applicative:
1. Il VRML: descrizione generale ed un esempio
2. Il GTK+ : descrizione generale ed un esempio
3. Pipeline grafica e grafo della scena: approfondimento. Un esempio pratico.
4. OpenGL: descrizione generale ed un esempio
5. Spherical panorama e video: descrizione, tecniche, un esempio

Argomenti tra cui scegliere per il progetto

Modalità: gruppi di tre persone. Dovrà essere chiaro l’apporto al progetto di ciascun componente del gruppo. Ogni progetto dovrà essere accompagnato da una relazione che descriva:
• l’idea
• il tipo di progettazione seguita
• l’obiettivo dell’applicazione (es. suscitare emozioni, oppure obiettivo didattico, o entertainment, ecc.)
• gli aspetti tecnici e implementativi

Argomenti possibili per il progetto:
1. Prendendo spunto da http://vimeo.com/4238052 e da http://www.wikio.it/video/the-600-years-4303123 (e non da http://www.prestigeventi.com/spettacoli-animazione-artisti/grandi-proiezioni-su-monumento.html ) creare un movie animato come esempio di applicazione utilizzando Blender , immaginando di dover creare una proiezione su un monumento milanese (es. Duomo o Castello Sforzesco o altro a scelta) per ottenere la ricostruzione di un evento storico.
Altri esempi, suggerimenti e indicazioni:
http://www.projectionsonbuildings.com/
http://www.proietta.it/index.asp?f=3D_mapping
http://socialtimes.com/3d-projection-mapping-taking-the-advertising-world-by-storm_b14971

2. Prendendo spunto da http://vimeo.com/4238052 e da http://www.wikio.it/video/the-600-years-4303123 (e non da http://www.prestigeventi.com/spettacoli-animazione-artisti/grandi-proiezioni-su-monumento.html ) creare un movie animato come esempio di applicazione utilizzando Blender , immaginando di dover creare una proiezione in un’area interna, con lo scopo di creare un’illusione immersiva. Il tema è a scelta.
Altri esempi, suggerimenti e indicazioni:
http://www.projectionsonbuildings.com/
http://www.proietta.it/index.asp?f=3D_mapping
http://socialtimes.com/3d-projection-mapping-taking-the-advertising-world-by-storm_b14971

3. Creare, utilizzando Blender, un’applicazione didattica interattiva. Interfacciare i comandi con wiimote.

4. Creare, utilizzando Blender, un gioco interattivo 3D. Interfacciare i comandi con wiimote.

5. Creare, utilizzando Blender, un ambiente storico/culturale. Interfacciare i comandi con wiimote.

6. Utilizzare Blender per creare un’ambiente che produca stimoli di colore, forma, profondità, con grado di immersione diverso e personalizzabile, in modo da fungere da ambiente di test per la rilevazione delle conseguenti onde cerebrali

7. Creare, utilizzando Blender, un’applicazione didattica interattiva. Interfacciare i comandi con bci emotiv.

8. Creare, utilizzando Blender, un gioco interattivo 3D. Interfacciare i comandi con bci emotiv.

9. Creare, utilizzando Blender, un ambiente virtuale navigabile di tema storico/culturale. Interfacciare i comandi di navigazione con bci emotiv. In alternativa rilevare lo stato d’animo, sempre tramite bci emotiv e adeguare l’ambiente di conseguenza (per contrasto o per similitudine)

10. Utilizzando Blender, creare un esempio di realtà aumentata, applicata al campo del cultural heritage, museale o education.

11. Creare un ambiente VR 3D di stimolo per la cura neurocognitiva dell’emiplegia sinistra (http://neuroplanet.blogspot.com/2009/01/emiplegia-sinistra.html). Nello specifico creare con Blender degli ambienti che stimolino particolarmente la risposta a stimoli visivi presenti nella parte sinistra dello schermo (utilizzare fattori di constancy di colore e/o di movimento e/o spaziali e/o di profondità e stacco della figura dallo sfondo, con complessità crescente)

12. Creare un ambiente di VR ad immersione mentale, utilizzando BCI emotiv epoc, eventualmente (ma non obbligatoriamente) con l’ausilio visivo, di stimolo per la cura neurocognitiva dell’emiplegia sinistra (http://neuroplanet.blogspot.com/2009/01/emiplegia-sinistra.html). Nello specifico creare strumenti per ottenere la risposta a stimoli visivi presenti nella parte sinistra dello schermo (utilizzare azioni da compiere con l’ausilio di comandi mentali, con complessità crescente)

Alti spunti:
http://augmentedengineering.wordpress.com/

Concorsi, contest, premi vari

• YOU NAME IT! Un nuovo nome per il prossimo Programma di Ricerca ed Innovazione dell'EU. Scadenza 10 Maggio. Al vincitore una visita in occasione dell'European Innovation Convention e la soddisfazione del caso. Per maggiori informazioni: CLICK QUI
• Altro contest, stavolta targato IBM. Idee per nuovi business? The Open Innovation Challenge può interessarvi. La scadenza è il 18 aprile. Qui tutte le informazioni: VAI AL LINK
  

HALL OF FAME: lavori ed esperimenti fatti in laboratorio

A. Camillo: prove stereogrammi e balloon in Blender

A. Damiano: prova stereogramma

A. Buzzella: omino pan di zenzero filmato YouTube (click qui)

Esperimento in laboratorio: BCI e speller:

Filmato: coming soon...