Realtà Virtuali

 

Prof. R. Folgieri, aa 2011-2012

email raffaella.folgieri@unimi.it

Avvisi
Come funziona il corso
Modalità d'esame
Materiale lezioni
Materiale laboratorio



Avvisi

Registrazione voti (e presentazione progetto, per chi non l'avesse ancora fatto): giorno 29 febbraio, ore 13 ufficio 22, secondo piano DEAS (via Conservatorio 7)

più sotto trovate link utili per LabView

 

Giorno 7 dicembre l'Università è chiusa, per cui non ci sarà lezione. Non ci sarà lezione neanche il 21 dicembre.

La lezione di domani, 16 Novembre, non ci sarà.

Il 2 novembre ci sarà lezione regolarmente


Come funziona il corso

Non c’è un libro di testo. Viene fornita un’ampia bibliografia (vedere più sotto) dalla quale attingere, ma occorre andare oltre.
Non ci si deve fermare alle slide, ma vanno condotti approfondimenti. Tutto quello che serve sapere si trova on line o su Internet.

Occorrente per le lezioni di laboratorio:
Per il laboratorio occorre procurarsi occhiali per visione stereoscopica.Ne trovate, ad esempio, qui: http://store.scenes.it/ 
Occorre anche una macchina fotografica digitale

Bibliografia:
Introduzione: cos’è la Realtà Virtuale (Jerry Issale): http://vr.isdale.com/WhatIsVR.html

Per le tassonomie:
N.O. Bernsen, "A toolbox of output modalities", the Amodeus-II WWW-site, http://www.mrc-apu.cam.ac.uk/amodeus/, 1995.
N.O. Bernsen, "A taxonomy of input modalities" , the Amodeus-II WWW-site, http://www.mrc-apu.cam.ac.uk /amodeus/, 1996.
http://www.ds.arch.tue.nl/Research/publications/marc/marc97_TaxVrui.htm

R.S. Kalawsky, “Exploiting Virtual Reality Techniques in Education and Training: Technological Issues”. SIMA Report Series ISSN 1356-5370, 1996

Virtual Retinal Display demonstration: http://www.docstoc.com/docs/40339654/THE-VIRTUAL-RETINAL-DISPLAY

Realtà virtuale e interazione sensomotoria: http://www.fupress.net/index.php/adf/article/viewFile/2168/2089

storia della stereoscopia:
Gabriele Chiesa, "Stereofotografi italiani, Collezioni di stereofotografia", www.gri.it/storia/stereoita.htm
Macleay Museum’s Historic Photograph Collection, Australia, "Virtual Empire", www.usyd.edu.au/su/macleay/01VE/vEa1/VEa1b.html
tecniche utilizzate per cinema e tv: Dimension 3d, www.d3.com

sull'effetto Pulfrich: "Pulfrich Effect", www.siu.edu/~pulfrich/

su anaglifia ed effetto ghost: info.curtin.edu.au/~iwoodsa/

come funziona un display a cristalli liquidi autostereoscopici: http://www.crit.rai.it/eletel/2004-2/42-6.pdf

Sullo storytelling:
http://www.storycenter.org/canada/storytelling.html
http://net.educause.edu/er/erm08/erm0865_fig1.png
http://www.mendeley.com/research/disneys-aladdin-first-steps-toward-storytelling-in-virtual-reality/

La metafora del teatro di Brenda Laurel: http://www.newmediareader.com/book_samples/nmr-38-laurel.pdf

Equazione di rendering: http://en.wikipedia.org/wiki/Rendering_equation

Varie risorse (paper) su grafica 3D: http://trowley.org/

OpenGL:
http://www.realtimerendering.com/
http://www.opengl.org/wiki/Main_Page
http://it.wikipedia.org/wiki/OpenGL

Light fields and computational photography: http://www-graphics.stanford.edu/projects/lightfield/

Libri di testo:
Sherman and Craig, Understanding Virtual Reality
G. Burdea and P. Coffet, Virtual Reality Technology, Second Edition, Wiley-IEEE Press, 2003.
R. Kalawsky, The science of Virtual Reality and Virtual Environments, Addison-Wesley, 1993.
G. Kim, Designing virtual reality systems : the structured approach, Springer, 2005


Modalità d'esame

Scritto + progetto + discussione/presentazione orale del progetto

Scritto: relazione su argomento (da approfondire). Gli argomenti saranno man mano segnalati a lezione (ultima slide di ogni lezione) e vanno concordati con il docente.

Lo scopo della relazione è approfondire specifici argomenti collegati alla VR. Alla fine di ogni lezione saranno presentati degli argomenti da approfondire, tra cui scegliere. Quando si sceglie un argomento, occorre avere l’approvazione del docente. Se la scelta è approvata, il lavoro dovrà essere preparato in inglese, secondo il formato ACM (link qui ACM format), completo di reference e di lunghezza di una decina di pagine.
Gli scritti devono essere originali. Si avvisano gli studenti che i lavori saranno sottoposti al vaglio di software di plagiarism detection (software antiplagio) che controllano sia copiature da Internet, sia copiature da testi, sia da paper o simili. Se la relazione risulta copiata, anche solo in parte, non sarà ritenuta valida ai fini dell’esame. Studente avvisato mezzo salvato!

Informazioni su cosa è considerato plagio: www.plagiarism.org

Attenzione: è considerato plagio anche l'autoplagio, per cui NON riciclate lavori fatti precedentemente per altri esami

Progetto: realizzato con sw Blender. Argomento da concordare con il docente.

Orale: discussione progetto e test su argomenti visti a lezione


Materiale Lezioni

Introduzione alla VR: download slide in formato pdf

Lezione 1: download

Lezione 2: download

Lezione 3: download

Lezione 4: download

Lezione 5: download

Lezione 6: download

La lezione di domani, 16 Novembre, non ci sarà.

Lezione 7: download

Giorno 7 dicembre l'Universitò è chiusa, per cui non ci sarà lezione. Non ci sarà lezione neanche il 21 dicembre.

Lezione 8: download

Lezione 9: download

Lezione 10: download

Lezione 11: download

L'ultima lezione sarà dedicata alla presentazione dei progetti (per chi li ha completati).

LINK UTILI LABVIEW:

Download LabVIEW
https://lumen.ni.com/nicif/us/evallv/content.xhtml

Richiesta Serial Number
https://docs.google.com/spreadsheet/viewform?formkey=dHZsUjNEUEJLTUR4blVULUZqakxTaXc6MA

Lezioni di LabVIEW online, c'è tutto quello che abbiamo fatto, anzi qualcosa di più. Teoria ed esercizi
http://zone.ni.com/devzone/cda/tut/p/id/7466

Tutorial per l'uso di myDAQ (valido solo per la parte di acquisizione e generazione) ad altissimo livello con gli Express VI
http://zone.ni.com/devzone/cda/tut/p/id/2744


Materiale Laboratorio

laboratorio 1: download

laboratorio 2: download

laboratorio 3: download

laboratorio 4: esercitazione con BCI device

laboratorio 5: download

laboratorio 6: download

La lezione di domani, 16 Novembre, non ci sarà.

laboratorio 7: download

Giorno 7 dicembre l'Universitò è chiusa, per cui non ci sarà lezione. Non ci sarà lezione neanche il 21 dicembre.

laboratorio 8: download

mancano 3 lezioni alla fine del corso... a che punto è il progetto? :)

laboratorio 9: download

L'ultima lezione sarà dedicata alla presentazione dei progetti.

 


Argomenti tra cui scegliere per la relazione

Sulla visione 3D
1. Gli Shutter Stereogram (tecnica "Tachistoscopica“). Cosa sono. Utilizzo nei sistemi di realtà virtuale. Un esempio.
2. La dominanza binoculare ed i suoi effetti sulla visione 3D. Sperimentazione di casi semplici.
3. X3D (il formato 3D per il web). Un esempio.
4. Mobile 3D graphics (PDAs, cell phones, etc.)

Sull’immersività
1. Audio immersivity. Stato dell’arte. Problemi aperti. Possibili sviluppi futuri.
2. Invasività dei devices per l’immersività nella VR. Stato dell’arte e problemi aperti, con particolare riferimento a ingombro, sicurezza (per la salute) e costi.
3. Sensi e immersività. Stato dell’arte, problemi aperti, nuove frontiere, con particolare riferimento a Naturalezza dell’interazione e feedback realistico
4. La VR nel cultural heritage e nelle applicazioni museali e culturali. Limiti e possibili soluzioni per l’utilizzo di massa (molti utenti contemporaneamente)
5. Possibili applicazioni della desktop VR (in particolare sistemi come Second Life, Italcity)
6. Aural display. Vantaggi e svantaggi di utilizzo. Stato dell’arte. Possibili evoluzioni.
7. Approfondimento display aptici. Vantagi e svantaggi. Possibili evoluzioni.
8. Importanza dello storytelling nella progettazione di VR. Un esempio.
9. La metafora del teatro di Laurel. Approfondimento. Un’applicazione alla VR.
10. Rendering ed equazione di rendering.
11. Kinematics modeling, Behavior modeling e Physical modeling. Un approfondimento.
12. Light field rendering. Computational imaging.
13. Haptic applications (applicazioni aptiche) nella realtà virtuale applicata al campo medico
14. VR nella riabilitazione (funzionale, cognitiva…) relativamente ai vari metodi, in particolare al metodo Perfetti.
15. Video immersivi: tecniche, tecnologie, nuove frontiere.

Applicative:
1. Il VRML: descrizione generale ed un esempio
2. Il GTK+ : descrizione generale ed un esempio
3. Pipeline grafica e grafo della scena: approfondimento. Un esempio pratico.
4. OpenGL: descrizione generale ed un esempio
5. Spherical panorama e video: descrizione, tecniche, un esempio


Argomenti tra cui scegliere per il progetto


Modalità: gruppi di tre persone. Dovrà essere chiaro l’apporto al progetto di ciascun componente del gruppo. Ogni progetto dovrà essere accompagnato da una relazione che descriva:
• l’idea
• il tipo di progettazione seguita
• l’obiettivo dell’applicazione (es. suscitare emozioni, oppure obiettivo didattico, o entertainment, ecc.)
• gli aspetti tecnici e implementativi

Argomenti possibili per il progetto:
1. Prendendo spunto da http://vimeo.com/4238052 e da http://www.wikio.it/video/the-600-years-4303123 (e non da http://www.prestigeventi.com/spettacoli-animazione-artisti/grandi-proiezioni-su-monumento.html ) creare un movie animato come esempio di applicazione utilizzando Blender , immaginando di dover creare una proiezione su un monumento milanese (es. Duomo o Castello Sforzesco o altro a scelta) per ottenere la ricostruzione di un evento storico.
Altri esempi, suggerimenti e indicazioni:
http://www.projectionsonbuildings.com/
http://www.proietta.it/index.asp?f=3D_mapping
http://socialtimes.com/3d-projection-mapping-taking-the-advertising-world-by-storm_b14971

2. Prendendo spunto da http://vimeo.com/4238052 e da http://www.wikio.it/video/the-600-years-4303123 (e non da http://www.prestigeventi.com/spettacoli-animazione-artisti/grandi-proiezioni-su-monumento.html ) creare un movie animato come esempio di applicazione utilizzando Blender , immaginando di dover creare una proiezione in un’area interna, con lo scopo di creare un’illusione immersiva. Il tema è a scelta.
Altri esempi, suggerimenti e indicazioni:
http://www.projectionsonbuildings.com/
http://www.proietta.it/index.asp?f=3D_mapping
http://socialtimes.com/3d-projection-mapping-taking-the-advertising-world-by-storm_b14971

3. Creare, utilizzando Blender, un’applicazione didattica interattiva. Interfacciare i comandi con wiimote.

4. Creare, utilizzando Blender, un gioco interattivo 3D. Interfacciare i comandi con wiimote.

5. Creare, utilizzando Blender, un ambiente storico/culturale. Interfacciare i comandi con wiimote.

6. Utilizzare Blender per creare un’ambiente che produca stimoli di colore, forma, profondità, con grado di immersione diverso e personalizzabile, in modo da fungere da ambiente di test per la rilevazione delle conseguenti onde cerebrali

7. Creare, utilizzando Blender, un’applicazione didattica interattiva. Interfacciare i comandi con bci emotiv.

8. Creare, utilizzando Blender, un gioco interattivo 3D. Interfacciare i comandi con bci emotiv.

9. Creare, utilizzando Blender, un ambiente virtuale navigabile di tema storico/culturale. Interfacciare i comandi di navigazione con bci emotiv. In alternativa rilevare lo stato d’animo, sempre tramite bci emotiv e adeguare l’ambiente di conseguenza (per contrasto o per similitudine)

10. Utilizzando Blender, creare un esempio di realtà aumentata, applicata al campo del cultural heritage, museale o education.

11. Creare un ambiente VR 3D di stimolo per la cura neurocognitiva dell’emiplegia sinistra (http://neuroplanet.blogspot.com/2009/01/emiplegia-sinistra.html). Nello specifico creare con Blender degli ambienti che stimolino particolarmente la risposta a stimoli visivi presenti nella parte sinistra dello schermo (utilizzare fattori di constancy di colore e/o di movimento e/o spaziali e/o di profondità e stacco della figura dallo sfondo, con complessità crescente)

12. Creare un ambiente di VR ad immersione mentale, utilizzando BCI emotiv epoc, eventualmente (ma non obbligatoriamente) con l’ausilio visivo, di stimolo per la cura neurocognitiva dell’emiplegia sinistra (http://neuroplanet.blogspot.com/2009/01/emiplegia-sinistra.html). Nello specifico creare strumenti per ottenere la risposta a stimoli visivi presenti nella parte sinistra dello schermo (utilizzare azioni da compiere con l’ausilio di comandi mentali, con complessità crescente)

Alti spunti:

http://augmentedengineering.wordpress.com/




Concorsi, contest, premi vari


Qui troverete segnalazioni e opportunità per tecnologi creativi :)