Wii Balance Board

Entscheidung fürs balance board und Zielsetzung
Wir haben uns in der Lehrveranstaltung „Interfacegetaltung“ für eine Applikation für das Wii balance board entschieden, da wir etwas für uns völlig neues austesten wollten. Zu Beginn unseres Projektes und der Veranstaltung „Interfacegestaltung“ bei Herrn Professor Ralph Tille hatten wir keinerlei Vorwissen über die Funktionsweise des balance boards. Also überlegten wir uns zu Beginn erst einmal, wie eine neuartige, interessante Anwendung für das balance board aussehen könnte. Schnell kam uns die Idee eines Weltraumspiels für Kinder, in welchem diese spielerisch die Planeten und das Sonnensystem kennen lernen sollten. Doch wir entschieden uns gegen diese Anwendung, da es schon sehr viele Spiele fürs balance board gibt. Wir wollten etwas Neues schaffen, was ein Stück weit sinnvoll sein sollte und auch noch Spaß machen kann. Schließlich entschieden wir uns für eine Anwendung, mit welcher man eine Diashow steuern kann und seine Urlaubsfotos verwalten kann. Ursprünglich war es unser Ziel, mit unserer Anwendung einzelne Bilder (evtl.  unscharfe Bilder, rote Augen etc.) löschen zu können und die übrigen in einer Diashow anzusehen und anschließend auszudrucken.

Es waren Effekte geplant, wie sie z.B. beim iPhone zu sehen sind, falls man Bilder anschaut: Stichwort „coverflow“. Außerdem sollten je nach angezeigten Bildern Musik in passender Stimmung im Hintergrund laufen und der Nutzer sollte sich die Anwendung bezüglich der Darstellung der Farbe selbst auswählen können. Im Verlauf der Umsetzung wurde unser Konzept aber immer weiter geschmälert, da der Zeitfaktor und technische Probleme das realisieren unseres Vorhabens einschränkten.

Umsetzung
Zu Beginn recherchierten wir wie das balance board mit dem Computer verbunden werden muss. Da nicht sehr viel Informationen dazu im Netz zu finden sind, dauerte das eine Weile. Dann gab es auch noch einige Probleme mit der Bluetooth Verbindung zwischen Computer und balance baord, doch schlussendlich fanden wir einen PC an der HdM, auf welchem die Verbindung konstant gehalten wurde und auch der benötigte WiiFlash Server keine Probleme machte.  Zudem lief auf diesem Rechner auch die Flash CS3 Version einwandfrei. Da die Zeit nun schon relativ knapp wurde begannen wir mit der Programmierung. Diese schrieben wir erst für die vier Pfeiltasten der Tastatur, da eine direkte Programmierung fürs balance baord zu schwer geworden wäre. Außerdem erhielten wir mit Hilfe einiger Fachbücher und DVDs einen guten Einstieg in ActionScript 3.0.

Die Programmierung für die Tastatur war dann auch relativ schnell abgeschlossen und wir machten uns an die eigentliche Aufgabe: die Umsetzung auf das balance board. Hier sind wir sehr schnell auf ein Problem gestoßen, mit welchem wir gar nicht rechneten. Der Auswahlrahmen um die Ordner/Bilder auszuwählen bewegte sich sehr willkürlich und sprunghaft. Wir mussten eine Art „Schwellen“ einbauen, damit der Rahmen nicht vom ersten zum letzten Ordner springt und die dazwischen liegenden auslässt. Dies stellte sich als schwerer als gedacht dar. Nach diversen Versuchen mit Timer und verschachtelten if-Anweisungen kamen wir endlich auf eine gute Lösung. Hauptproblem war, dass das Programm zu jeder Zeit prüft, welche Sensoren belastet werden und wie stark. Da alle Funktionen abhängig von den Sensorbelastungen sind, mussten die Funktion natürlich in Abhängigkeit dieser Werte geschrieben sein. So wurden jedoch die Funktionen ständig neu aufgerufen.

Als dieses Problem gelöst war stießen wir auf das nächste große Problem: das Verknüpfen der exe Dateien. Normalerweise macht das keine Probleme, doch sobald wir 2 Dateien miteinander verknüpften, hängte sich der PC auf. Wir versuchten erst das Problem zu lösen, indem wir eine Hauptdatei anlegten von welcher aus wir jede Datei laden und entluden. Dies brachte jedoch keine Besserung. Unsere Vermutung ist, dass sich der PC aufhängt da in jeder Datei zu Beginn eine Verbindung zum balance board hergestellt wird, aber nie getrennt wird. Wir versuchten dieses Problem zu lösen indem wir wieder eine Hauptdatei anlegten und dort nur ein einziges mal die Verbindung herstellten. Dies erwies sich jedoch als schwierig, da das Skript so verknüpft ist, dass man nicht einfach Teile rauslöschen konnte (es traten immer Fehler auf). Wir haben es auch nicht geschafft am Ende einer Datei einfach die Verbindung zu trennen, da wir in der Dokumentation von Wii Flash keine passende Funktion/Angaben gefunden haben.

Zum Schluss machte uns dann auch noch die Steuerung der Diashow Probleme. Das lag wieder an der onUpdate Funktion, welche ständig die Sensorbelastung abfragt (Bilder sprangen von erstem auf letztes Bild und übersprang die Bilder dazwischen). Dieses Problem konnten wir nur teilweise lösen. Zudem werden die Bilder nur sehr langsam geladen, obwohl die einzelnen Bilddateien in Größe und Auflösung stark reduziert wurden.

Fazit
Es war eine große Herausforderung für uns mit dem balance board zu arbeiten. Es musste sehr viel Recherchearbeit im Vorfeld geleistet werden um dieses Gerät erstmal verstehen zu können. Was aber sehr schwierig war, denn man findet nicht sehr viel über das balance board. Es hat aber Spaß gemacht an seine Grenzen zu stoßen auch wenn dies oft viele Rückschläge mit sich brachte und dies in Anbetracht des Zeitdrucks den wir hatten natürlich nicht von Vorteil war. Wir konnten uns aber immer wieder gegenseitig motivieren. Natürlich freuten wir uns riesig als Funktionen schlussendlich funktionierten und schöpften dadurch immer wieder neue Kraft um weiterzuarbeiten. Auch sehr spannend war, ein Design zu entwickeln das einerseits eine Gewisse „Leichtigkeit“ vermittelt die das balance board hat. Zudem musste es natürlich auch ausreichden Kontraste bieten, um eventuell auch mit einem Beamer gut sichtbar zu sein. Zudem musste es einfach verständlich sein. Im Allgemeinen hat uns die Veranstaltung gut gefallen auch wenn sie sehr viel Kraft und Zeit gekostet hat.

Hier findet ihr Infos zum Konzept, der Interaktion und dem Design unserer Anwendung:

„Balance the picture“ ist eine interaktive Diashow für das Wii balance board. Die Idee hinter dieser Anwendung ist, einen üblichen „Dia-Abend“ mit Freunden oder der Familie in ein Erlebnis zu verwandeln. Die Urlaubsbilder aus Ägypten werden nicht einfach nur der Reihe nach von den Zuschauern bewundert, sondern diese können sich mit dem balance board aktiv in die Diashow mit einbringen und durch ihre Körperbewegungen die Diashow steuern.

Die Anwendung
Mit „balance the picture“ kann man eine Diashow steuern und seine Fotos verwalten. Die Anwendung startet im Menü, in welchem die Ordner, in denen sich die einzelnen Bilder verbergen, dargestellt werden. Diese Ordner können nun entweder dem Modus „slideshow“ oder dem Modus „preselection“ zugeordnet werden. Neben jedem Ordner ist ein kleines Quadrat zu sehen, welches angesteuert werden muss, um den zugehörigen Ordner auszuwählen. Dieses kleine Quadrat soll eine Art „Auswahlfeld/Radiobutton“ darstellen.  Hierfür bewegt man den Auswahlrahmen, welcher als quadratischer Rahmen um den Ordner selbst dargestellt ist nach rechts, in dem man den Schwerpunkt seines Körpers nach rechts verlagert. Befindet sich der Auswahlrahmen nun auf dem zugehörigen Bestätigungsquadrat, verlagert der Nutzer sein Gewicht nach vorne und der Ordner wird ausgewählt und dem ersten Modus „preselction“ zugeordnet. Wahlweise kann man den Ordner auch dem Modus „slideshow“ zuordnen um die Bilder im Ordner dann gleich anschauen zu können ohne eine Vorauswahl zu treffen.

In dem Modus „preselection“ werden dem Nutzer nun alle Bilder des ausgewählten Ordners angezeigt, und er kann einzelne Bilder (z.B. unscharfe Bilder etc.) aus diesem Ordner löschen. Anschließend kann er sich die selektierten Bilder in der „slideshow“ betrachten. Die „slideshow“ zeigt die Bilder des jeweiligen Ordners groß an, und der Nutzer kann durch die Verlagerung seines Körperschwerpunktes zum nächsten Bild springen. Wenn man sich ein Bild länger betrachten möchte kann man einfach sein Gewicht gleichmäßig auf alle 4 Sensoren verlagern und somit springt man erstmal nicht zum nächsten Bild. Dadurch kann auch die Geschwindigkeit in der die Bilder angezeigt werden sollen sehr gut reguliert werden.

Umsetzung
Die Anwendung wurde vollständig mit ActionScript 3.0 und Flash umgesetzt. Außerdem ist die Wii Flash Software notwendig damit die Signale, welche das balance board sendet, vom Computer ausgelesen/interpretiert werden können.

Um mit „balance the picture“ seine Fotos steuern zu können benötigt man neben dem balance board außerdem noch einen bluetooth-fähigen Computer, da der Computer die Signale des balance boards über bluetooth empfängt. Um die Anwendung auf einem Mac  zu starten, benötigt man die Wii Flash Software Version für Macs.

Ganz zum Ende machte uns nun noch die Bedinung der “slideshow” Probleme. Hier kann ein Bild vor -und zurückgeblättert werden. Nun wollten wir bei  unserer letzten Datei die Programmierung von den Pfeiltasten auf das balance board umschreiben. Doch auch hier stellte sich sehr schnell heraus, das nicht nur die Bedingungen für die Funktion, welche das Blättern steuert, ausgetauscht werden müssen.

Das Gewicht nach rechts verlagern, ein Bild weiter!? So einfach funktionierte das fürs balance board nicht. Vielleicht vorhersehbar, wird nicht zum nächsten sondern bis zum letzten Bild gesprungen. Das Problem der “Schwellen” tauchte nun also auch hier auf. Nachdem wir die Programmierung ein bisschen veränderten konnten war ein vorblättern jedoch möglich machen. Das zurückblättern programmierten wir jedoch nicht mehr, da hierfür die Zeit fehlte.

Das gleiche Problem trat dann natürlich auch bei der “slideshow” der “preselection” auf. Da bei dieser “slideshow” zuvor in der “preselection” Bilder gelöscht werden können, die man sich nicht ansehen möchte, gestaltet sich hier das Script deutlich komplizierter. Hier muss zuerst geprüft werden, welche Bilder gelöscht wurden und daher nicht angezeigt werden dürfen. Wir versuchten auch hier noch, das Problem zu lösen, doch kamen in der restlichen Zeit zur MediaNight nicht mehr auf eine Lösung.

Nachdem wir das Problem mit der Auswahlrahmen-Navigation gelöst hatten, dachten wir dir größten Probleme sind gelöst. Doch heute als wir unsere vielen fla-Dateien miteinander verknüpfen wollten ergab sich ein neues Problem. Der Rechner hängte sich beim Starten einer Datei jedesmal auf.

Wir vermuteten, dass wir irgendwo eine Endlosschleife starteten. Da die einzelnen fla-Dateien jedoch einzeln geöffnet problemlos liefen waren wir zunächst ratlos.

Um sicher zu gehen, dass sobald eine neue exe-Datei geladen wird, die alte entladen wird, erstellten wir eine Hauptdatei mit Containern, in welcher das Laden und Entladen der einzelnen Datein gesteuert wird.

Das löste unser Problem jedoch nicht.Herr Tille brachte uns dann auf die Idee, dass das Problem dadruch entstehen könnte, dass wir in jeder neuen Datei zu Beginn die Verbindung zum balance board herstellen (obwohl die Verbindung beim Laden einer neuen Datei ja nicht automatisch getrennt wird!).

Also war die Idee, am Ende jeder Datei die Verbindung manuell zu trennen. Hierfür fanden wir in der Dokumentation von WiiFlash jedoch nichts passendes. Deshalb versuchten wir die Verbindung zum balance board nur einmal herzustellen und zwar in unserer Hauptdatei. Dies funktionierte jedoch auch nicht, da das Skript so “verwoben”/”verknüpft” ist, dass sich die Zeilen, welche die Verbindung herstellen nicht so einfach rauslösen lassen.

Nun sind die einzelnen Dateien nicht miteinader verknüpft, und die Dateien müssen manuell geöffnet werden. Dadurch wirkt die Bedienung unserer Anwendung natürlich nicht sehr flüssig. Sehr schade. Mit diesem Problem rechneten wir  zu Beginn auch gar nicht, da die Verknüpfung der Dateien bei der Programmierung für die 4 Pfeiltasten natürlich problemlos funktionierte.

Nach sehr vielen unterschiedlichen Versuchen, die Schwellen beim Rahmensprung  zu simulieren sind wir endlich eine gute Lösung gekommen! Das Navigieren des Auswahlrahmens funktioniert nun deutlich besser. Die Schwierigkeit bestand darin, dass im Script ständig abgefragt wird, welche Daten die 4 Drucksensoren ausgeben und dadurch viele Funktionen im Script ständig neu aufgerufen werden. Außerdem wurden die Bedingungen zur Ausführung der Funktionen nacheinander alle erfüllt und so ist der Rahmen von ganz links nach ganz rechts gesprungen und ließ die Ordner/Bilder dazwischen aus.

Um einen Bilderordner auszuwählen, oder auch einzelne Bilder in der “preselection” zu löschen haben wir zu Beginn einen Timer eingebaut. Nachdem dieser Timer 5 sek gezählt hatte, wurde der Ordner automatisch zur “preselction”/”slideshow” gezogen, sofern sich der Auswahlrahmen immer noch auf dem jeweiligen Ordner befand. Diese Lösung erwies sich jedoch als nicht sehr komfortabel für den Nutzer.

Deshalb haben wir nun kleine Auswahlfelder eingebaut, welche für den jeweiligen Ordner/Bild stehen. Befindet sich der Auswahlrahmen auf solch einem Auswahlfeld, verlagert der Nutzer sein Gewicht nach vorne um auszuwählen.
Hier ein Screen dazu:

Leider funktioniert die Interaktion mit dem balance board immer noch nicht richtig. Die eingebauten “Schwellen” bei der Bewegeung des Auswahlrahmens funktionieren so weit ganz gut. Die Steuerung des Auswahlrahmens ist nun aber nur noch begrenzt möglich (es gibt einen bestimmten “Weg” über den man die einzelnen Ordner auswählen kann) und funktioniert noch nicht richtig (Rahmen spingt immer wieder zurück an alte Position).

Das Design wurde nochmals verändert um einen besseren Kontrast am Bildschirm/Beamer darzustellen. Zudem spiegelt das Design jetzt die Metapher Diashow wieder. Dies war bei den vorherigen Varienten nicht der Fall.

Für unsere Anwendung haben wir nun auch ein neues Design entwickelt das die wesentlichen Aspekte die unsere Anwendung zu bieten hat in den Vordergrund heben soll.

Heute haben wir mit Hilfe von Nadine weiter an unserer Programmierung gearbeitet. Den Code zur Steuerung des Auswahlrahmens haben wir leicht verändert, so dass die Interaktion mit dem balance board schon etwas flüssiger läuft. Nun müssen wir noch “Schwellen” zwischen den einzelnen auszuwählenden Objekten einbauen, da der Auswahlrahmen viel zu schnell und ungenau über den Bildschirm huscht.
Hier auch noch ein kurzes Video dazu, leider nicht so gut zu erkennen

Außerdem müssen wir unbedingt noch die Programmierung für unseren Timer erstellen. Hier tauchen immer wieder neue Probleme auf und wir hoffen, dass wir dieses und noch 2,3 mehr Probleme am Mittwoch mit Hilfe von Nadine lösen können.