Eindproduct

Het einde is al weer zicht en het is tijd om ons eindproduct op te leveren. Vooraf is er afgesproken dat we gaan kijken hoever we kunnen komen en mocht het geen volledig product ontwikkeld zijn, dan zou dat geen ramp zijn. Gelukkig is er wel daadwerkelijk een applicatie tot stand gekomen. Het uiteindelijk resultaat is als volgt: een AR multiplayer app waarbij je 3d objecten kan bestuderen. Door de world anchor ziet iedereen het object vanuit zijn/haar eigen perspectief. Er is een host die de presentatie host. Clients die op hetzelfde netwerk zitten als de host zien een room verschijnen en kunnen deze vervolgens joinen. De gekozen applicatie wordt geladen doormiddel van een http request. De benodigde assetbundle staat op een simpele webtool. Door de naam van de presentatie aan te klikken in de app wordt er een call gedaan en de bijbehorende bundle opgehaald. Dit beperkt de grootte van de app enorm.

Hieronder zie je een demo over hoe onze applicatie precies werkt. Verdere technische uitleg zal worden gegeven tijdens de presentatie.

De Leap Motion controller zou ook een onderdeel moeten zijn van onze applicatie, maar hier hebben wij de keuze in gemaakt dit niet te laten zien. In overleg met Roel en Rutger hebben wij besloten de bevindingen aan hen door te spelen, maar dit verder niet te laten zien in de demo. De reden hiervoor is simpelweg dat het nog geen toegevoegde waarde heeft. Origineel was de Leap Motion Controller bedoeld om een extra dimensie toe te voegen, maar de progressie was helaas niet genoeg om dat gevoel te creëren. Kortom, het werkte, maar niet goed genoeg om het toe te voegen aan ons product.

Progressie applicatie

Het is gelukt om assetbundles te kunnen downloaden via een http request en deze vervolgens in te laten in de applicatie. Zo kunnen er presentaties ingeladen worden en hoeven ze niet al in de applicatie zelf te staan, wat natuurlijk bevordelijk is voor de grootte van de app. De assetbundles kunnen geüp- en download worden via een simpele website. Op deze website is ook een lijst te vinden met alle geüploade assetbundles. De assetbundles worden geëxporteerd en geüpload als .unity3d bestand. Er zit een filter op de website zodat alleen bestanden met deze extensie geüpload kunnen worden.

Ingame zal er voor de host een lijst tevoorschijn komen met alle beschikbare presentaties. Je kunt dan een van de presentaties aanklikken en vervolgens zal deze dan gedownload worden.

Naast deze vooruitgang zijn er ook wat veranderingen gekomen m.b.t het design van de applicatie. Het is even wat vlotter gemaakt. Voor de mensen die de techniek niet zo zeer begrijpen is dit een fijne toevoeging, zo zien zij ook dat er daadwerkelijk wat verandert binnen de applicatie. Om veranderingen binnen de applicatie erg visueel te maken was dan ook een tip voor ons vanuit Allinq.

 

Het teamverband

Eerder zijn wij tot de conclusie gekomen dat wij als team niet optimaal functioneren. Wij hadden het idee dat er binnen het team niet genoeg samenhang was, waardoor de productiviteit achteruit ging. Matthias is hierdoor in gesprek gegaan met onze begeleiding vanuit de opleiding, onze contactpersoon binnen Allinq en met de teamleden individueel. Uit deze gesprekken kwam uiteindelijk het feit dat wij niet wisten waar de anderen mee bezig waren, althans niet zoals dat zou moeten in een scrumteam. Onze daily stand-ups waren niet zoals ze zouden moeten zijn en wij maakte ook geen gebruik van de sprint retrospectives. Door dit wel te gaan doen en inzicht te krijgen in wat een ieder op een dag gaat doen/ heeft gedaan hebben wij ervoor gezorgd dat wij nauwer zijn gaan samenwerken. Hiernaast kan er ook makkelijker hulp geboden worden waar nodig.

Kortom, het hele principe van een scumteam ontbrak bij ons. De punten waar wij ons gaan verbeteren zijn voornamelijk: de daily stand-ups, de sprint reviews/retrospectives en transparantie binnen het team. Door hierover te praten en dit te verbeteren hebben wij zelf ook het idee gekregen dat wij beter zijn gaan functioneren.

Leap Motion

De afgelopen weken zijn wij bezig geweest met de Leap Motion controller en hier is aardig wat progressie in geweest. Het is al mogelijk om de handen in de Unity editor in combinatie met de camera te zien en het AR object op te pakken. Wat echter wel een ding is is dat het blokje, dat wij als voorbeeld nemen, weg vliegt of naar beneden valt als er gravity op zit. Hier zijn wij nog mee bezig. Het lieft willen wij dat je het blokje kunt verplaatsen naar waar je ook wilt en dat deze dan blijft hangen op de positie waar je het los laat.

Hieronder een video van de Leap Motion die ervoor zorgt dat je met hand tracking een AR object kan laten ronddraaien.

Wanneer dit alles geoptimaliseerd is gaan wij proberen dit zichtbaar te maken op de mobiele applicatie, zodat je door de camera van je mobiel kunt kijken en vanuit daar de Leap Motion controller kunt gebruiken.

Voortgang product

De afgelopen weken is er aardig wat progressie geweest met betrekking tot ons product. Het is ons gelukt om meerdere nieuwe features te implementeren en al aardige stappen te maken richting de volgende.

Momenteel zijn we bezig met het bouwen van een HTTP request functie die ervoor zorgt dat je asset bundels kan opvragen via een webpagina. Dit zorgt er voor dat je de presentaties niet in de app hoeft te zetten, maar je degene kan downloaden die je op dat moment nodig hebt. De grootte van de applicatie wordt hiermee een beetje ingeperkt. Wij willen de webpagina erg simpel houden en deze zal dan ook bestaan uit een authenticatie, upload pagina en een pagina waar je de bundels vandaan kunt halen.

Hiernaast is er ontdekt dat de Leap Motion controller ook op de mobiel werkende gekregen kan worden. Hierbij wordt gebruikt gemaakt van het server – client aspect. De Leap Motion zal in de laptop geplugd zitten en via het wifi netwerk de informatie geven aan de telefoon. Het is nu mogelijk om met touchscreen controls de applicatie te bedienen, maar het voegt natuurlijk een extra dimensie toe als je dit met je eigen handen kunt ‘vastpakken’.

Wij hebben gepland net voor de kerst klaar te zijn, hierbij houden wij rekening dat het eventueel iets uit kan lopen. In de laatste weken zal er vooral gewerkt worden aan het polishen van de app.

Peer review

Gisteren hebben wij de peer review gehad. Hier presenteerde wij onze tussenresultaten en gingen wij in gesprek met een andere comaker groep voor eventuele tips en opmerkingen. De tips die wij meekregen gingen voornamelijk over de layout van onze applicatie. Simpele dingen als een terug knop als je in een menu zit. Dit zie je natuurlijk al snel over het hoofd als je de hele dag tegen de app aan kijkt, maar juist daarom is het fijn dat je even een verse blik krijgt op je gemaakte werk. Er zal dus nog even gekeken moeten worden naar de gebruiksvriendelijkheid van de app. Andere zaken die aan bod kwamen gingen voornamelijk over de beschikbaarheid van de app, dus wie deze allemaal zouden kunnen gaan gebruiken. Dit met de reden dat als dit mensen van buiten Allinq zijn, er misschien nog gekeken moet worden naar de beveiliging en waar zij precies wel en geen toegang tot hebben. Verder waren de reacties positief.

 

VR Days

Afgelopen week waren de VR Days. Dit sluit natuurlijk erg aan op het project waar wij momenteel mee bezig zijn, vandaar dat wij het een goed plan vonden hier als groep heen te gaan.

Eenmaal aangekomen kwamen we er wel snel achter dat het voornamelijk op VR is gericht en niet zo zeer op AR. Dit zit natuurlijk al in de naam, maar in de praktijk gaat het om het hele ‘Reality’ gedeelte en niet per se VR.

Op dag 1 van de VR days waren er van 10:00 tot 17:00 presentaties. Deze gingen vooral om het presenteren van nieuwe technologieën, het delen
van verhalen en ervaringen en het entrepreneurship binnen de VR wereld.

Hiernaast zie je een foto van Jaroslav Beck. Jaroslav is music composer en CEO bij Beat Games s.r.o. Hij vertelde over hoe Beatsaber zo’n succes is geworden en hoe hij de toekomst van VR voor zich ziet. Wat opmerkzaam was in dit verhaal is dat hij aanhaalde dat het succes van een game zit in twee punten, namelijk: de afwerking en begrijpbaarheid. Een game is vaak heel snel grotendeels af, maar er moet vervolgens gewoon erg veel tijd in worden gestoken om alles te finetunen en perfect te laten zijn. Naast dit moet de gebruiker in staat zijn de game in één klap te begrijpen.

Een andere presentatie, gegeven door Mel Slater, ging over de invloed van VR op ons brein. Voornamelijk over hoe snel je brein zich aanpast aan de situatie waar je in terecht komt. Een quote van hem is dan ook: ‘Seeing yourself as Einstein may change the way you think.’. Stel je zit in een virtuele omgeving in het lichaam van Einstein, dan zou je volgens Slater dus anders gaan denken. Virtual Reality wordt op dit moment natuurlijk veel gebruikt om je op een andere plek te krijgen. Waar Slater erg op doelt is niet zo zeer het veranderen van de plek, maar van de persoon. Vandaar ook zijn uitspraak: “Change the self not just the place.”

De gastsprekers waren erg inspirerend en hadden daadwerkelijk iets te vertellen, alleen was dit niet per se nuttig voor ons project.

De andere twee dagen werden gevuld met workshops, presentaties en stands waar bedrijven hun product konden presenteren. Er was erg veel te zien en te ontdekken, alleen was het jammer dat het voornamelijk gefocust was op VR en niet zo zeer op AR. We spraken nog wel iemand van het bedrijf TWNKLS. Dit bedrijf is gespecialiseerd in het maken van AR applicaties. De app van Ikea waarbij je meubels in je woonkamer kunt zetten om deze virtueel in te kunnen richten is ook door hen gemaakt. Waar wij met deze meneer over gesproken hebben is hun app voor Lamborghini, waarbij nieuwe monteurs in AR kunnen zien hoe een auto in elkaar zit. Dit sluit erg aan op het eerste idee waar wij mee aan de slag gingen om een AR bouwvoorschrift te maken voor nieuwe netwerkkast monteurs. Wij mogen hen contacten, mochten wij hulp nodig hebben.

Toevallig kwamen wij wel een VR project (van DutchVR) tegen dat gebruik maakt van de Leap Motion. Ons viel alleen op dat ze de Leap Motion 45º hadden gedraaid richting het scherm. Wanneer je de Leap Motion recht naar boven wijst, doet zich al snel het probleem voor dat je out of range gaat van de sensor en deze dus de bewegingen van de hand niet goed registreert. Hiernaast zou je de Leap Motion natuurlijk ook op de VR-bril neer kunnen zetten zou je denken. Zou kan je overal waar je heen kijkt gebruik maken van je handen, maar de reden dat zij dit niet gedaan hadden was voor stabiliteit. Wanneer de Leap Motion stil op de tafel staat en niet constant bewogen wordt tracked hij de handen beter. Hun applicatie had echter maar een kleine hoek nodig, dus het bevestigen van de Leap Motion op de VR-bril was hier niet nodig en konden zij voor stabiliteit gaan.

De VR Days waren een erg leerzame en vooral leuke ervaring. Er waren zo enorm veel nieuwe technologieën aan het licht gekomen. Door deze ervaring is onze toekomstvisie over het hele Virtual gedeelte erg veranderd. Ondanks dat er nu nog veel in de ontwikkel fase zit kunnen we wel stellen dat er extreem veel mogelijkheden zijn. Dit niet alleen voor vermaak, maar ook in de vorm van leren of hulpverlening.

Hierbij een kleine kijk op onze ervaring bij dit evenement.

Omschrijving product

Na het vormgeven van een uiteindelijk project was het voor ons nog niet helemaal rond. We hebben lang nagedacht en zijn tot een wat duidelijker eindproduct gekomen, waarbij de North Star bril niet per se de belangrijkste factor is. Ons idee is geworden om een applicatie te bouwen waarbij je met meerdere devices tegelijk een AR ervaring beleeft. Er zal iemand zijn die met behulp van een North Star bril en een Leap Motion Controller een huisje, waar netwerkkasten in staan, uit elkaar kan halen, kan ronddraaien, kan kijken waar de draden lopen en ga zo maar door. Als het ware dus een ‘bovenaanzicht’ van hoe zo’n huisje nou eigenlijk in elkaar zit. Rond de tafel zullen smartphones staan die in AR live mee kunnen kijken.

Het constant wisselen van idee werd een beetje vervelend, hierom hebben we nu de knoop doorgehakt en is dit het uiteindelijke idee geworden.

Er is dus niet per se een probleem dat opgelost moet worden. Wij gaan eigenlijk dus voor een stukje innovatie zorgen. Naast de nieuwe North Star en Leap Motion kunnen mensen nu ook tegelijk een AR ervaring beleven.

The North Star Project

Zoals verteld in de vorige post gaan wij zelf een North Star bril maken. Deze brillen zijn niet te koop en wij zullen deze dus zelf in elkaar moeten gaan zetten. Het doel van de bril is dat je een volledige AR omgeving te zien krijgt. Met behulp van de handtracking in de Leap Motion controller kun je eindeloos veel toepassingen bedenken. Denk bijvoorbeeld aan het nabootsen van een operatie voor doktoren in opleiding. Omdat je geen controllers in je handen hebt voelt zo’n simulatie al veel echter. De Leap Motion controller is ook in staat om een pen te detecteren. Dit kun je bijvoorbeeld vervangen door een mesje, zodat de simulatie van een operatie nog realistischer wordt.

Om zo’n bril in elkaar te zetten zijn er verschillende onderdelen nodig, namelijk: de lenzen, de headgear, de bril zelf en de bedrading in de bril. De headgear is bijvoorbeeld te bestellen bij Amazon, maar dit is niet mogelijk voor de bril of de lenzen. Deze zullen wij zelf moeten maken. De bril is 3D printbaar en de lenzen zullen op een speciale manier geperst moeten worden.

Het 3d printen zal gebeuren op Allinq zelf. De 3d printer en nodige kennis is aanwezig. Het was nog wel even de vraag of het wel zou passen in de 3d printer, omdat sommige onderdelen richting de 20 – 25cm gaan. De breedte van de plaat waarop geprint kan worden is +/- 20cm en de hoogte +/- 30cm. Mocht het in de breedte niet lukken, dan kunnen we altijd nog de hoogte in werken.

Waar het persen van de lenzen zal gebeuren wordt nog onderzocht. We hebben al een aantal bedrijven gemaild en ook gaan wij kijken of het mogelijk is om dit te doen bij het fablap van Windesheim.

Een volle uitwerking van deze stappen is te vinden op: https://exiii.jp/2018/07/25/project_north_star_en/

Afbeeldingsresultaat voor The north star project

De eerste twee weken

Na onze start bij Allinq waren wij direct begonnen met een plan van aanpak. De opdracht was nog niet genoeg gedefinieerd, dus dit was aan ons om te doen. Met behulp van een onderzoek en interviews hebben wij wat meer uitsluiting gekregen over het uiteindelijke project.

De uiteindelijke opdracht is geworden:

Het in elkaar zetten van een North Star bril en hier vervolgens een demo bij te bouwen. Met behulp van een Leap Motion controller komt hier een AR omgeving uit waarbij je alles met je handen kunt besturen. Het uiteindelijke doel is hiervan is om op een innovatieve manier nieuwe monteurs kennis te laten maken met een omgeving waarin zij zonder consequenties kunnen oefenen met het in elkaar zetten van netwerkkasten. Zowel de mensen binnen Allinq als wij hebben nog geen kennis over deze technologie. Dit is voor ons allen dus een mooie nieuwe ervaring.