Lehdistötiedotteessa luvattiin lähitulevaisuudessa julkaistavaksi päivityksen, joka poistaa varmuuskopioista nämä välimuistitietokannat. Jos olet kiinnostunut tukiasematietokannoista, nyt kannattaa ottaa itselle talteen oma varmuuskopio tulevia tutkiskeluita varten.

Kirjoitin eilen siitä, miten pääsee helposti tutkimaan iPhonen muistista löytyvää paikkatietoa. Minulle, ja monelle muullekin syntynyt mielikuva oli, että iPhone tallettaa omistajansa liikkuessa tietoa ympäristöstä kuuluvista verkoista ja lähettää liikkumistiedot myöhemmin emoyhtiölle paikannustiedon parantamiseksi. Käyttäjän liikkeistä kerätyt tietokannat olisivat puhelimessa (ja tietokoneessa olevissa varmuuskopioissa) odottamassa paremmalla ajalla tapahtuvaa eteenpäin toimittamista. 

Nyt alan olla kuitenkin vakuuttunut siitä, että tämä on väärä mielikuva. 

Ensin puhelin hakee sillä hetkellä kuuluvat verkot. Tämä on sellaista tietoa, joka kännykällä on hallussaan jatkuvasti – muuten se ei voisi toimia matkapuhelimena. Sanotaan vaikka että puhelin saa selville seuraavat asiat:

• Tukiasema jonka koodi on 244:91:5011:781835 on n. kilometrin päässä (etäisyyden voi laskea signaalivoimakkuudesta)
• Tukiasema jonka koodi on 244:91:6102:1782  on n. kilometrin päässä
• WLAN-tukiasema jonka koodi on 00:15:2b:34:f9:a0 on n. 750 metrin päässä

Jotta tämän tiedon perusteella voi paikantaa puhelimen, tarvitaan tukiasemien sijaintitiedot. Kun tukiasemien sijainti tiedetään, oman sijainnin voi laskea kolmiomittauksen avulla. Alla olevasta kuvasta näet, miten kolmiomittaus toimii. Kun jokainen tukiasema on sijoitettu kartalle ja ympärille on piirretty rengas arvioidun etäisyyden päähän, oma sijaintisi on näiden renkaiden risteyskohdassa. Piirsin kahden kännykkätukiaseman ympärille kilometrin säteisen renkaan ja WLAN-tukiaseman ympärille 750-metrisen renkaan. Lopuksi merkitsin renkaiden risteyskohdan punaisella. 

Puhelin tekee tämän saman laskutoimituksen sekunnin murto-osassa ja pystyy sen jälkeen näyttämään kartalla karkean arvion omasta sijainnista. Sitten kun GPS-vastaanotin on käynnistynyt ja saanut yhteyden satelliitteihin (tähän kuluu joitain sekunteja), sijainti muuttuu tarkaksi. 

Ja mistä puhelin tietää tukiasemien sijainnit? Senhän me jo tiedämmekin. Puhelinvalmistaja on kerännyt tietoa juuri tätä tarkoitusta varten. Applella, Googlella, Skyhookilla ja varmasti monilla muillakin valmistajilla on valtaisa tietokanta, joka sisältää tuhansien ja taas tuhansien kännykkä- ja WLAN-tukiasemien sijaintitietoja.

Miten tämä liittyy puhelimen muistista löytyvään sijaintitietoon? Aiemmin siis havaitsin että ajellessani kolmostietä kohti Pohjanmaata, jossain Pohjois-Pirkanmaalla puhelimeni latasi (oletettavasti) Applen palvelimelta muistiinsa ison kasan tukiasematietoa. 

Oletan, että puhelin teki tämän siltä varalta, jos sattuisin poikkeamaan vaikka Kihniöön ja haluaisin käyttää siellä ollessani karttaa. Kun tukiasemien sijaintitieto on ladattu valmiiksi puhelimen muistiin, karttapaikannus tapahtuu sekunnin murto-osissa vaikka nettiyhteys olisikin hidas tai jopa kokonaan poikki. 

Tässä siis yksinkertainen selitys iPhonen muistista löytyville sijaintitiedoille. Ne ovat puhelimen muistiin ladattuja otoksia Applen tukiasematietokannasta – puhelimen muistiin siksi, että karttapaikannus tapahtuisi mahdollisimman nopeasti ja riippumatta nettiyhteyden laadusta. 

Kun puhelimen kanssa liikutaan, se lataa ennakolta valmiiksi lähialueiden tukiasematietoa. Ennakkolatauksesta ei ole käyttäjälle juuri minkäänlaista haittaa, sillä kaikki muistiin vuoden aikana ladattu paikkatieto vie puhelimesta tilaa vain noin parin mp3-biisin verran. Yhden paikkatietoryppään lataaminen vastaa tiedonsiirtokapasiteetiltaan paria sähköpostia. Tästä samasta syystä ladattuja tietoja ei kannata heittää pois – Kihniön tukiasematiedot odottavat muistissa jos vaikka jonain kauniina päivänä sattuisin poikkeamaan sinne.

Edelleen on toki avoimena kysymys siitä, miten Apple on alunperin kerännyt nämä tiedot. Kuten eilen todettiin, Apple sai ennen tietoa yhteistyökumppaneilta mutta siirtyi n. vuosi sitten käyttämään itse keräämäänsä tietokantaa. En edelleenkään hämmästyisi, jos kävisi ilmi että puhelin suorittaa samalla myös tiedonkeruuta ja lähettää tietoa uusista ennen havaitsemattomista tukiasemista Applelle. Jostainhan tiedon on tultava, ja kuten eilen mainitsin, tähän on varauduttu myös käyttöehdoissa.

Ja entäpä tietokannasta löytyvät kaukaiset eksoottiset kaupungit? Sille en keksinyt vielä muuta selitystä kuin paikannusvirheet – puhelin kuvittelee pienen hetken olevansa Australiassa ja lataa saman tien paikkatietoryppään ympäröivästä seudusta.

Minua sen sijaan kiinnostaa enemmänkin tallennetun datan tutkiminen! 

Tallennetun tiedon ensimmäisenä löytäneen Pete Wardenin sivuilta löytyvällä iPhoneTracker-ohjelmalla saa piirrettyä hienoja kuvia oman puhelimensa muistiin tallennetusta liikedatasta. Ohjelma kuitenkin vähentää melko radikaalisti näyttämänsä tiedon tarkkuutta joten sillä ei näe parasta mahdollista tallennettua tietoa. 

On aika kääriä hihat ja pureutua dataan itse. Pikku nettisurffailun jälkeen löytyikin joukko hyviä vinkkejä ja ohjeita datan tutkimiseen ja ajattelinkin nyt jakaa ne teille kaikille.

Tässä kerron miten data kaivetaan esiin ja miten siitä saa näkösälle mielenkiintoisia visualisointeja. Kerron tiedonkaivuun yksityiskohdista niin että voit kokeilla samaa myös omalla koneellasi. Nämä ohjeet ovat Macille, Windows-käyttäjät ovat valitettavasti oman onnensa nojassa. Lisäksi tarvitset hieman Unix-tuntemusta. 

Lähdetään liikkeelle ja etsitään varsinainen data. Ihan ensiksi kannattaa kytkeä puhelin kiinni tietokoneeseen ja odottaa että se ottaa backupin. Tällä tavalla saat itsellesi tuoreimman paikkatiedon, sillä tallennettu paikkatieto sijaitsee iPhonen varmuuskopioissa. Huom: jos olet kytkenyt iTunesista päälle varmuuskopioiden salauksen, nämä ohjeet eivät toimi. Tiedot ovat silloin salattuja, ja siten hyvässä turvassa. Ota salaus pois päältä siksi aikaa kun haluat katsella paikkatietojasi.

iPhonen varmuuskopiot löytyvät kansiosta ~/Library/Application Support/MobileSync/Backup. Jokainen varmuuskopio on omassa hakemistossaan. Hakemistojen nimet ovat kirjain- ja numerokoodeja, joten tuorein backup löytyy parhaiten katsomalla tiedostojen päiväyksiä. Kun oikea hakemisto löytyy, siirry sinne:

Hakemisto sisältää joukon SQLite-tietokantoja, joiden selailuun tarvitaan sopiva ohjelmisto. Näppärin vaihtoehto on Firefox-selaimelle löytyvä SQLiteManager. Sitten täytyy löytää myös oikea tiedosto. Tähän tarvitset Stackoverflow-blogin kommenteista löytyvän Python-skriptin. Macistasi pitäisi löytyä Python-tulkki – jos sitä ei löydy, asenna ensin Python. Kopioi skripti ja laita se vaikkapa kotihakemistoosi tiedostoon nimeltään iphonels.py. Anna skriptille ajo-oikeudet. Tämän jälkeen voit ko. skriptiä käyttäen etsiä tietokannan nimeltään “consolidated”:

Suluista löytyvä kirjain-numero-koodisarja on sen tiedoston nimi, jossa etsimämme SQLite-tietokanta sijaitsee. Ota esiin SQLiteManager ja lataa ko. tietokanta siihen. 

Tietokanta sisältää 40 eri taulua. Liiketiedon sisältävän tietokantataulun nimi on CellLocation. Voit purkaa sen sisältämän tiedon valitsemalla listasta ko. taulun. Siirry sitten kohtaan Execute SQL ja anna komento SELECT * FROM CellLocation, joka valitsee kaikki ko. taulun rivit. Pura ne vielä levylle CSV-tiedostoon Actions-valikon kohdalla Save Result (CSV) to File:

Tiedoston tallennus kestää pienen hetken ja tämän jälkeen sinulla on levyllä kaikki tarkat sijaintihavainnot sisältävä tiedosto.

Tiedoston visualisointiin on useita tapoja, mutta näppärin niistä lienee Google Fusion Tables. Lataa luomasi CSV-tiedosto GFT:hen New Table / Import Table -toiminnolla:

CSV-tiedostossa ei ole kenttien otsikoita, joten ne täytyy lisätä käsin. Valitse Column names are in a row: None ja kirjoita jokaiselle kentälle otsikko (katso mallia SQLiteManagerin ikkunasta). Kaikkia kenttiä ei ole pakko tuoda, mutta täytä ainakin Latitude ja Longitude. 

Tässä kohtaa voisi katsoa hieman tarkemmin, mitä eri kentät ovat. Tietokannan jokainen rivihän kuvastaa siis iPhonen tekemää tukiasemahavaintoa. MCC, MNC, LAC ja CI ovat kännykkäverkkotermistöä ja tarkoittavat havaitun tukiaseman maakoodia (244=Suomi), verkkokoodia (5=Elisa, 91=Sonera), aluekoodia ja yksittäisen tukiaseman (lähettimen?) koodia. Latitude ja Longitude ovat ainakin minun päätelmieni mukaan koordinaatit tukiaseman arvioidulle sijainnille. Siis ei omalle sijainnillesi!  Horizontal Accuracy kertoo paikka-arvion tarkkuuden (metreinä?) ja Confidence olettaakseni sen, miten hyvänä iPhone itse on pitänyt ko. havaintoa.

Taulukon tuominen kestää jonkin aikaa. Kun se on valmis, kenttien merkityksiä täytyy vielä hieman säätää, jotta saadaan aikaan hienoja visualisointeja. Valitse GFT:ssä Edit / Modify columns. Valitse sitten kenttä Latitude, muuta sen tyypiksi Location ja rastita vielä Two column location -kohta. Varmista että Latitude- ja Longitude-valikoiden nimet vastaavat niitä mitkä annoit kentille tuontivaiheessa.

Nyt tuomasi kanta on valmis, ja voit alkaa leikkiä varsinaisilla visualisoinneilla! Valitse Visualize-valikosta kohta Map ja ihastele syntyvää karttaa. Jokainen kartalle piirtyvä pallo on iPhonen tekemä havainto kännykkätukiasemasta ja arvaus tukiaseman paikasta. Jotkut arvaukset ovat tarkkoja, jotkut epätarkkoja. Kaikki havainnot on kuitenkin laitettu talteen myöhempää käyttöä varten.

Pallukoiden väriä voi muuttaa Configure styles -kohdasta. Esim. tässä näkyvään karttaan minä väritin pallot Accuracy-arvon mukaan siten, että tarkemmat havainnot saivat lämpimämmän värin ja epätarkat havainnot olivat kylmän sinisiä.

Jos sinulla on muistissa useamman operaattorin kortilla tehtyjä havaintoja, voit kokeilla myös värittää palloja MNC-kentän arvojen perusteella. Display as heat map -rasitlla voit piirtää heatmap-karttoja eniten havaintoja sisältävistä seuduista. Kerro kommenteissa, jos keksit vielä hauskempia visualisointeja.

CellLocation ei ole kuitenkaan ainoa mielenkiintoinen taulu iPhonen muistissa. Laite kerää kuuluvien kännykkätukiasemien lisäksi tietoa myös WLAN-tukiasemista! Ne löytyvät taulusta WifiLocation, jonka voi tuoda sisään Fusion Tablesiin samalla tavalla.

WifiLocation sisältää valtaisan määrän tukiasemahavaintoja:

Kartalla näkyvät jälleen iPhonen tekemät havainnot – tällä kertaa langattomista verkoista. Kuten aiemmin, myös tässä on sekä tarkkoja että vähemmän tarkkoja havaintoja.

Tämän kartan kanssa voi harrastaa hieman filtteröintiä. View / Filter -kohdasta saa esiin filtterivalinnat, joista voi esimerkiksi poimia vain ne tukiasemat, joiden havaintotarkkuus on alle 59 (dataa tutkimalla käy ilmi, että parhaiden havaintojen tarkkuus on n. 50 – oletan että yksikkö on metriä):

Tämä alkaa olla jo melko suuntaa-antava kartta siitä, mistä kaikkialta löytyy WLAN-tukiasemia.

Kuten dataa katselemalla käy ilmi, iPhone näyttäisi keräävän tietoa tarkoituksenaan arvailla mahdollisimman tarkasti kännykkä- ja WLAN-tukiasemien sijanteja. Mihin tätä tietoa sitten käytetään? Jos olet joskus käynnistänyt kännykkäsi kartan sisätiloissa, olet varmaan huomannut että laite pystyy paikallistamaan sinut ilman GPS-vastaanotinta. Jopa sellaiset iPadit, joissa ei ole laisinkaan GPS:ää osaavat paikantaa itsensä tehokkaasti kartalle. 

Tähän paikannukseen käytetään nimenomaan tukiasemien sijaintitietoja. Mitä enemmän tietoa on käytettävissä, sitä paremmin paikannus tapahtuu. Tiedon tulee olla myös ajantasaista. Ihmiset ostavat uusia WLAN-tukiasemia, siirtelevät niitä eri paikkoihin ja operaattorit päivittävät kännykkäverkkojaan. Ajan myötä kerran kerätyt tiedot vanhenevat, ellei tietoa päivitetä jatkuvasti. 

Tätä tietoa voidaan kerätä monilla eri tavoilla. Joitain vuosia sitten Apple osti tietoa Skyhook-palveluntarjoajalta ja Googlelta. Sittemmin he ovat siirtyneet käyttämään (todennäköisesti tällä systeemillä) itse keräämäänsä tietoa (kyllä, se tarkoittaa käsittääkseni sitä, että tämäkin kerätty tieto hyvin todennäköisesti siirretään tai on jo siirretty Applelle jossain vaiheessa). Netistä lukemieni arvailujen mukaan Google taas on kerännyt tukiasematietoa kamera-autojensa avulla. Samalla kun Googlen Streetview-auto on ajellut teitä pitkin, he ovat tallentaneet tukiasematietoa – aivan samalla tavalla kuin minun iPhoneni ajellessani ympäri kyliä ja kaupunkeja. Lisäksi epäilen vahvasti, että Google kerää tietoa myös kaikilta niiltä, jotka käyttävät kännykässään Google-karttoja (myös Andoid- ja Nokia-puhelimista). En yhtään hämmästyisi, vaikka Nokialla olisi vastaavia tiedonkeruuoperaatioita.

Kuten alussa sanoin, en ota sen tarkemmin kantaa siihen, miten törkeää tällainen tiedonkeruu on, mutta muistuttaisin kuitenkin että todennäköisesti hyväksyit tiedonkeruun sillä hetkellä kun aikoinaan uutta älypuhelinta käyttöön ottaessasi hyväksyit käyttöehdot. Muistatko vielä sen hetken? “Juujuu, hyväksynhyväksyn, joko pääsee leikkimään uudella lelulla???” :-)