Onko sivut rikki vai uudistus

[LaraG]

Ihan sama vika täälläkin. Ei vielä näy.

[haksu10]

Nyt toimii, pian lisäinfoa

[haksu10]

Tiedoksi ja selitykseksi tyhjälle kartalle sekä mahdollisille muille tuleville hetkellisille ongelmille:

Geocache.fi on jälleen suuren sisäisen muutoksen kourissa. Kätkötietokantataulu on alkanut olemaan tukossa ja hidastanut merkittävästi kaikkia sivupyyntöjä.

Nyt on rakentumassa järjestelmä, missä on kaksi kätkötietokantataulua. Toista datakeräyshärvelit ylläpitävät ja päivittävät ja toinen on määräajoin luotava kopio varsinaisesta kätkötietokantataulusta. Jatkossa kaikki sivustolla tehtävät haut tulevat tapahtumaan tästä kopiotaulusta.

Tämän muutoksen myötä ylläpitojärjestelmä saa rauhassa päivittää tietoja. Tietojen päivitys kun lukitsee välillä tietokantataulun, jolloin siitä ei voi myöskään lukea tietoa, ja tällöin kaikki haut ovat jääneet odottamaan. Tämän myötä on tullut sekuntien viivettä hakuihin ja samoin odotusjono on entisestään kuormittanut kantaa.

Muutoksessa ei pitäisi merkittäviä ongelmia tapahtua, mutta selkeästi päälle iskenyt flunssa heikentää ajatuskykyä ja mokasin jo kartan toimivuuden suhteen; enkä edes tajunnut että oikeasta kartasta puuttui taulumääritysosa kun itse käytin asiaa - tajuamatta - kehitysversiota. Pahoitteluni.

Kertokaa siis täällä kun taas jotain hajotan

[Seq]

Tässä vaiheessa lienee turha mainita, että MySql:n InnoDB:ssä on row-lock...

[haksu10]

Tässä vaiheessa lienee turha mainita, että MySql:n InnoDB:ssä on row-lock...

Turhaa on vain pestä ikkunat (ne likaantuu uudelleen), käydä lenkillä (lopuksi päätyy sinne mistä lähtikin), rasvata vaaleanpunaisten elefanttien kärsät vaseliinilla (ne nuolevat sen pois)...

Sen sijaan InnovatiivinenDB voi olla hyvä idea. Syyt, miksei se ole käytössä, ovat:
-
-
-
-
-

Koska syitä on näinkin paljon, konvertoin kätkötaulun InnoDB:ksi ja katsotaan, olisiko se sittenkin parempi vaihtoehto ja idean downgradetus onkin järkevämpää ja koittaa edelleen yhdellä taululla.

[haksu10]

Nyt on rakentumassa järjestelmä, missä on kaksi kätkötietokantataulua. Toista datakeräyshärvelit ylläpitävät ja päivittävät ja toinen on määräajoin luotava kopio varsinaisesta kätkötietokantataulusta. Jatkossa kaikki sivustolla tehtävät haut tulevat tapahtumaan tästä kopiotaulusta.

Toistaiseksi tämä idea on jäädytetty paikoilleen kuin pakkaseen joutunut hirvikärpänen.

Tauluja on nyt päivitelty kokeeksi laajemminkin InnoDB -moottoria käyttämään. Katselen onko joillekin tauluille kuitenkin perusteltua käyttää MyISAM:ia mutta vedetään nyt täysillä, eli käytännössä kaikki taulut on nyt InnoDB:llä. Lukitusongelma poistui kun kätködatataulu vaihtui InnoDB:ksi, vielä jos lokitaulun "Copying to tmp table" -haukotuskyselyt saisi nuijittua kuriin niin oikeastaan kaikki tietokantaongelmat olisi tämähetkisen tiedon valossa poissa. Nooh, jotain toki täytyy olla aina hidasteenakin, lokitaulun 2,5 miljoonaa riviä toki on melkoinen kimpale.

Mielenkiintoista minkälainen ketjureaktio kertyi kesäkuun lopun "palvelinten kesälomasta". Kun tuolloin yskineet levynkäyttöongelmat (eli korkeat i/o-waitit) sai kuriin, alkoi sitten tietokanta kiukuttelemaan kun sitä pystyikin suuremmalla nopeudella pommittamaan. Nyt kun tietokanta alkaa pysymään mukana onkin hauska nähdä, mistä seuraava pullonkaula löytyykään... ja ylittääkö jossain välissä taas kätköjen sekä lokien kriittinen massa resurssit, levynkäyttöongelmat alkavat taas jne... ei tässä paljoa ehdi laakereilla lepäämään

Ainakin toistaiseksi on tarjolla taas aiempaa nopeampi geocache.fi -sivusto (joka muuten 3.9. täytti jo 5 vuotta Koska tietokantaa täytyy kuitenkin käyttää paljon niin mitään täydellistä salamanopeutta ei kuitenkaan pysty tarjoamaan. Myöskään levypohjaista välimuistitusta ei kannata lisätä koska tällöin voisi taas levynodotusajat repsahtaa. Kuitenkin sivusto tällä hetkellä näyttää olevan kohtuullisen tasainen suorituskyvyltään ja ylipitkät viiveet ovat poissa joten hetkellisesti taas on kohtuullisen tyytyväinen toimivuuteen.

Jäämme siis odottamaan taas seuraavaa totaalikatastrofia

[Seq]

Ei näy etäisyydet ainakaan etusivulla...

[Seq]

Ei näy etäisyydet ainakaan etusivulla...

Nyt hengittää...

[haksu10]

Ei näy etäisyydet ainakaan etusivulla...

No koita tätä

(aika lopettaa tuotekehitys kun heti joku huomaa bugit puolenyön jälkeenkin...

[Seq]

Tuntuiko Inno hyvältä?

[haksu10]

Tuntuiko Inno hyvältä?

Tuntuu hyvältä, näyttää pahalta... no jaa, perhesivuston vuoksi jätetään tämä vitsi kirjoittamatta

Mutta alkaapa tuntua hyvältä; tehoa on riittänyt niin hyvin että nyt datan ajantasaisuus alkaa olemaan taas kohdallaan; tässä näköjään tietokanta on yskinyt oman osansa viiveisiin ja nyt kun sen suhteen on ongelmat poissa on pystynyt pyöräyttämään ison pyörän päälle ja data onkin reippaasti alle puolen vuorokauden ikäistä

Samoin nyt eri sivujen muodostusaikalokeista pystyy näkemään mitkä ovat yskivimmät sivut kun tietokannan tukkoisuuden aiheuttamat viiveet eivät vääristä aikoja. Niinpä esim. etusivun reilun sekunnin muodostusaika väheni keskimäärin alle 0.1 sekuntiin (ja tästä koituu päivittäin geocache.fi:n käyttäjille yhteensä yli 9 tunnin ajansäästö

Myös Hyllyllä -sivun noin 9 sekunnin muodostusaika osui silmiin ja päivitin sivun latautumista hieman nopeammaksi, eli nyt valmista tulee alle puolessa sekunnissa

Tällä hetkellä kaikki näyttää vallan upealta ja kanta pystyy nyt vastaamaan tarpeisiin. Voi toki olla että jossain vaiheessa taas ongelmia alkaa tulemaan mutta InnoDB kyllä pitäisi olla juuri näihin järjettömiin datamääriin parempi ratkaisu. Siispä Seq saa miesmäisen pusun poskelle kun avasi lopullisesti silmäni tämän tietokantamoottorin suhteen (pieniä pusuja toki irkin suuntaan jossa asiaan jo sain pohjustusta ja vain viimeinen potkaisu jäi puuttumaan ja sen Seq sitten tarjosi

[Seq]

Innoa pystyy veivaamaan aika mukavasti, varsinkin, jos tietokantapalvelimessa on tarpeeksi muistia...

Käytännössä tärkeimpiä on sortit yms jotta ne ei mene levyn kautta.

Staattisen kaman vois ajaa jostain muusta, kuin apachesta yms...

[Seq]

Tästä oli puhetta aiemminkin ja en muista, oliko tahallista...

Tilastot-> Kuntakartta popupeilla -> joku kunta -> esitä kätköt kartalla

=>

Mennään:
http://www.geocache.fi/caches/cacheinfo.php joka on siis vanha haku-/karttahärpätin...


Täältä tähän ja nyt nukkumaan...