Sivu 1/5

Sivuston uudistusta

Lähetetty: Pe 25.06.2010 22:07
Kirjoittaja haksu10
Jälleen kerran sivusto on joutunut laajan uudistuksen piiriin. Tähän ketjuun voi kirjoittaa tietoa bugeista ja ongelmista mitä muutosten myötä saan aikaan.

Tässä uudistuksessa koko kätkölokitietokanta uudistuu johtuen koko ajan kasvavan lokimäärän (nyt jo yli 1.3 miljoonaa) aiheuttamasta palvelinnärästyksestä. Tämä tarkoittaa sitä että kaikki lokitietokantaa käyttävät / ylläpitävät osuudet täytyy uudistaa jne jne...

Nyt on jo käytössä rinnakkain sekä vanha että uusi tietokanta ja ensimmäisenä uudesta tietokannasta pääsikin nauttimaan lokiseuranta, joka nyt käyttää pääsääntöisesti uutta tietokantaa. Tämän myötä jotkut lokiseurannan ominaisuudet ovat hieman nopeutuneet kuten esimerkiksi etäisyysehto; entisen keskimääräisen 20 sekunnin sijaan se hakee nyt tiedot keskimäärin vajaassa 2 sekunnissa.

Mainittakoon että myös uudistettu lokiseuranta, kuten myös muut osuudet, voivat edelleen pitää pitkän tuumaustauon. Ennen kuin uudistus on loppuun asti valmis täytyy käyttää myös vanhaa lokitietokantaa ja siihen kohdistuvat päivitykset lukitsevat välillä koko tietokantapalvelimen. Mutta päivä päivältä kohden nopeampaa geocache.fi:tä :)

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 1:35
Kirjoittaja PPP
Hyvää juhannusta sullekin Haksu. - Et vaan taaskaan malttanut juhlia sitä vaan taisit väkertää uutta koodia.
Kiitos siitä.

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 12:29
Kirjoittaja haksu10
PPP kirjoitti:Hyvää juhannusta sullekin Haksu. - Et vaan taaskaan malttanut juhlia sitä vaan taisit väkertää uutta koodia.
Kiitos siitä.
Hyvää juhannusta sinulle ja kaikille muillekin!

Juhannuksen aikana on mukavan rauhallista asiakas"palvelun" suhteen joten voi keskittyä täydellä teholla tähän pitkään kehittelylistalla olleeseen tärkeään ja pakolliseen uudistukseen. Uudistuksen tarpeesta (ja oikeasta suunnasta) kertoo uudistetun lokilistan latauskeskiarvo joka on nyt 1.5 sek entisen n. 5 sekunnin sijaan :)

Lokiseurannan sanahaku on ja pysyy hitaana varsinkin haettaessa sanalla joka antaa osumia niin vähän että koko lokitekstikasa täytyy käydä läpi. Vaikka hakua saikin nopeutettua niin reilusta 1.3 miljoonasta loggauksesta sanan etsintä vie aikaa.

Nyt uusittuja osuuksia ovat (kirjoitan tätä samalla myös omaksi muistilistaksi):
- mobiili/haku
- mobiili/lokilista
- omat ftf:t
- kätköt / hyllyllä

Ja työ jatkuu...

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 12:41
Kirjoittaja ZeroOne
haksu10 kirjoitti:Lokiseurannan sanahaku on ja pysyy hitaana varsinkin haettaessa sanalla joka antaa osumia niin vähän että koko lokitekstikasa täytyy käydä läpi. Vaikka hakua saikin nopeutettua niin reilusta 1.3 miljoonasta loggauksesta sanan etsintä vie aikaa.
Haluaisitko yhtään raottaa tuota teknistä puolta miten tuo tehtiin ennen ja miten se tehdään nyt? Itselläni on töissä ollut mietintämyssyn alla jo jonkin aikaa eräs full text search -ominaisuus. Pieni eksperimentointi on paljastanut että MySQL:n fulltext indexiä hyödyntämällä päästään ehkä 70-80 % nopeutukseen verrattuna "where TEXT like '%sana%'" -tyyppiseen naiiviin hakuun. Lisäksi olen silmäillyt Solrin kaltaisia erillisiä hakumoottoreita, mutta sellaisen käyttöönotto olisi sitten astetta suurempi projekti.

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 13:11
Kirjoittaja Seq
ZeroOne kirjoitti:
haksu10 kirjoitti:Lokiseurannan sanahaku on ja pysyy hitaana varsinkin haettaessa sanalla joka antaa osumia niin vähän että koko lokitekstikasa täytyy käydä läpi. Vaikka hakua saikin nopeutettua niin reilusta 1.3 miljoonasta loggauksesta sanan etsintä vie aikaa.
Haluaisitko yhtään raottaa tuota teknistä puolta miten tuo tehtiin ennen ja miten se tehdään nyt? Itselläni on töissä ollut mietintämyssyn alla jo jonkin aikaa eräs full text search -ominaisuus. Pieni eksperimentointi on paljastanut että MySQL:n fulltext indexiä hyödyntämällä päästään ehkä 70-80 % nopeutukseen verrattuna "where TEXT like '%sana%'" -tyyppiseen naiiviin hakuun. Lisäksi olen silmäillyt Solrin kaltaisia erillisiä hakumoottoreita, mutta sellaisen käyttöönotto olisi sitten astetta suurempi projekti.

Toi saattasi toimiakin, koska muistaisin viittauksen MyISAM:iin. Ainnakin mun muistaakseni InnoDB:llä ei onnistu.

MySql on vaan painolasti, ainakin MyISAM:lla.

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 14:59
Kirjoittaja tamasochi
Kätköjen karttahaussa on muuttunut ainakin se, että hakukriteerien asettamisen jälkeen pitää klikata jotakin syöttökenttää ennen enterin painamista, muuten haku ei käynnisty. Tämä aiheutti ainakin täällä alkuun harmaita hiuksia.

Aiemmin haku on siis pelittänyt seuraavasti: klikkataan etusivulla "Kätköt" ja sen jälkeen "Kartalla", valitaan keskipisteeksi kotikoordinaatit ja sen jälkeen vaikkapa "Enintään 100". Tämän jälkeen näpäytetään enteriä, ja hetken kuluttua kartta päivittyy näyttäen 100 kotia lähintä kätköä. Nykyään pelkkä enterin näpäytys ei tee mitään, vaan ensin pitää klikata vaikkapa "Nimessä on" -kenttä aktiiviseksi. Liekö meidän hakumetodi jotenkin erilainen kuin yleisesti käytössä oleva (lue: väärä), kun kukaan muu ei ole asiasta maininnut?

Hauskaa juhannusta kaikille!

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 15:09
Kirjoittaja haksu10
ZeroOne kirjoitti:Haluaisitko yhtään raottaa tuota teknistä puolta miten tuo tehtiin ennen ja miten se tehdään nyt? Itselläni on töissä ollut mietintämyssyn alla jo jonkin aikaa eräs full text search -ominaisuus. Pieni eksperimentointi on paljastanut että MySQL:n fulltext indexiä hyödyntämällä päästään ehkä 70-80 % nopeutukseen verrattuna "where TEXT like '%sana%'" -tyyppiseen naiiviin hakuun. Lisäksi olen silmäillyt Solrin kaltaisia erillisiä hakumoottoreita, mutta sellaisen käyttöönotto olisi sitten astetta suurempi projekti.
Nooh, tässä taulussa on käytössä vielä tuo perinteinen like -tyyppinen haku joten tältä osin en voi vielä antaa mitään tarkempaa faktaa (vasta kun ehtii tekemään parannuksia ja testaamaan).
tamasochi kirjoitti:Kätköjen karttahaussa on muuttunut ainakin se, että hakukriteerien asettamisen jälkeen pitää klikata jotakin syöttökenttää ennen enterin painamista, muuten haku ei käynnisty. Tämä aiheutti ainakin täällä alkuun harmaita hiuksia.
Eikä selain ole vaihtunut; et ole ottanut premiumia; tehnyt asetusmuutoksia...

Mutta tämän suhteen ei muutosta ole tullut ja itselläni ainakin Operassa toimii tuo enter, tuollaisessa monipainikkeisessa lomakehärvellissä mikä kartta on tuo enterin painallus kohdistuu johonkin selaimen päättämään paikkaan. En toistaiseksi ole löytänyt joka selaimessa oikein toimivaa kohdistamista oikeaan painikkeeseen (en ole yksin ongelman kanssa, hyviä javaskriptityylitiedostoviritelmiä on netti väärällään, ainoa huono puoli on se että ne eivät toimi oikein eri selaimissa...)

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 15:14
Kirjoittaja haksu10
Nyt koko sivuston perusrakenne on muutettu pääasiassa käyttämään uutta kantajärjestelmää; varmasti vielä löydän monta paikkaa missä on vielä vanha käytössä ja lienen saanut aikaan myös tukun bugeja koska kymmeniä härveleitä olen sorkkinut.

Nyt siis saa avautua kaikista ongelmista tähän ketjuun ja korjailen sitä mukaa asioita.

Ulkomaanlöytöjen (My Finds -PQ:lla syötetyt) suhteen tilanne on hieman epäselvä; en ole varma sainko kaiken siirtymään oikein vai katosiko niitä, enkä myöskään (kun ei ole löytöjä ulkomailta) saanut täydellisesti testattua niiden lisäämistä. Mutta näistä ongelmista varmasti kuulen myös ;)

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 15:17
Kirjoittaja tamasochi
haksu10 kirjoitti:Eikä selain ole vaihtunut; et ole ottanut premiumia; tehnyt asetusmuutoksia...

Mutta tämän suhteen ei muutosta ole tullut ja itselläni ainakin Operassa toimii tuo enter, tuollaisessa monipainikkeisessa lomakehärvellissä mikä kartta on tuo enterin painallus kohdistuu johonkin selaimen päättämään paikkaan. En toistaiseksi ole löytänyt joka selaimessa oikein toimivaa kohdistamista oikeaan painikkeeseen (en ole yksin ongelman kanssa, hyviä javaskriptityylitiedostoviritelmiä on netti väärällään, ainoa huono puoli on se että ne eivät toimi oikein eri selaimissa...)
Muutoksia ei ole täällä päässä tapahtunut. Testattiin OS X:n Safarilla (5.0), Firefoxilla (3.0.15) ja Windows XP:n Firefoxilla (3.5.9).

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 15:19
Kirjoittaja Seq
haksu10 kirjoitti:
ZeroOne kirjoitti:Haluaisitko yhtään raottaa tuota teknistä puolta miten tuo tehtiin ennen ja miten se tehdään nyt? Itselläni on töissä ollut mietintämyssyn alla jo jonkin aikaa eräs full text search -ominaisuus. Pieni eksperimentointi on paljastanut että MySQL:n fulltext indexiä hyödyntämällä päästään ehkä 70-80 % nopeutukseen verrattuna "where TEXT like '%sana%'" -tyyppiseen naiiviin hakuun. Lisäksi olen silmäillyt Solrin kaltaisia erillisiä hakumoottoreita, mutta sellaisen käyttöönotto olisi sitten astetta suurempi projekti.
Nooh, tässä taulussa on käytössä vielä tuo perinteinen like -tyyppinen haku joten tältä osin en voi vielä antaa mitään tarkempaa faktaa (vasta kun ehtii tekemään parannuksia ja testaamaan).
tamasochi kirjoitti:Kätköjen karttahaussa on muuttunut ainakin se, että hakukriteerien asettamisen jälkeen pitää klikata jotakin syöttökenttää ennen enterin painamista, muuten haku ei käynnisty. Tämä aiheutti ainakin täällä alkuun harmaita hiuksia.
Eikä selain ole vaihtunut; et ole ottanut premiumia; tehnyt asetusmuutoksia...

Mutta tämän suhteen ei muutosta ole tullut ja itselläni ainakin Operassa toimii tuo enter, tuollaisessa monipainikkeisessa lomakehärvellissä mikä kartta on tuo enterin painallus kohdistuu johonkin selaimen päättämään paikkaan. En toistaiseksi ole löytänyt joka selaimessa oikein toimivaa kohdistamista oikeaan painikkeeseen (en ole yksin ongelman kanssa, hyviä javaskriptityylitiedostoviritelmiä on netti väärällään, ainoa huono puoli on se että ne eivät toimi oikein eri selaimissa...)
Ihan hatusta: Jos ainoastaan "defaultti" olisi <input type=submit ja muissa <input type=button onclick="document.forms[0].submit()", niin silloin siellä olisi vain yksi submitti, johon luulisi, että kaikki selaimet osuisi siihen.

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 16:26
Kirjoittaja haksu10
Seq kirjoitti:Ihan hatusta: Jos ainoastaan "defaultti" olisi <input type=submit ja muissa <input type=button onclick="document.forms[0].submit()", niin silloin siellä olisi vain yksi submitti, johon luulisi, että kaikki selaimet osuisi siihen.
Jep, tämä toimii peräti Internet Explorissa mikäli aktiivisena ei ole alasvetovalikko vaan tekstikenttä.

Operassa ja Firefoxissa en saanut toimimaan joten kun vielä niihin saa toimivuuden ilman että IE:stä se katoaa, ja lisäksi tuon alasvetovalikko-aktiivisuusongelman korjattua, niin johan ollaan pitkällä. Sanoinko että "(en ole yksin ongelman kanssa, hyviä javaskriptityylitiedostoviritelmiä on netti väärällään, ainoa huono puoli on se että ne eivät toimi oikein eri selaimissa...)"

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 16:30
Kirjoittaja haksu10
tamasochi kirjoitti:
haksu10 kirjoitti:Eikä selain ole vaihtunut; et ole ottanut premiumia; tehnyt asetusmuutoksia...

Mutta tämän suhteen ei muutosta ole tullut ja itselläni ainakin Operassa toimii tuo enter, tuollaisessa monipainikkeisessa lomakehärvellissä mikä kartta on tuo enterin painallus kohdistuu johonkin selaimen päättämään paikkaan. En toistaiseksi ole löytänyt joka selaimessa oikein toimivaa kohdistamista oikeaan painikkeeseen (en ole yksin ongelman kanssa, hyviä javaskriptityylitiedostoviritelmiä on netti väärällään, ainoa huono puoli on se että ne eivät toimi oikein eri selaimissa...)
Muutoksia ei ole täällä päässä tapahtunut. Testattiin OS X:n Safarilla (5.0), Firefoxilla (3.0.15) ja Windows XP:n Firefoxilla (3.5.9).
Kas, näköjään alasvetovalikko-ongelma (tai näköjään tarkemmin "muu kuin tekstikenttä aktiivisena") koskee myös firefoxia; jos tekstikenttä on aktiivisena homma toimii.

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 16:33
Kirjoittaja haksu10
haksu10 kirjoitti:Kas, näköjään alasvetovalikko-ongelma (tai näköjään tarkemmin "muu kuin tekstikenttä aktiivisena") koskee myös firefoxia; jos tekstikenttä on aktiivisena homma toimii.
Onneksi ei sentään ole textarea -kenttiä lomakkeessa; niissä enter tekee normaalisti rivivaihdon joten siis vaatisi erillisen näppäinpainallusten käsittelyn javaskriptillä, enterin tunnistuksen ja formin postauksen sen tullessa. Entäpä rivivaihto tekstiareaan? Nooh, vaikkapa kirjoittamalla haluttuun kohtaan <ENTER> joka taas tulkitaan enteriksi postauksen jälkeen.

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 16:38
Kirjoittaja Seq
haksu10 kirjoitti:
haksu10 kirjoitti:Kas, näköjään alasvetovalikko-ongelma (tai näköjään tarkemmin "muu kuin tekstikenttä aktiivisena") koskee myös firefoxia; jos tekstikenttä on aktiivisena homma toimii.
Onneksi ei sentään ole textarea -kenttiä lomakkeessa; niissä enter tekee normaalisti rivivaihdon joten siis vaatisi erillisen näppäinpainallusten käsittelyn javaskriptillä, enterin tunnistuksen ja formin postauksen sen tullessa. Entäpä rivivaihto tekstiareaan? Nooh, vaikkapa kirjoittamalla haluttuun kohtaan <ENTER> joka taas tulkitaan enteriksi postauksen jälkeen.
Purkkaliimaa... Jos laittaa kaikki buttoneina ja onclick=submit:lla, niin ainakin joutuu hiirellä sohimaan, kun noihin ei muistaakseni enter pure.

Tietty, jos toi toimintatapa (kartalla yms olisikin selecti ja vain yksi submitti...

Ehkä näin juhannuksena on vaan liian paljon aikaa...

Nyt vaan purkkeja piiloittamaan...

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 16:47
Kirjoittaja haksu10
Seq kirjoitti:
haksu10 kirjoitti:
haksu10 kirjoitti:Kas, näköjään alasvetovalikko-ongelma (tai näköjään tarkemmin "muu kuin tekstikenttä aktiivisena") koskee myös firefoxia; jos tekstikenttä on aktiivisena homma toimii.
Onneksi ei sentään ole textarea -kenttiä lomakkeessa; niissä enter tekee normaalisti rivivaihdon joten siis vaatisi erillisen näppäinpainallusten käsittelyn javaskriptillä, enterin tunnistuksen ja formin postauksen sen tullessa. Entäpä rivivaihto tekstiareaan? Nooh, vaikkapa kirjoittamalla haluttuun kohtaan <ENTER> joka taas tulkitaan enteriksi postauksen jälkeen.
Purkkaliimaa... Jos laittaa kaikki buttoneina ja onclick=submit:lla, niin ainakin joutuu hiirellä sohimaan, kun noihin ei muistaakseni enter pure.

Tietty, jos toi toimintatapa (kartalla yms olisikin selecti ja vain yksi submitti...

Ehkä näin juhannuksena on vaan liian paljon aikaa...

Nyt vaan purkkeja piiloittamaan...
Juu, ja select = alasvetovalikko ja siinä ollessa enter on ko. elementin hallinnassa joten vaatisi näppäinpainallusten kaappaamista ja ohjausta submit:ttiin...

Joten teoriassa toimivan voisi saada muutamalla kymmenellä rivillä javaskriptiä, luonnollisesti selaimen tunnistuksella, ja uusien selainten testauksella ja mahdollisella koodimuutoksilla ko. selainta varten...

Kuten todettua, en ole tämän kanssa yksin, siksi suhtaudun hyvin skeptisesti mahdollisuuteen toteuttaa tuota järkevästi.


Mutta hei, nyt mä löysin... kun menen hiirellä määräkenttään ja valitsen määrän niin sen jälkeen siirrän hiirtä oikealle ja vähän alas... ja klikkaamalla "Kartalla" -painiketta mä saan kätköt kartalla!!! Ooh, tämä onkin hieno laite, hiiret ja kaikki!!!

Juu, juhannuksena on liikaa aikaa... koodata ja menettää hermonsa...

EDIT: ja juu, se "kartalla" oli submit edelleen, ainoa sellainen...

EDIT 2: ja kartta tuntuisi muuten toimivan odotetusti, eli enterin painallus kohdistuu ensimmäiseen submittiin kuten pitäisikin, mutta vain jos ollaan tekstikentässä. Joku viisaampi voi tutkia speksit miten esim. select:n ollessa aktiivinen on määritelty enterin toiminta...

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 18:55
Kirjoittaja mikko&sira
Loggaustilastosivun linkit jotavat väärään paikkaan, siis nämä:

Grafiikka 2 vuotta | Taulukko löytymisloggauksista | Taulukko kaikista loggauksista

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 19:39
Kirjoittaja haksu10
mikko&sira kirjoitti:Loggaustilastosivun linkit jotavat väärään paikkaan, siis nämä:

Grafiikka 2 vuotta | Taulukko löytymisloggauksista | Taulukko kaikista loggauksista
Suuret kiitokset huomiosta, mun välimuistimuodostaja olikin ollut vallan laiskalla tuulella :P

Nyt korjattu.

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 21:56
Kirjoittaja haksu10
Korjattu Omat tilastot -osuudesta seuraavat kuvat (olivat vallan rikkinäisinä kun päivityskäsky kävi):
- Tilastofaktaa
- Maasto- ja vaikeustaulukko

Re: Sivuston uudistusta

Lähetetty: La 26.06.2010 23:16
Kirjoittaja karkal
"Tilastofaktaa" taulukossa kohdassa "Löytömäärat ulkomailla" on kadonneet maat joissa löydöt on tehty, sekä näiden maiden löytömäärät. Kohdassa on vain löytöjen yhteismäärä seuraavasti "..................... XX". Johtuuko tämä sivuston uudistuksesta, ja onko muutos tarkoituksellinen.

Re: Sivuston uudistusta

Lähetetty: Su 27.06.2010 0:07
Kirjoittaja joulu
Pocket queryllä tuodut ulkomaalaiset kätköt, niin virstanpylväistä on kadonnut kätkötyyppien kuvakkeet. Ei mikään iso juttu, mutta ku virheistä haluttiin tietää.