HTML

Ateista Klub

"Hiszem, hogy a mindenható Isten akarata szerint cselekszem, amikor a zsidóval szemben védekezem és harcolok az Úr művéért!" Adolf Hitler: Mein Kampf

Ateista Klub a Facebookon

Friss hozzászólások

Címkék

1 (1) abortusz (1) adó (1) agnoszticizmus (9) agresszió (3) AIDS (1) áldozat (3) alkotmány (1) államegyház (6) állatvédők (1) altruizmus (1) áltudomány (3) Amerika (1) analitikus (2) analógia (1) anarchizmus (2) anglia (1) antiszemitizmus (1) antropocentrizmus (2) argumentum ad ignorantiam (1) ateista (10) ateisták (1) ateista egyház (4) ateista párt (1) ateizmus (24) ausztria (1) az ateizmus nem hit (6) a hit ereje (2) a vallások vége (11) a vallás bűnei (2) a vallás vége (8) babona (1) bátorság (2) béke (1) bergoglio (3) betegség (8) Biblia (13) biblia (10) bizalom (1) bloggolás (1) boko haram (1) boldogság (10) bolgogság (1) börtön (2) boszorkányüldözés (2) botrány (1) búcsúcédulák (1) buddhizmus (10) bújkáló isten (2) bűnkultusz (2) bűnök (13) bűnözés (37) bűvészet (1) carl sagan (1) cenzúra (5) család (1) csoda (9) csodák (1) dawkins (4) deizmus (7) dekadencia (1) demarkáció (2) demográfia (1) demokrácia (4) Dennett (1) descartes (8) diderot (5) divergencia (15) djihad (2) douglas adams (1) dőzsölés (1) drogok (2) dualizmus (9) dzsihád (2) egyenlőség (2) Egyesült Államok (1) egyház (3) egyházadó (1) egyházállam (18) egyházkritika (5) egyháztörvény (3) egyiptom (1) egzaktság (1) egzisztencializmus (2) eincheitswissenschaft (2) életfilozófia (2) életrajz (2) életszemlélet (5) élet értelme (24) eliminativizmus (1) ellenőrzés (2) ellentmondások (1) elmefilozófia (3) elmélet (1) élmény (3) elnyomás (1) elv (1) empirizmus (4) eq (1) eretnekek (3) erkölcs (26) erkölcsi relativizmus (6) erőszak (11) erotika (2) értékrend (3) értelem (5) értelem és érzelem (7) érvelési hiba (3) érzelem (7) esztétika (3) etika (25) etikaoktatás (2) etikaóra (6) etiopia (1) eu (1) eucharistia (1) evangéliumok (5) evolúció (12) evolúcó (1) ezotéria (5) fanatizmus (8) fejlődés (1) feltámadás (4) felvilágosodás (5) feminizmus (5) feymann (1) film (16) filozófiai racionalizmus (1) filozófus (17) filozófusok (4) finnország (2) finomhangoltság (5) fizika (3) fizikalizmus (3) flow (4) fogalomrendszer (1) függőség (1) fundamentalizmus (6) gonosz (20) gy (1) gyerekek (3) gyilkosság (3) gyónás (1) háború (1) hadisz (1) hadith (1) hagyomány (1) halál (15) halál közeli élmény (2) házasság (2) hazugság (1) hedonizmus (1) Heidegger (2) hézagok istene (1) higiénia (1) himnusz (1) hinduizmus (4) hinduk (1) hírcsárda (1) hit (18) hitchens (3) hittan (4) hitvita (2) hit és tudás (16) hit nélkül élni (8) homeopátia (1) homoszexualitás (7) Hume (2) humor (21) húsvét (1) idealizmus (2) időutazás (1) igazi vallás (1) igazolás (19) igazságosság (1) ikon (1) ima (2) india (1) indonézia (2) indukció (1) inkvizíció (14) instrumentalizmus (2) integráció (1) intellektuális tisztesség (2) intelligencia (4) intelligens tervezés (1) intolerancia (3) irán (1) Irán (1) irodalom (2) irónia (3) isten (10) istenérv (18) Isteni Téveszme (1) istenkáromlás (2) isten halott (1) isten nélkül nincs erkölcs (2) iszlám (45) ízlés (1) izrael (2) játszmaelmélet (1) jézus (18) Jézus (11) jog (1) karácson (1) karácsony (7) karikatúra (1) katasztrófa (1) katolicizmus (11) katolikusok (2) kdnp (3) keresztelés (1) keresztény (8) keresztényésg (3) kereszténység (32) keresztes hadjáratok (1) kettős mérce (1) Kierkegaard (1) kínzás (6) kivégzés (1) klerikalizmus (2) kölcsey (1) kommunizmus (4) kontinentális filozófia (1) könyv (53) könyvégetés (1) korán (3) korrupció (1) körülmetélés (3) középkor (5) kozmológia (2) közösség (1) kreacionizmus (7) kreacionmizus (1) kultúra (2) legenda (1) lélek (7) lengyelország (1) liberalizmus (3) librivox (1) logika (3) lopás (2) lövöldözés (1) luther (2) magyarázat (2) maher (1) mali (1) mária (2) mártírok (1) maslow (1) matematik (1) matematika (2) materializmus (9) matterhorn (1) mazochizmus (1) medicína (1) meditáció (1) mémelmélet (2) menekültkérdés (3) mennyország (12) mese (3) mesterséges intelligencia (6) metafizik (1) metafizika (9) metafóra (4) metodika (1) militantizmus (1) miszt (1) miszticizmus (1) mitológia (2) mítosz (5) modernizáció (2) monizmus (2) monoteizmus (2) moore (1) mormonizmus (1) mormonok (1) multikulti (3) muszlim (2) mutyi (1) művészet (1) múzeum (1) nácizmus (3) naturalizmus (1) NDE (1) németország (4) népek ópiuma (10) népírtás (4) népszámlálás (1) neurobiológia (5) neurózis (2) nevelés (1) nietzsche (4) nobel (1) objektív (6) objektív és szubjektív (5) occam (5) oktatás (11) öncsonkítás (1) öngyilkosság (2) önszerveződés (1) ontológia (3) örök élet (2) orvoslás (1) ősrobbanás (1) összehasonlító valláskritika (1) pál (1) palesztína (1) panteizmus (2) pap (1) pápa (2) paradoxon (1) paranoia (3) pascal (3) pedofília (3) pedofilia (1) plágium (1) pogányság (2) pogrom (1) pokol (3) politeizmus (2) politika (19) pornó (2) pozitivizmus (1) prostitúció (1) provokáció (2) prüdéria (2) pszichedelikus (1) pszichológia (8) rabszolgaság (2) racionalizmus (7) radikalizmus (1) ratzinger (2) redukcionimzus (1) redukcionizmus (2) reform (1) reformáció (1) regresszió (1) reinkarnáció (3) rejtőzködő isten (2) relativizmus (3) remény (1) Richard Dawkins (2) rossz gyógyszer (2) saeed malekpour (1) sajtószabadság (4) sartre (1) sátán (2) sci-fi (2) sorozat (1) spagettiszörny (2) spiritualizmus (4) statisztika (13) Sunday Assembly (3) svájc (1) szabadság (8) szabad akarat (7) szadizmus (3) szekta (2) szekták (4) szekularimzus (3) szekularizmus (40) szemet szemért (1) szent könyv (2) szent tehén (1) szerelem (1) szeretet (6) szex (5) szimuláció (4) szintetikus (2) szintetikus apriori (1) szkepticizmus (2) sztoicizmus (1) szubjektív (7) szüzesség (1) szűznemzés (1) takonyangolna (1) tanmese (22) tanulás (1) taoizmus (1) társadalom (6) tautológia (1) TED (1) teizmus (1) tekintély (1) tény (1) teodícea (1) teodicea (8) teológia (9) teremtés (2) teremté ember az istent (1) természet (1) természettörvények (3) terroizmus (1) terrorizmus (15) tervezés (1) test és elme (4) tinik (1) tízparancsolat (3) tolerancia (2) történelem (8) történelmi jézus (5) transzcendencia (2) transzcendens (4) tudás (2) tudatosság (2) tudomány (18) tudományfilozófia (29) túlvilág (9) tüntetés (2) tv (1) újságírás (2) újtestamentum (2) üldözés (5) undefined (2) Univerzum (5) usa (4) USA (2) utópia (1) üzletegyház (1) vagyon (1) vágyvezérelt gondolkodás (6) vakok országa (3) válás (1) vallás (24) vallásfesztivál (1) vallásháború (6) valláskritika (5) vallások vége (5) vallásszabadság (18) vallástudomány (1) vallásüldözés (2) valószínűségszámítás (3) varázslás (2) vasárnap (2) vatikán (8) vatikáni szerződés (5) végítélet (1) végtelen regresszus (3) véletlen (1) véletlen egybeesés (1) vermes géza (1) vicc (1) videó (6) vikingek (1) világvége (1) vita (1) voltaire (1) vulgáris (1) zavargás (2) zene (2) zsidók (11) zuhanó repülőgép (1) Címkefelhő

Occam borotvája és a regresszió

Brendel Mátyás 2016.09.20. 07:13

Az igazolás elvét sokan ismerik “Occam borotvája” néven is. Sokan ismerik, hogy ez az elv azt mondja ki, hogy csak az olyan dolgok létezését szabad elfogadni, amelyek feltételezése nem felesleges. Vagy lehet úgy is mondani, hogy aminek létezése specifikusan igazolt. Akik erre az elvre hivatkoznak, általában evidensnek veszik, hogy ez az elv miért jó, miért szükséges, miért helyes, miért ésszerű. Ezért ritkán magyarázzák ezt el. A hívők pedig általában nem fogadják el ezt az elvet, vagy legalábbis a saját hitüket kivételnek gondolják, és azt is szokták mondani, hogy az Occam borotvája elv maga is csak egy igazolatlan hit. A hívők és az ateisták közötti legdöntőbb különbség talán pont ez, hogy a hívő ezt az elvet nem fogadja el, és nem is érti, miért olyan fontos ez az elv. Emiatt fontos elmondani, min alapul ez az elv. Ennek megértése ugyanis segíthet az elv jelentőségét elfogadni, és azt is, hogy nem egy önkényes hitszerű szabályról van szó. Egy elv egyébként sem lehet hit, hiszen inkább praktikus szempontból lehet megközelíteni: működik, vagy nem? Occam borotvája pedig szükséges és praktikus elv.

Mesterséges intelligencia kutatóként dolgozom, és ennek során nagyon sokszor ún. klasszifikációs vagy regressziós feladatokat kell megoldani. A regressziós feladat elmondása könnyebb, és egyváltozós függvényekkel laikusok is meg tudják érteni. Képzeljük el tehát el, hogy vannak bizonyos adataink, amelyek adatpárokból állnak. Vannak különféle (valós) x értékek, és hozzá tartozó (valós) y értékek. Ez azt jelenti, hogy adva vannak egy 2 dimenziós koordináta-rendszerben, azaz síkban pontok, különféle x és y értékekkel. A regressziós feladat az, hogy ezekre a pontokra egy függvényt illesszünk. Általában azért, mert azt feltételezzük, hogy a pontjaink egy valódi függvényből vett minták, de esetleg bizonyos hiba, azaz zaj torzítja el őket.

Különféle nagyon jól kidolgozott regressziós módszerek mellett van egy nagyon jó kis praktikus eszköz, amelyet Eureqanak neveznek, egy bizonyos Nutonian Team fejlesztette, és ezt sokszor használtam a munkámban. Ez a program különféle elemi műveletekből és más függvényekből próbálja összerakni azt a függvényt, amely jól illeszkedik a pontokra.

Például képzeljük el, hogy az f(x)=56-5x2 függvényből vannak a adataink.

 

 

 

 

 

 

 

 

 

 

 

Az adataink (kis négyzetek) minták egy valós függvényből (folytonos vonal)

De annyival nehezítsük meg a feladatot, hogy az adunk hozzá az értékekhez egy kis „véletlen” hibát. Azaz az f(x)=56-x2+z függvényről van szó, ahol z a zajt jelöli.

 

 

 

 

 

 

 

 

 

 

 

Az eredeti függvény értékeit kicsit eltorzítottam egy additív zajjal, ami mérési hibát . Az x^2 az x² jelölése az informatikában.

 Akiért kicsit a matematikának, annak elmondom, hogy a táblázatkezelőmben nem volt véletlenszám-generátor, ezért a z=sin(1000x) álvéletlen függvényt használtam. Ennek értékei ebben a felbontásban véletlennek tűnnek.

Ábra 5: Látható, hogy az Eureqa egész jól elboldogult a feladattal. Kb. 10 másodperc alatt már közel jutott a megoldáshoz. A kék görbe a hibát jelzi, és látható, hogy pár próbálkozás után egyszer csak közel jut a megoldáshoz. Utána már csak a konstansok behangolása történik. A zaj miatt nyilván nem várhatunk pontos megoldást, de a sárgával jelölt rész tulajdonképpen az eredeti függvényt adják vissza, a paraméterek egy egész kicsit mások. A maradék rész a zaj becslése, itt nem várhatjuk, hogy megtalálja a szinusz függvényt, hiszen azt szándékosan majdnem véletlennek állítottam be.

Amit itt fontos tudatosítani, az az, hogy az összes lehetséges függvényt nem lehet kipróbálni. Ezért a program az egyszerű függvényektől kiindulva a bonyolultabbak felé haladva keresi a megoldást. Úgy állítottam be, hogy a polinomok terében keressen. A „size” a függvény nagyságát, azaz bonyolultságát méri, és a program igyekszik olyan megoldást találni, aminek kicsi a bonyolultsága. Csak akkor fogad el egy bonyolultabb függvényt, ha az jelentősen jobb. A program kénytelen így eljárni, mert nincs más módszer a megoldás megtalálására. Lehet kicsit variálni az algoritmuson, de alapjában nincs más működő algoritmus erre a feladatra, mint egy keresési fa bejárása az egyszerű függvényektől a bonyolultabbak felé. Ez akkor igaz, ha a feladat megoldását olyan általános alakban keressük, mint az Eureqa. Amennyiben lineáris regresszióról lenne szó, akkor ott már igen leszűkítettük a keresési teret, továbbá tudjuk a hiba gradiensét, és ez segít a keresésben. De az Eureqa elvben sokkal nagyobb függvénytérben is tudna keresni, köztük olyanban is, ahol nincs gradiens. Megjegyzem még, hogy ez a módszer hasonlít az evolúcióhoz, csak itt a populáció a fa aktuális végpontjaiból áll. A reprodukcióban pedig szerintem nincs párosítás, csak mutáció.

De akár fakeresést, akár evolúciót, akár bármi mást veszünk, minden működőképes keresési/optimalizálási algoritmusnak kell tartalmaznia egy olyan elvet, amely egy “kályhát” jelöl meg, ahonnan el lehet indulni, és keresési irányokat jelöl ki a függvények végtelen terében, és egy olyan elv is kell, amelyik részben lekorlátozza, irányítja a keresést, amely az egyszerűbb megoldások felé irányít. Szakszóval a célfüggvénybe be kell építeni egy regulaziációs részt. Mert ugye a “legbonyolultabb” függvényektől nem lehet kezdeni a keresést. Az Eureqa soha nem találta volna meg a megoldást, ha a 1645sin(345x^34) függvénytől kezdi, és a bonyolultabbak felé keres.

Minden függvényt az ember, de még a számítógép sem tud áttekinteni. Muszáj az egyszerűbb megoldásokat preferálni, és a bonyolultabb hipotéziseket büntetni.

Ehhez hasonló az elv, amikor a megfigyeléseinkre, mint adatokra illesztünk hipotéziseket, ami a tudomány, vagy általában a megismerés feladata. Ott sem lehet áttekinteni minden hipotézist, ott is az egyszerűbbektől kell kezdeni, és a feleslegesen bonyolultakat kerülni kell.

A függvényünket egyébként nem véletlenszerűen választottam ki. Pontosan leírja azt, hogy mennyi lenne egy 56 méteres toronyból elejtett kő magassága az idő szerint, ha nem tekintjük a légellenállást, és a gravitációs gyorsulást kereken 10 m/s²-nek vesszük. Az 56 egyébként a Pisai ferde torony közelítő magassága, amiről eszünkbe juthat Galilei állítólagos kísérlete, amit a valóságban nem ő, és nem Pisában vitt véghez, de a példa kedvéért képzeljük el, hogy véghez vitte!

Galileinek körülbelül ilyen adatai lehettek volna, ha az időt és a magasságot elég pontosan tudta volna mérni. A zaj egy kis mérési hibát, vagy légköri perturbációt, vagy más egyenetlenséget is megenged a kő esésében. Na most a képzeletbeli Galileink, ha nincs valami előzetes elképzelése, akkor az Eureqahoz hasonlóan, egyszerű függvényekkel próbálkozhatott volna. És ha nincs valamilyen kifinomultabb regressziós algoritmusa, akkor ilyen próba-és-szerencse módszerrel kísérletezhetett volna. De neki is az egyszerűbbtől a bonyolult felé kellett volna haladnia, mert a 1645sin(345x^34) függvénytől a bonyolultabbtól fele haladva Galilei sem jöhetett volna rá a megoldásra.

Na most ha ezt általánosítjuk a tudományra nézve, akkor ahol csak vannak megfigyeléseink, lehetőleg mérési adataink, és egy magyarázatot keresünk rá egy függvény (vagy egyenlet) formájában, akkor ilyen regressziós feladatot akarunk megoldani. És mindig szükség van erre a regularizációs elvre.

Ennek a regularizációs elvnek egy korai formáját fogalmazza meg az Occam borotvája elv, amely tehát nem valamiféle alaptalan hit, hipotézis, metafizikai elv, hanem egy szükséges módszerbeli elv. Enélkül az elv nélkül emberi és gépi megismerés nem működhet, mivel végtelen számú, és tetszőlegesen bonyolult hipotézist nem tudunk áttekinteni.

A tudományfilozófiában járatosabbaknak megjegyzem, hogy természetesen tisztában vagyok azzal, hogy az Occam borotvája elv, az a különféle tudományos elméletválasztási stratégiákban megfogalmazott ökonomikussági elvek közül csak egy egyszerű, igen korai, kezdetleges megfogalmazás. Hasonlóan a gépi tanulásban alkalmazott többféle regularizációs terminusokhoz, a tudományban is megfogalmazhatóak különféle variánsok.

Ha az itt kifejtett érvekre a hívők azt mondják, hogy az istenről szóló hipotézist az Occam borotvája nem vágja le, mert nem szükségtelenül bonyolult, akkor a válaszom az, hogy de bizony, jelenlegi tudásunk szerint ez így van, hiszen a tudomány nem tarja szükségesnek ezt a hipotézist: “Erre a hipotézisre nem volt szükségem, Uram”. A hipotézis tehát szükségtelen ahhoz, hogy az adatokra függvényt illesszünk. Nélküle is van jó elméletünk, és egy isten feltételezése sem javít az illeszkedésen.

A hívőknek két módja volna arra, hogy az istenben való hit racionális legyen: vagy igazolt vélekedésnek kéne lennie, amelyet Occam borotvája nem diszkvalifikál, vagy meg kéne alkotniuk a hit alapú regressziós módszert. Kíváncsian várom ennek a hit alapú regressziós algoritmusnak az implementációját.:)

Címkék: igazolás mesterséges intelligencia tudományfilozófia occam regresszió

89 komment

A bejegyzés trackback címe:

http://ateistaklub.blog.hu/api/trackback/id/tr6211729787

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben.

szemet 2016.09.20. 16:12:34

Nemcsak a potenciális modellek száma nő a bonyolultsággal. A fordított irány is fontos a legtöbb Occam elv formalizálási kísérletben: egy bonyolultabb többparaméteres modellnek többféle kimenete lehet!

Pl. ha egy másodfokú polinom + zaj bemenetre egy ötödfokú polinom mindig jobban illeszkedik - miért ne válasszuk azt? Miért az egyszerűbbet válasszuk?

Erre vannak rigorózus modellek (egyébként a diszkrét matekban ezek jobbak szerintem mint folytonos esetben, de maradjunk a kiindulási példánál). Az ezek mögött álló intuícióra mondok egy konkrét játékot (ezek az érvek persze jobban generalizálva vannak, de az alapgondolat talán átjön - hogy a specializált/egyszerűbb függvényt miért jobb választani apriori (ha semmi más információnk nincs az adatot generáló eljárásról):

1. Generálok 1 000 000 nagy felbontású példagrafikont ax² + bx + c + véletlen_hiba függvénnyel
2. Generálok egymilliószor annyi 1 000 000 000 000 nagy felbontású példagrafikont ax⁵ + bx⁴+ cx³ + dx² + ex + f + véletlen_hiba függvénnyel

a,b,c,d... paramétereket mindig összevissza véletlenül választom direkt jó nagy intervallumból, hogy a 0 közeli értékek ritkák legyenek.

Az 1 000 001 000 000 grafikonból adok egyet ami meglehetősen másodfokúnak néz ki, azaz a másodfokú polinom is jól illeszkedik rá. Akkor nyersz, ha eltalálod melyik mintából van.

Természetesen az ötödfokú polinom minden esetben jobban fog illeszkedni az adatra - ez nem kérdés - hiszen az ötödfokú polinom a másodfokút is magába fogalja plusz van pár paramétere ami a zajra illeszkedhet.

Valójában viszont az ötödfokú egyenlettel generált polinomok elenyésző hányada lesz másodfokú képlettel jól közelíthető, tul. képpen csak azok ahol (a≈b≈0), amik - pl. ha az összes elképzelhető ötödfokú polinomot vesszük - valójában végtelenül ritkák (zéró valószínűségűek).

Azaz, annak ellenére hogy az ötödfokú polinom illeszkedik a legjobban az összes mintára, abban az esetben amikor a másodfokú "elég" jól illeszkedik (noha rosszabbul mint az ötödfokú) szinte biztos, hogy a másodfokú polinommal generált adatokból kaptunk egyet a többi meg csak zaj...

szemet 2016.09.20. 16:35:33

@szemet: Ok mondjuk polinomoknál nagyon kilóg a lóláb, mert a paraméterek számából illetve nagyságából egyből látszik a bonyolultságuk meg a viszony köztük. De vannak függvények ahol nem látszik egyből, hogy melyik a generikusabb. Korábban már írtam itt egy példát de becopyzom újra:

van két pszichofizikai modell ami a fényerősséget és az észlelt világosság kapcsolatát írja le.

y = a*x^b + Z (Stevens modell)
és
y = a*ln(x + b) + Z (Fechner modell)

ahol Z egy normális eloszlású zaj

Két paraméter van mindkettőben a és b, de a Stevens komplexebb mint Fechner:

Azaz a Stevens modell jóval többféle bemenetre illeszkedik/illeszthető. Így aztán adott esetben annak is nagyobb az esélye, hogy csak zajra illeszkedik.

Ez egész pontosan látszik onnan, hogy ha a Fechner modellel generálunk x-y párokat (különböző paraméterekkel), akkor az esetek két harmadában az eredményekre mégis a Stevens modell fog jobban illeszkedni (pedig az adat nyilvánvalóan Fechner összefüggésű, hiszen azzal generáltuk!).

Ekkor az történik hogy a bonyolultabb Stevens modell részben illeszkedik a Fechner képlet zajkomponensére is!

(Forrás: Myung, I. J., V. Balasubramanian, and M. A. Pitt (2000). Counting probability distributions: Differential geometry and model selection)

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.20. 19:38:45

@szemet: nem vagyok biztos benne, hogy mit állítasz. azt állítod, hogy ha a 1 000 001 000 000 polinom halmazából vesszük véletlenszerűen egy p1 polinomot, amelyre igaz, hogy valamely másodfokú polinomra p2 is jól illeszkedik (valamilyen hibamértéket, és annak valamilyen epszilon toleranciát rögzítve), akkor

nagyobb a valószínűsége, hogy p1 a másodfokúak közül való, mint az, hogy az ötödfokúak közül?

ez lehet, hogy igaz valamilyen mértékre, és valamilyen epszilonra. lehet, hogy függ epszilontól és a mértéktől. továbbá attól is függ, hogy az a,b,c,d,e paramétereket milyen tartományról veszed. aztán még az is kérdéses, hogy a

1 000 000 versus 1 000 000 000 000 arány jogos-e így. érdekes-e egyáltalán az állítás?

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.20. 19:40:49

@szemet: ja, és az se mindegy, hogy az értelmezési tartományt hogy veszed. mert ha x például 0 és 10 között van, akkor az x^5 az ugye már 0 és 10000 között. és mondjuk a 0.1 x^5 még mindig 0 és 1000 között, aztán keress olyan polinomot, amelyik közel másodfokú!:)

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.20. 19:44:26

@szemet:

ez ugye megint attól függ, hogy b-t és x-et milyen tartományon vesszük.

szemet 2016.09.20. 22:21:05

@Brendel Mátyás: Írtam hoy a,b,c... széles tartományból választom, a nagy felbontású grafikon alatt meg azt is érteni akartam hogy x is széles tartományból kerül ki (ami persze tényleg rossz megfogalmazás, mert azt egyáltalán nem jelenti...;)

Ilyen körülmények között szinte lehetetlen hogy egy másodfokú polinom jól illeszkedjen egy véletlen ötödfokúra.

A konkrét példa lehet, hogy nem elég jól specifikált, de mögöttes tartalom igaz:

Ha semmi információd nincs hogy a mért pontok hogyan keletkeznek, a kevesebb féle bemenetre illeszthető (specializáltabb) függvény előnyben van mint a sokféle diverz bemenetre is jól illesztehető komplexebb függvény - bizonyos szintig magasabb illesztési hiba esetén is azt érdemes elfogadni. ( Nagyobb valószínűséggel találod el az igazságot, szemben azzal hogy a véletlen hibákra is illesztesz. ) Hogy mikor/mekkora az a magasabb hiba? Na itt jön be a keményebb matek - a belinkelt cikk pl. egy jó példa/kiindulópont.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 00:39:52

@szemet: teljesen önellentmondásos az, amit írtál.

"Ilyen körülmények között szinte lehetetlen hogy egy másodfokú polinom jól illeszkedjen egy véletlen ötödfokúra."

" a kevesebb féle bemenetre illeszthető (specializáltabb) függvény előnyben van mint a sokféle diverz bemenetre is jól illesztehető komplexebb függvény"

most akkor jól illeszthető, vagy szinte lehetetlen, hogy illeszkedjen?!

szemet 2016.09.21. 03:49:03

@Brendel Mátyás: "kevesebb féle bemenetre illeszthető (specializáltabb) függvény előnyben van mint a sokféle diverz bemenetre is jól illesztehető" ->
előnyben van szemben a sokféle diverz bemenetreis jól....

szemet 2016.09.21. 03:59:17

@Brendel Mátyás: Ok induljunk ki a te példádból. Van 34 adatpontod. Polinomokat keresel. Ez speciel gyors, függetlenül a mérettől, tehát innen nézve mindegy hányadfokút választasz. Egy 32 fokú polinom minden pontra tökéletesen, hiba nélkül illeszkedik - és azonnal megkapod Lagrange-interpolációval.

Miért fogadod el a másodfokú polinomot (aminek van egy kis hibája) a tökéletesen illeszkedő 32 fokúval szemben? Miért a specializáltabb függvényt fogadod el?

szemet 2016.09.21. 04:11:46

@Brendel Mátyás: Az előző kérdésedre: a másodfokú szinte lehetetlen hogy jól illeszkedjen egy véletlen ötödfokúra -> ha jól illeszkedik az adott mintára akkor nagyon nagy valószínűséggel a véletlen másodfokúakból származik a minta

A te feladatod eltalálni hogy a minta alapja másodfokú vagy ötödfokú polinom. Az ötödfokú mindig jobban illeszkedik de te mégis a másodfokút választod ha az eléggé jól illeszkedik, hiszen ekkor nagyon kicsi a valószínűsége hogy az az ötödfokú polinomokkal generált csoportból jön...

szemet 2016.09.21. 08:03:47

@szemet: (szerk: 34 pont esetén természetesen 33 fokú polinomra gondoltam, szóval mindig az adatpontok száma-1 ha tökéletes illeszkedést akarunk)

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 08:33:04

@szemet: benne van a cikkben a válasz.

1) Azért, mert a keresés egy keresési fában történik, amelynek minden szintjén növekszik a polinomok foka. máshogy nem tudod felépíteni a keresési fádat.

2) A keresés egy regularizációt tartalmaz, ami bünteti a komplexitást.

persze én nem tudom egész pontosan az Eureqa algoritmusát, de valami ilyesmi kell, hogy legyen az én tapasztataim, tudásom, a látható működése és a leírása szerint.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 08:37:09

@szemet: egyébként az egy teljesen OK matematikai felismerés, hogy a 33-ad fokú polinomnak 34 paramétere van, a másodfokúnak meg 3, tehát a 34 fokú polinom tökéletesen illeszthető bármely 34 pontra (szerintem 34 adatom volt), mert a 34 ismeretlenes 34 egyenletből álló egyenletrendszer analitikusan megoldható. a másodfokú polinom meg nem. de ez egy ismert, triviális matematikai tétel.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 08:43:53

@szemet:

"a másodfokú szinte lehetetlen hogy jól illeszkedjen egy véletlen ötödfokúra -> ha jól illeszkedik az adott mintára akkor nagyon nagy valószínűséggel a véletlen másodfokúakból származik a minta"

ha ebből egy érdekes matematikai tételt akarsz kihozni, akkor a "nagy valószínűséggel" részénél az állításodnak pontosan kell definiálnod az eseményteret, a valószínűségi eloszlásokat (polinomok és paraméterek sorsolása), az illeszkedésnél a hiba mértékének függvénye, és a hiba elfogadott határa, és akkor vagy pontosan kiszámíthatod a valószínűségeket, vagy lehet, hogy bizonyíthatod az állításod a valószínűségekről, vagy legalább empirikusan legalább szimulálhatod, hogy az állításod igaz.

csak akkor az állításod függ mindazoktól a dolgoktól, amiket felsoroltam, hogy meg kell adnod.

szemet 2016.09.21. 09:29:47

@Brendel Mátyás: " ami bünteti a komplexitás"

Igen és a komplexitás büntetése miért hasznos? Nem elsősorban azért hogy csökkenjen a keresési tér - ez pusztán az eureqa-ra igaz mert az mindent vizsgál agyatlanul de alternatív módszerekkel egészen komplex függvényeket is lehet illeszteni gyorsan megfelelő algoritmussal, pl. 33-ad fokú polinomot csettintésre. Akkor miért jutalmazzuk a kevésbé komplex/generikus függvényt? Alapvetően azért, hogy jobb legyen a modell - kevésbé az zajra illeszkedjen jobban a jelre. Ez az Occam elv lényege.

"csak akkor az állításod függ mindazoktól a dolgoktól, amiket felsoroltam, hogy meg kell adnod"

Csak intitíven akartam megértetni miért fontos az Occam elv: miért részesítsük előnyben az egyszerűbbet, és elismertem hogy a példa nem rigorózus hanem intuitív.

lásd: "Az ezek mögött álló intuícióra mondok egy konkrét játékot (ezek az érvek persze jobban generalizálva vannak)" + adtam egy hivatkozást - neked akkor ezt ajánlom inkább - abban van jobban kidolgozott modell (ezt a részletet talán nem említettem): Myung, I. J., V. Balasubramanian, and M. A. Pitt (2000). Counting probability distributions: Differential geometry and model selection

szemet 2016.09.21. 09:38:02

@Brendel Mátyás: Egy másik nézőpont. A specializáltabb szűkebb tartományra illeszkedő modell többet elárul a bemeneti pontokról mint a generikus. Pont mivel a generikus modell mindenre illeszthető.

Melyik modell árul el többet információt neked egy általad nem ismert grafikonról:

1. 34 pont egy parabola mentén + gauss zaj (mondjuk a példa kedvéért x=1 szórással)
2. 34 pont egy 33 fokú polinomból 0 zajjal

El tudod képzelni hogy nézhet ki reálisan 1. grafikon, mi az ami tuti nem 1.? Hogy nézhet ki a 2. grafikon?

Tudok neked mutatni olyan ábrát hogy egyből kizárod hogy az 1.-es (vagyis nagyon nagyon kis valószínűséggel lehet az), viszont nem tudok neked olyan ábrát mutatni hogy kizárd a 2.-t. Tehát 1. modell pl. falszifikálhatóbb - pont azért mert kevésbé generikus.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 11:26:47

@szemet:

"Igen és a komplexitás büntetése miért hasznos? Nem elsősorban azért hogy csökkenjen a keresési tér"

de. ez a legnyomósabb érv. minden más szempont olyan, hogy jobb vagy rosszabb-e az algoritmus, vagy az eredmény.

de a keresési tér csökkentése azért fontos, mert végtelen keresési térben nem lehet keresni.

tehát nem jó vagy rosszabb a kérdés, hanem lehetséges vagy lehetetlen.

ez jóval nyomósabb szempont, ez az első prioritás.

" - ez pusztán az eureqa-ra igaz mert az mindent vizsgál agyatlanul de alternatív módszerekkel egészen komplex függvényeket is lehet illeszteni gyorsan megfelelő algoritmussal, pl. 33-ad fokú polinomot csettintésre."

semelyik algoritmus sem tud végtelen keresési teret keresni. ha te 33-ad fokú polinomot illesztesz, akkor tulajdonképpen egy olyan komplexitást büntető függvényt alkalmazol, amely a 34-ed fokú polinomnál végtelen büntetést ad, és kizárja. az Euréka regularizációs termje ennél finomabb.

" Akkor miért jutalmazzuk a kevésbé komplex/generikus függvényt? Alapvetően azért, hogy jobb legyen a modell - kevésbé az zajra illeszkedjen jobban a jelre. Ez az Occam elv lényege."

az én mondandóm, és ezt szeretném belátni hívőkkel és ateistákkal, hogy az Occam elv indoklása egy sokkal nyomósabb indoklás: enélkül egyszerűen nem működik a keresés (megismerés).

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 11:28:52

@szemet: ha csak annyit mondasz, hogy "több paraméter, több szabadsági fok", akkor az triviális. ld fentebb. ha ennél többet akarsz mondani, azt pontosabban meg kéne fogalmaznod, és a demonstrációját is.

szemet 2016.09.21. 12:24:45

@Brendel Mátyás: " ha te 33-ad fokú polinomot illesztesz"

Ne 33-ad fokú polinomot illesz hanem minden konkrét feladatodnál n-1 fokút.

Ok, hogy leszűkült a keresési tér: DE hát nem kell soha más függvényosztályt nézned hisz ez is mindig 0 hibával illeszkedni fog!

Ha neked az Occam elv nem mondja, hogy a kevesebb szabadsági fokkal rendelkezőt részesítsd előnyben akár kis hiba árán, akkor minden modellezési problémádat megoldottam egy 0 hibájú gyors illesztéssel!
Mi okod lenne bármikor is más függvényosztályt alkalmaznod? Miben lenne jobb? Miért lenne jobb ha egyszerűbb vagy kevesebb szabadsági foka van? - Az nem válasz hogy mert akkor könnyebb keresni, hiszen a polinom illesztést nem is kellett keresni - szinte ingyen kapod a tökéletest...

"ez jóval nyomósabb szempont, ez az első prioritás."

Szerintem meg a fentiek miatt pont hogy nem.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 13:09:29

@szemet: ha te n pontnál mindig egy n-1-ed fokú polinomot illesztesz, akkor az is egy dolog, de az egy egyenletrendszer megoldása, nem pedig regresszió.

az általános tudományos megismerés során ez azért nem jó párhuzam, mert ott is van ugyan n megfigyelésed, de a törvény, amit ki akarsz hozni, az végtelen megfigyelésre kellene, hogy érvényes legyen. semmi alapod nincs azért n-1-ed fokú polinomot választanod, mert véletlenül n mérésed van. az n mérést ugyanis te határoztad el, tehát egy önkényes szám.

szemet 2016.09.21. 13:34:16

@Brendel Mátyás:
"az egy egyenletrendszer megoldása, nem pedig regresszió"

De. Az egyenletrendszer megoldása pont egy 0 hibájú regressziót ad eredményül, ime a regresszió egy jó definíciója: mathworld.wolfram.com/Regression.html

"A method for fitting a curve (not necessarily a straight line) through a set of points using some goodness-of-fit criterion."

"de a törvény, amit ki akarsz hozni, az végtelen megfigyelésre kellene, hogy érvényes legyen"

Ok. De miért indul bármivel is rosszabb eséllyel az n-1-ed fokú polinom bármi máshoz képest? Az is interpolálható minden irányba.

Bár pont azt látom hogy szerinted nem is indul rosszabb eséllyel - csak szerintem (mégpedig amiatt amit én tartok az Occam elv lényegének;)

1. Ha bármilyen más modellt választasz akkor is ugyanúgy előfordulhat hogy az új mérési adatok fényében módosítanod kell, ha már elégedetlen vagy a hibával

2. Ez legalább az összes eddig MÁR meglévő mérési adatra 0 hibával illeszkedik

Nos a kérdés továbbra is áll: miért nem választod az egyelőre 0 hibájú és gyorsan kiszámítható regressziót bármi mással szemben?

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 18:54:47

@szemet: már válaszoltam. sajnálom, hogy nem fogtad fel. ha te a polinom fokszámát a mérési adataid számához állítod be, akkor azt feltételezed, hogy a természettörvény ahhoz igazodik, hogy te hányat mértél. az meg baromság.

szemet 2016.09.21. 19:51:06

@Brendel Mátyás: Nagyobb valószínűséggel hibázol rá a természettörvényre ha kevésbbé generikus függvényt illesztesz?

Igen/nem Miért?

szemet 2016.09.21. 20:19:12

Az én válaszom a kérdéseimre:

A különbség köztünk, hogy te az Occam elvet elsősorban a felfedezés kontextusában tartod fontosnak. Én meg az igazolásban is mint egyfajta heurisztika. Ami meglepő módon gyakran sikeres. (Én végső soron szarok a felfedezésre felőlem ott "anything goes", meg is álmodhatják...)

Ha csak ott lenne jó az Occam elv, nekem annyra nem is lenne kedves.

De számomra ha két tudós hoz két alternatív elméletet (azaz a felfedezést egyelőre rég letudtuk), akkor az elméletek egyszerűsége egyik komponens(elismerten heurisztikus) abban hogy melyik elméletet tartsam jobbnak. Persze itt sajnos az egyszerűség legtöbbször nem definiálható mindenki számára kielégítően - így aki nem fogadja el az Occam elvet erre mindig hivatkozhat.

Ezért örülök a regressziós példának!

Nagyon jó definícíókat lehet ugynis adni a függvények komplexitására (lásd belinkelt cikk), ráadásul olyat ami egy "térbe" helyezi ezt a mértéket az illesztés hibájával, hogy lehessen egyfajta minimumot keresni: ott ahol a kettő összege minimális (Lásd pl hivatkozott cikk / összes minimal description length kutatás)

Ezek az illesztések sokszor jobban működnek mint sok régi heurisztika (pl. AIC, BIC). A formalizált Occam elv sikere az igazolás kontextusában (pl két meglévő közelítő függvény közti választásban), ad egyfajta intuitív támogatást a generikusabb Occam elv heurisztikus alkalmazhatóságára.

Nem vitatom a felfedezésben is hasznoss lehet az egyszerűbtől indulni de ha csak erre korlátozzuk a dolgot számomra az negyedkarú óriás...

Tehát a természettörvényeknél (regressziónál) nem a kereshetőségben (felfedezés) való szerepe, hanem az igazoláshoz való hozzájárulása miatt alkalmaznám. A minimum description lenght formalizációk megadják az intuíciót hogy miért éri meg adott pontig az egyszerűbb de nagyobb hibájú modellt választani - sikerük az Occam elv sikere az igazolás tartományában is, noha csak egy szűkebb tartományban (pl. pont a függvényillesztés) mint a teljes, minden tudományos elméletre alkalmazni kívánt Occam elv.

szemet 2016.09.21. 20:30:11

@Brendel Mátyás: Tehát hogy az én szubjektív értékítéleteimet tisztázzuk:

ha valamilyen módszer hasznos a felfedezésben és töredék olyan hasznos az igazolásban az "az első prioritás" nálam akkor is az igazolásban betöltött szerepe lenne mert a felfedezést töredék annyira érdekel. Ha lenne rajtam publish or perish nyomás hogy ne haljak éhen bizonyára átértékelném ezt ;)

szemet 2016.09.21. 20:39:31

Még egy megjegyzés: szerintem az Occam elv felfedezésben is a heurisztikus igazoló ereje miatt hasznos igazán: Különben ráillesztem az n-1-ed fokú polinomot mindenre - és kész vagyok. Nagyobb valószínűséggel lesz azonban igaz (akár természettörvény esetén is) ha egyszerűbb függvényekkel próbálkozom, és ezért próbálkozom azokkal - nem a keresési tér miatt. Ha ez nem lenne, SEMMI OKOM nem lenne egyszerű függvényt használni, használjuk a pontosat... Akkor pont ugyanúgy lehet akár az is a természettörvény!

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 21:58:23

@szemet: a kérdés értelmetlen. nem adtál meg eseményteret, eloszlást, semmit.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 22:00:49

@szemet: a hajadra kenheted az igazolás kontextusát, ha a felfedezés kontextusa nem működik, és nem ad neked igazolni valót.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 22:03:07

@szemet: még mindig nem fogod fel, pedig már leírtam. te arról beszélsz, hogy az Occam borotvája miért hasznos. elég pontatanul érvelsz emellett.

én ennél sokkal erősebbet állítok: az Occam borotvája nélkülözhetetlen. ez sokkal fontosabb érv.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.21. 22:04:35

@szemet: "ráillesztem az n-1-ed fokú polinomot mindenre - és kész vagyok."

már megbeszéltük, hogy bugyuta vagy, ha azt hiszed, hogy a természettörvénynek n-1-ed fokúnak kell lennie, mert te n mérést végeztél, és majd lesz szíves alkalmazkodni hozzád.

szemet 2016.09.22. 07:01:17

@Brendel Mátyás: De jem heurisztikus stem azt, a természettörvény független attól mit illesztek, decel akarom találni sz igazságot, erre válaszolj kérlek:

Nagyobb valószínűséggel hibázol rá a természettörvényre ha kevésbbé generikus függvényt illesztesz?

Igen/nem Miért?

szemet 2016.09.22. 07:03:58

@szemet: valami ott maradt copy paste hiba az eleje, újra:

Nem hiszem, a természettörvény független attól mit illesztek, de el akarom találni az igazságot, erre válaszolj kérlek:

Nagyobb valószínűséggel hibázol rá a természettörvényre ha kevésbbé generikus függvényt illesztesz?

Igen/nem Miért?

szemet 2016.09.22. 07:54:40

Ok. Felfedezés kontextusában is van rengeteg heurisztika. A kimerítő keresés + Occam elv csak egy, és nem mindig alkalmazható - az exponenciális robbanás így is úgy is elintézi bizonyos modellméret felett! Oda már okosabb heurisztika kell.

Tehát ha eleve tudod hogy a modell bonyolult lesz az eureqa-val nem is kezdhetsz, ez az módszer nem hogy nélkülözhetetlen hanem működésképtelen.

Konkrét példa, tfh. MI kutató vagy és állásra jelentkezel egy keresőcégnél:

- Van egy csomó indexelt képfájlunk (mondjuk 512x512 mátrix fényesség és esetleg színértékekkel ezt persze ők majd megadják), kérjük közelítse azt a függvényt aminek bemenete egy ilyen mátrix kimenete 1 ha van rajta cica 0 ha nincs

- B.M. sic. "alapjában nincs más működő algoritmus erre a feladatra, mint egy keresési fa bejárása az egyszerű függvényektől a bonyolultabbak felé"

- Köszönjük majd értesítjük.

Ugye, hogy a felfedezés (modellalkotás) kontextusa is bővebb ennél azért?

szemet 2016.09.22. 08:02:11

@Brendel Mátyás: "Nagyobb valószínűséggel hibázol rá a természettörvényre ha kevésbbé generikus függvényt illesztesz? "

Ha zavar a frekventilista megfogalmazás (engem kicsit igen, hiszen természettörvény nem terem minden bokorban) a bayesi valsz. megfogalmazás valami ilyesmi lenne:

"Alapvetően erősebben hiszed-e egy egyszerűbb függvényről hogy az lehet a természettörvény mint egy bonyolultabbról?"

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.22. 10:19:44

@szemet: már válaszoltam, hogy ez egy nem elég jól meghatározott kérdés ahhoz, hogy lehessen rá válaszolni.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.22. 10:22:16

@szemet: "Nem hiszem, a természettörvény független attól mit illesztek"

tehát nem hiszed, hogy a természettörvény n-1-ed fokú, de azt illeszted. önkényesen tettél meg egy iszonyatosan kizáró döntést.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.22. 10:35:24

@szemet:

"Tehát ha eleve tudod hogy a modell bonyolult lesz az eureqa-val nem is kezdhetsz, ez az módszer nem hogy nélkülözhetetlen hanem működésképtelen. "

Nem fogtad fel, hogy az Eureqa egy példa, egy párhuzam. És a regularizáció, illetve a fabejárás megfelel Occam borotvájának.

A párhuzam:

Regressziós példa - tudományos megismerés
eureqa - tudomáűnyos módszer
regularizáció - Occam borotvája

szó sincs arról, hogy az Eureqa-t alkalmaznám ez egész tudományra.

ugyanez a baj a példáddal is. azt sikerült elfelejtened amnéziás zavarodban, hogy az Eureqa egy párhuzam, egy egyszerű példa. nincs szó arról, hogy az Eureqa algoritmusa maga lenne a megoldás minden kutatási kérdésre.

Egyébként a bináris klasszifikációs feladat megoldásának folyamatában is megtalálható keresési fa is meg regularizáció is:

1) Például keresési fát fogsz alkalmazni, ha wrapper method alapú feature selectiont csinálsz.

en.wikipedia.org/wiki/Feature_extraction

vagy regularized tree módszerrel:

en.wikipedia.org/wiki/Feature_selection#Regularized_trees

2) A modellednél kifejezetten divatosak az utóbbi években azok a modellek, amelyek regularizációt, és ritka megoldást keresnek.

3) Az overfitting miatt kifejezetten megpróbálsz majd kevésbé komplex modellt alkalmazni. Például, ha a kpmplexitás 1 paraméterrel állyíítható, akkor cross-validationt csinálsz ennek a paraméternek a beállításához. Például, ha decision tree-t alkalmazol, akkor a fa mélységét akarod beállítani. Mondanom sem kell, hogy nem a végtelen felől csinálod a próbálgatást, hanem a kicsi fák felől indulsz.

Ne akarj a gépi tanulás és a filozófia kapcsolatában okosabb lenni nálam!

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.22. 10:38:07

@szemet: "Alapvetően erősebben hiszed-e egy egyszerűbb függvényről hogy az lehet a természettörvény mint egy bonyolultabbról?"

nem. ateista vagyok nem hiszek. nincs olyan előfeltevésem, hogy a természet törvényeinek "szépnek", egyszerűnek kell lennie. sőt, olyan előfeltevésem sincs, hogy kell lennie természettörvényeknek. azt, hogy a természetben kell, hogy legyen némi regularitás onnan lehet gondolni, hogy a homo sapiens létezik, és életképes. de ez már empirikus alapú meggondolás.

szemet 2016.09.22. 12:32:30

@Brendel Mátyás: "Az overfitting miatt kifejezetten megpróbálsz majd kevésbé komplex modellt alkalmazni."

Na ugye ez amit én az Occam elv fő analógiájának hiszek. Te meg folyton a keresési tér csökkentését emlegeted.

Ha már van két óriási modelled ami már létezik, az egyik preferencia hogy melyik az egyszerűbb - na ez már számomra az igazolás kontextusa. És itt fontos az Occam elv.

"kifejezetten divatosak"

Ok tehát akkor már nem nélkülözhetetlen az Occam elv+kimeritő keresés a felfedezés kontextusában - mint eddig vélted. Csak divatosak.
Akármilyen rossz példát írtam valami csak átjön ;)

szemet 2016.09.22. 12:39:08

@Brendel Mátyás: " n-1-ed fokú, de azt illeszted"

Én nem az illesztem, Azt nem éretm te miért nem azt illeszted? Te miért preferálod az egyszerűbbet?

Az Occam elvben van egy ilyen aprióri jelleg, hogy: akkor is ha semmit sem tudunk a modellezendő adatokról a két ekvivalens vagy közelítően ekvivalens modell közül az egyszerűbb felé hajlunk.

Ebből a modellezés keresési fájának csökkentése SEMMIT nem magyaráz meg. Az a felfedezés nem az igazolás oldala. Ha neked ennyi az Occam elv, akkor nem értem TE miért kapálódzol egy gyorsan megkereshető pontos megoldás ellen... A te aggályaidat az kezeli. ;)

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.22. 15:01:07

@szemet:

"Na ugye ez amit én az Occam elv fő analógiájának hiszek."

No de ez másodlagos szempont ahhoz képest, mint amiről én írtam. Egy overfitted modell is tud valamit, de már nem ideális. Ehhez képest, amit én írtam, az működés-nem működés kérdése.

Az overfitting, mint jelenség, ráadásul szintén nem jósolható meg előre. Nem lehet rá pontos szabályokat mondani. Ha tudnál ilyet, akkor kiemelt NIPS paper lenne a cikked. De amit te irkáltál, az nem is ez a megközelítés volt, és nem is volt precíz.

"Ok tehát akkor már nem nélkülözhetetlen az Occam elv+kimeritő keresés a felfedezés kontextusában - mint eddig vélted. Csak divatosak."

A tudományban általában nélkülözhetetlen. Egy bizonyos fix machine learning modellben a sparsity divatos. De itt a modell egyébként már eleve le van szűkítve egy bizonyos ML algoritmusra. Nem tudom, hogy miért ezen a speciális dolgon lovagolsz.

"Akármilyen rossz példát írtam valami csak átjön ;)"

Nem valószínű, hogy tudsz nekem újat mondani. Inkább idegesítő vagy.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.22. 15:06:06

@szemet: "Te miért preferálod az egyszerűbbet?"

Megmondtam: mert a keresési teret végesre kell szűkíteni. Más értelmes leszűkítés meg nem létezik. A "legbonyolultabbak" felől nem kezdhetem a keresést.

"Ebből a modellezés keresési fájának csökkentése SEMMIT nem magyaráz meg."

De. Próbáld meg a végtelen fát a végtelenedik szint felől kiindulva vágni! Nem lehet.

szemet 2016.09.22. 15:20:16

@Brendel Mátyás:

B.M: "nincs olyan előfeltevésem, hogy a természet törvényeinek "szépnek", egyszerűnek kell lennie"

v.s.

szemet: "ha semmit sem tudunk a modellezendő adatokról a két ekvivalens vagy közelítően ekvivalens modell közül az egyszerűbb felé hajlunk"

Ehhez egy kis kiegészítés egy másik adott modellezési területről, csak érdekességképpen:

A "semmit nem tudunk"-ot úgy értsd, hogy akár tényleg semmit, és ennek van formálisan is igazolt alapja pl. a bayesi modell alkotásban (algorithmic probability**).

Röviden:

1. Az alap bayesi modell választás akkor használható ha már van egy H hipotézis halmazod, és azok között akarsz dönteni, melyik reprezentálja legjobban az adatot. (H persze lehet végtelen, pl a hipotéziseknek lehetnek szabadon változtatható paraméterei)

2. Minden hipotézishez az algoritmus minden lépésében fenntartasz egy szubjektív valószínűséget (folytonos több paraméteres esetben itt nyilván egy akár többdimenziós sűrűségfüggvényed van). Nos ez nem is igazán valószínűség hanem az adott hipotézisbe vetett bayesi hit (belief nem faith), azaz hogy mennyire célszerű hinned***, hogy az adott hipotézis magyarázza az adatot (ezek 0-1-ig terjedő számok, amik a valószínűségi axiómák szerint viselkednek - lásd dutch book argument - emiatt egyszerűbben gondolhatunk rá valószínűségként hiszen ugyanúgy számolunk vele)

3. Ha jön egy új mérés a Bayes képlet alapján átsúlyozod a fenti valószínűségeket

Itt ugye van egy kis probléma:

Mi van amikor még egy mért adat se jött*, van egy hipotézis tered de egyelőre nincsenek hozzá valószínűségek amiket updatelhetsz ha jönnek mérési adatok. Milyen apriori eloszlással induldsz? Mi a legcélszerűbb választás? Pl. azonos valószínűség minden hipotézishez?

FORMALIZÁLT ÉRVEK vannak rá (algorithmic probability** (universal prior néven is fut), Solomonoff induction) hogy a legcélszerűbb választás amikor még semmit nem tudsz, hogy az apriori valószínűségeket a hipotézisek komplexitásának arányában célszerű elosztani! Azaz a komplexebb hipotézisek kisebb apriori valószínűséget míg az egyszerűbbek nagyobbat kell kapjanak.

Ha valami ez nekem erősebb intuitív támogatás a generikus Occam elv mellet is, mint a keresési térrel való bohóckodás. Igenis bizonyítottan apriori előnyös lehet az egyszerűbb elméleteket előnybe részesíteni (legalábbis a fenti bayesi esetre ez bizonyított). Mérés nélkül persze ez 0 információt ad az igazságról, egyszerűen az egyszerű elméletek kis helyzeti előnyből indulnak amikor megindul a mérés.

B.M. "Nincs olyan előfeltevésem, hogy a természet törvényeinek "szépnek", egyszerűnek kell lennie""

A fenti formalizált érv alapján igenis lehet, hogy nem az egyenletes eloszlás a kitüntetett optimalitás szempontjából még apriori hitnek se, hanem az Occam elv, az egyszerűség előnybe részesítése itt is beleszól.

* Itt megbicsaklik kicsit a történet, mert akkor honnan van hipotézistered? Az érv lényegét nem érinti de kitalálhatunk valamit a hogy kerek legyen a sztori- pl. egy másik tudóscsoport tanulmányát próbálod replikálni, a hipotézistered ekkor az ő hipotéziseik amit független méréssel próbálsz te is igazolni.

** www.scholarpedia.org/article/Algorithmic_probability

*** Mint a Monty hall paradoxon - a nyeremény 1 valószínűséggel van ott azegyik ajtó mögött, de te ezt nem tudod ezért a hiteid kezdetben 1/3,1/3,1/3 amit átsúlyozol a játék folyamán hogy közeledjen az igazsághoz

szemet 2016.09.22. 15:25:53

@Brendel Mátyás: Hát ez én képtelen vagyok összerakni - még mindig.

Ha n-1 fokú polinomot illesztesz nincs keresés, és kész. Számodra semmiben sem kitüntetett az egyszerűbb modell ezen túl - tehát akkor minden görbeillesztési problémádat megoldottam!

Miért nem fogadod el ezt az azonnali komplex megoldást? Szerinted az egyszerűbb semivel se valószínűbb hogy helyesebbnek fog bizonyulni, és még erőfeszítést is teszel hogy keresd. Miért?

(Bocsánat ha idegesítő vagyok, de ezt még mindig sehogy sem értem...)

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.22. 20:42:53

@szemet: nem tudom, hogy miért vagy olyan debil, hogy felfogd, a "működik-nem működik" érv erősebb érv az Occam borotvája mellett, mint az összes dolog, amit összezagyváltál itt.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.22. 20:48:24

@szemet:

"Ha n-1 fokú polinomot illesztesz nincs keresés, és kész. Számodra semmiben sem kitüntetett az egyszerűbb modell ezen túl - tehát akkor minden görbeillesztési problémádat megoldottam!"

azért nincs keresés, te húgyagyú, mert a keresési teret egy polinomra szűkítetted. és nem bírod megmagyarázni, hogy ugyan, mi a fasznak csináltad ezt?!

"Miért nem fogadod el ezt az azonnali komplex megoldást?"

hányszor kell leírnom, mire felfogod, te agyhalott, hogy azért, mert semmi okom azt hinni, hogy a természettörvény egy n-1-ed fokú polinom, és hogy kizárjak minden más polinomot.

" Szerinted az egyszerűbb semivel se valószínűbb hogy helyesebbnek fog bizonyulni, és még erőfeszítést is teszel hogy keresd. Miért?"

ahhoz, hogy valahol keressek valamit, nem kell, hogy valószínűbb legyen. elég az, hogy nem lehetetlen, és belefér a keresési időmbe.

ha az n-1-ed fokú polinomot kiszámoljuk, akkor te mi a fasznak nem próbálod ki az n-2-ed fokú polinomot, te agyhalott?!

szemet 2016.09.22. 20:58:38

@Brendel Mátyás:
" semmi okom azt hinni, hogy a természettörvény egy n-1-ed fokú polinom"

És ugyan mi okod van azt hinni hogy valami más? Te erre semmi érvet nem hoztál. Ez már most tökéletesen illeszkedik minden általad ismert megfigyelésre és a te Occam elved csak a keresési tér csökkentésére hasznos, arra nem hogy bármilyen más pl. n-2 fokú őpolinomot előnyben részesíts.

"mi a fasznak nem próbálod ki az n-2"

Én kiprobálnám, mert apriori nagyobb valószínűséget adnék neki hogy az a jobb modell - amit persze mérési adatok hamar átsúlyoznak ha nincs igazam...

szemet 2016.09.22. 21:12:26

@Brendel Mátyás: " az összes dolog, amit összezagyváltál itt"

1. Ha nem érted a bayesi érvelésem - adtam kulcsszavakat hogy képezd magad, utána tudsz nézni hogy nem a fantáziám terméke az egész. ;)

2. De intuitívan is lehet érezni miért lehet helyes ott ha már apriori büntetést kap a komplexebb modell:

Ahogy egyesével jönnek be a megfigyelések a komplexebb modell eleinte nem azért fog nagyon jól illeszkedni mert valószínűleg igaz, hanem azért mert az BÁRMIRE jól illeszkedne a generikussága miatt!

(Pl. ha modellek között van n-1-ed fokú polinom (hogy kedvelt példát hozzak) az első n mérés pont beesése semmi konfirmációt nem hoz a modell igazságára, bármi jönne az illeszthető lenne.

Ha a komplexebb modell egyenlő apriri esélyekkel indulna mint az egyszerűbb modellek mire bejönne az n-edik pont talán már vezetné a listát mint legvalószínűbben igaz modell - ami egyértelműen hibás súlyozás lenne)

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.22. 21:21:51

@szemet:

"1. Ha nem érted a bayesi érvelésem - adtam kulcsszavakat hogy képezd magad, utána tudsz nézni hogy nem a fantáziám terméke az egész. ;)"

jobban értem, mint te.

"Ahogy egyesével jönnek be a megfigyelések a komplexebb modell eleinte nem azért fog nagyon jól illeszkedni mert valószínűleg igaz, hanem azért mert az BÁRMIRE jól illeszkedne a generikussága miatt!"

Sokadjára fogalmazod meg ugyanazt a dolgot pongyolán. Mi a faszból gondolod, hogy ha elsőnek nem fogadtam el pontosan megfogalmazott állításnak vagy kérdésnek, akkor 23. esetre elfogadom?! Te tényleg ennyire hülye vagy?!

És még mindig nem fogod fel, hogy nekem ennél nyomósabb érvem van az Occam borotvája elv mellett, és erre te köpni-nyelni nem tudtál csak ignorálni.

(Pl. ha modellek között van n-1-ed fokú polinom (hogy kedvelt példát hozzak) az első n mérés pont beesése semmi konfirmációt nem hoz a modell igazságára, bármi jönne az illeszthető lenne.

Ha a komplexebb modell egyenlő apriri esélyekkel indulna mint az egyszerűbb modellek mire bejönne az n-edik pont talán már vezetné a listát mint legvalószínűbben igaz modell - ami egyértelműen hibás súlyozás lenne)

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.22. 21:32:06

@szemet: "És ugyan mi okod van azt hinni hogy valami más?"

Azért csináljuk a keresést, faszfejkém, mert ezt se hisszük, meg azt se, és kipróbáljuk.

"Ez már most tökéletesen illeszkedik minden általad ismert megfigyelésre és a te Occam elved csak a keresési tér csökkentésére hasznos, arra nem hogy bármilyen más pl. n-2 fokú őpolinomot előnyben részesíts."

Mi van, ha az n-2-ed fokú polinom is tökéletesen illeszkedik? Mi van, ha a 0-ad fokú polinom is tökéletesen illeszkedik?! Mértél n-et, és egy konstans értéked van, de te olyan hülye vagy, hogy n-1-ed fokú polinomot illesztettél rá. Nálad hülyébb sincs a világon!:)

"Én kiprobálnám, mert apriori nagyobb valószínűséget adnék neki hogy az a jobb modell - amit persze mérési adatok hamar átsúlyoznak ha nincs igazam... "

Tehát akkor te azt mondod, hogy n mérés esetén az n-1-ed fokú polinomtól lefelé mennél. Három gond van ezzel:

1) Az algoritmusod az alapján működik, hogy hányat mérünk, ami eszeveszett debilség.

2) Lényegében te is lekorlátoztad a keresési teret, csak egy másik összefüggés alapján. Csakhogy ez az összefüggés, mint mondtam, azon alapul, hogy hányat mértünk. Ezen pedig nem alapulhat.

3) Gyakorlatilag az algoritmusod működésképtelenné válik, ha sok a mérésünk. Teljesen normális eset az, hogy van mondjuk 10000 pontunk. Ez esetben te a 9999-ed fokú polinomtól indulnál el.

Szerintem neked em kell gépi tanulásban kutatói állásra jelentkezni, de még egyetemre is kár lenne.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.22. 21:34:01

@szemet:

sok sok éves akadémiai és ipari mesterséges intelligencia kutatói tapasztalattal rendelkezve mondom neked, hogy nagyon sokszor korlátozzuk a modellünket azért az egyszerűbbekre, mert csak annyi erőforrásunk van, hogy ezeket kipróbáljuk, több nincs.

szemet 2016.09.23. 05:43:28

@Brendel Mátyás: "hogy n mérés esetén az n-1-ed fokú polinomtól lefelé mennél"

Nem. A kidseb fokú polinom eleve nagyobb aoriori valószínűségfel indul nálam mint feltehetően jó modell a mérés megkezdése előtt(jó Occam elv analógia) . Te ezzel szemben pusztán "kényelmi okból" indulsz ott mert az kevesbé munkás (nem olyan jó Occam elv analógia)

" Az algoritmusod az alapján működik, hogy hányat mérünk, ami eszeveszett debilség."
"

???

Adok egy érmét 10 dobás 6 fej 4 írás. Mennyire tartod valószínűnek ez alapján azt a modellt hogy kiegyensúlyozatlan szemben azzal hogy átlagos(ami apriori elég valószínű)

100000 dobás 600000 fej, 400000 írás?

Debilség lenne különbséget tenned. Te debil vagy? Kérlek válaszolj!

"
Szerintem neked em kell gépi tanulásban kutatói állásra jelentkezni, de még egyetemre is kár lenne."

A fentiek fényében mekérdezhetem te hogy csúsztál át?

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.23. 10:49:32

@szemet:

"A kidseb fokú polinom eleve nagyobb aoriori valószínűségfel indul nálam mint feltehetően jó modell a mérés megkezdése előtt(jó Occam elv analógia). Te ezzel szemben pusztán "kényelmi okból" indulsz ott mert az kevesbé munkás (nem olyan jó Occam elv analógia)"

Először is tisztázzuk, hogy az algoritmusod honnan indulna, és hogy járná be a polinomokat! mert az én algoritmusom elég nyilvánvaló, kb, mint az Eureqa. Te viszont össze-vissza zagyválsz.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.23. 10:55:42

@szemet:

"Adok egy érmét 10 dobás 6 fej 4 írás. Mennyire tartod valószínűnek ez alapján azt a modellt hogy kiegyensúlyozatlan szemben azzal hogy átlagos(ami apriori elég valószínű)"

a dolgot hopotézis-vizsgálatnak hívják a statisztikában, és pontosan megadható a válasz. elég nyilvánvaló egyébként, hogy amennyiben binomiális eloszlással modellezed, akkor p értékére a legjobb becslés az, hogy 0.4. ami egy kicsit kiegyensúlyozatlan.

"100000 dobás 600000 fej, 400000 írás?
Debilség lenne különbséget tenned."

ugyanaz a válasz. a konfidenciák mások. az, hogy ennek a statisztika jegyzetben kikereshető statisztikai hipotézisvizsgálatnak mi köze a kérdéshez, azt elfelejtetted leírni, mert a fejed egy nagy szemétdomb.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.23. 10:58:52

@szemet:

a következő hozzászólásodban hazudtál arról, hogy én mit írtam kommentben, mi történt a kommentekben. továbbá katatóniás debil szintjén már vagy ötödjére írod le ugyanazt a hülyeséget, amire már válaszoltam. ezért töröltem. a jövőben minden hazugságodat törlöm, és minden olyan kommentedet, amelyikben olyat kérdezel újra, amire már válaszoltam.

ez itt nem az elmegyógyintézet, vagy vitázol, vagy kidoblak! hazudozókra, meg katatóniás debilekre nincs szükségem.

szemet 2016.09.23. 12:18:02

@Brendel Mátyás: "a következő hozzászólásodban hazudtál arról, hogy én mit írtam kommentben"

De hát rendre idéztelek, pontosan, szó szerint!

szemet 2016.09.23. 12:27:37

@Brendel Mátyás: "mi köze a kérdéshez, azt elfelejtetted leírni"

A mérések száma befolyásolja hogy melyik modellhez mekkora valószínűséget racionális rendelni.

Maradva a bayesi keretrendszerben a belief functionra a beta eloszlás adódik. Nézd a különbséget, úgy indulunk hogy apriori mindenféle fej/írás eloszlású érme egyforma valószínű (ami azért valóságban nem igaz, de különbség így is látszik):

6 fej 4 írás - ennek ellenére menyire erősen racionális hinned a la Bayes hogy a fej valószínűsége < 0.51, mindezen mérés fényében
0.273982013813353644
www.wolframalpha.com/input/?i=N+(beta+distibution+6+4++%3C+0.51)

6000000 fej 400000 írás menyire erősen racionális hinned a la Bayes hogy a fej valószínűsége < 0.51, mindezen mérés fényében
1.34 * 10^-7097
www.wolframalpha.com/input/?i=N+(beta+distibution+600000+400000++%3C+0.51)

szemet 2016.09.23. 12:40:51

fej valószínűsége <0.5 vs >0.5 be vetett hitet beszédesebb nézni inkább, ez csak:

0.254 vs 0.746 a kevés mérésnél

míg már:
3.36*10^-8748 vs 1.0 - 3.36*10^-8748 a sok mérésnél

szemet 2016.09.23. 13:27:04

Elrontottam: beta(5,7) és beta(400001,600001) a két releváns függvény, egy amikor beta(1,1) a kiindulási apriori eloszlás (amikor minden kimenetelnek egyforma valószínűséget adunk): max 2 század eltérést jelent(pl. 0.25 helyett 0.27) - emiatt nem updatelem az összes adatot a úgyis csak a nagyságrendek változása a lényeg, ahogy a mérési adatok száma nő

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.23. 14:03:24

@szemet: "De hát rendre idéztelek, pontosan, szó szerint!"

hazudtál arról, hogy azt mire mondtam, azaz mi volt a kontextus.

nyilvánvalóan nem állítottam, hogy minden gépi tanulásos algoritmus fakeresés.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.23. 14:48:55

@szemet: "úgy indulunk hogy apriori mindenféle fej/írás eloszlású érme egyforma valószínű"

igen, de ez ugyebár ebből az igen kérdéses a priori feltevésből adódik. az algoritmusod bár gyakorlatilag valóban alkalmaznak ilyet, elméletileg erősen kérdéses. ráadásul a 10 vagy 100000 mérésedet kell kombinálnod az a priori valószínűségekkel. És ilyenkor kérdéses, hogy az apriori hipotézist milyen súllyal veszed? Ez a súly azt fejezi ki, hogy az a priori hipotézised hány mérésen alapul. Ami ugyebár nem egy megmondható szám.

mindenesetre itt csak azért függ az eredmény a mérések számától, mert összehasonlítjuk az a priori mérések számával, ami ráadásul kérdéses dolog, mivel az utóbbit nem tudjuk.

egy olyan algoritmus, ami nem inkrementális volna, hanem csak és kizárólag a méréseket venné figyelembe, nem volna ilyen.

tehát érvként ez is elbukott.

szemet 2016.09.23. 15:41:59

@Brendel Mátyás: "az apriori hipotézist milyen súllyal veszed"

Ebben a bayesi keretrendszerben az apriori eloszlás magában hordozza a súlyozást. A bayes képlet megadja milyen súllyal esik latba az apriori szemben a mért eredménnyel.

(A bayesi feltételes valószínűségi képlet ezt optimálisan kezeli minden paraméter nélkül. Azaz pl. ha sok kísérletet teszünk különböző érmékkel (amelyek kiegyensúlyozása TÉNYLEG egyenletes eloszlásból kerül ki). 100 dobás mindegyikkel utána meg mondjuk ilyesmi fogadásokat kötnénk a "hit" függvényeink értelmében:
mekkora oddsal teszel fel mondjuk pénzt P(FEJ<0.3) igazságára

Utána megtudnánk milyen az érme és besöpörnénk a nyereményt ha van.

Akkor a bayesi updatetet használó járna legjobban hosszútávon, az ő oddsai a rendelkezésre álló információ fényében optimálisak...

Tehát a súlyozás az apriori eloszlásban van kódolva:

Ha apriori erősen hiszed hogy 0.8 a fej valószínűsége akkor ott éles hupli van a density függvényen kis szórással - és akkor tényleg lehet hogy sok mérés kell hogy meggyőződj valami másról (relevánsan elmozduljon a várható érték/módus).

De ha az apriori eloszlás egyenletes 0-1 között azt bayesi értelemben nem tudod erősen megingathatatlanul hinni (és nem is optimális a fenti fogadós játékban pl.), mert nincs ott semmilyen kitüntetett érték/prekoncepció, aminek meg kell győződnöd az ellenkezőjéről. Az első mért érték rögtön kitüntetetté válik. Törvényszerűen és ellenállás nélkül azonnal a "fej/összes dobás" arányhoz kezdesz konvergálni, a hited szórásának csökkenésének mértéke mérésről mérésre a bayes képletből egyértelműen kijön, nem paraméterként van jelen.

szemet 2016.09.23. 15:48:24

@Brendel Mátyás: "ami nem inkrementális volna"

Ok. De ugye mindketten pusztán "tudomány analógiák"-ról beszélünk. A bayesi modellválasztás is egyfajta analógia ami a tudomány dinamikus/történeti fejlődésére hajazhat:

- Folyamatosan jönnek az új megfigyelések, és ennek hatására fejlődnek a modellek, régebbiek cáfolódnak, korábban elképzelhetetlenek igazolódnak.

Bizonyíték, hogy nem csak én gondolom jó analógiának. Vannak akik egyenesen episztomológiai alapnak teszik meg:
plato.stanford.edu/entries/epistemology-bayesian/

szemet 2016.09.23. 17:17:54

@szemet: "az apriori eloszlás egyenletes 0-1 között"

A konkrét szűk példában azért sem lehet ezt hinni, mert ha ez lenne tényleg az igazság (mondjuk az érme egyensúlya dinamikusan véletlenszerűen oszcillálna egyenletes eloszlással, nem stabilan rgy kitüntetett arány lenne) az ilyen érmét pusztán a dobás sora alapján lehetelen megkülönböztetni a tökéletesen kiegyensúlyozottól, ehhez már más típusú vizsgálat kéne... Tehát ezt az apriori feltevést pont nem tudja igazolni a feldobós teszt...

szemet 2016.09.23. 17:35:46

@szemet: Az eloző kommentem tul. képpen triviális főleg irreleváns zaj, elismerem.

A modell nyilván csak a dobás sor eloszlásárol állíthat bármit (és ebben konvergálhat az igazsághoz) mert ennyi a bemenete, semmit magáról az érméről hogy az ezt konkrétan fizikailag hogyan implementálja...

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.23. 19:09:38

@szemet:

elég szarul magyarázol, egy kis gondolkodás után arra jutottam, hogy a következőt lehet mondani: az igaz, hogy ha 10000-szer dobsz fel egy pénzérmét, akkor annak r relatív gyakoriságok kisebb valószínűséggel fognak eltérni a p valószínűségtől, mint ha csak 10-et dobsz. azaz P(|p-r|>e) több dobás esetén kisebb, mint kevesebb dobás esetén. ennek megfelelően, ha r>0.5+e, akkor sok dobás esetén kisebb valószínűséget adhatunk annak, hogy p értéke mégis a 0,5 e sugarú környezetében van, azaz |p-0,5|<e.

így például P(|p-0,5|<0.01)= nagyobb 10 sorsolásnál I(0.51,6,4)-I(0.49,6,4), mint, mint 10000-nél: I(0.51,6000,4000)-I(0.49,6000,4000)

de hogy ennek mi a faszköze van a vitatott kérdéshez, azt nem tudom.

szemet 2016.09.23. 19:53:03

@Brendel Mátyás: "ennek mi a faszköze van a vitatott kérdéshez"

Erről a pontról van szó:
" Az algoritmusod az alapján működik, hogy hányat mérünk, ami eszeveszett debilség."
"

Nem debilség, ezt racionális figyelembe venni:

A generikusabb modellillesztéses esetben, a mérések számától is függ hogy a komplex modell (aminek emiatt apriori még kisebb valószínűséget adtunk) fölébe tud-e kerekedni az egyszerűbb modellnek. Kevés mérésnél ez képtelenség, és irracionális is lenne mert a komplex modell adott esetben akár ott bármire illeszkedne tehát kevés mérés amúgysem konfirmálná.

szemet 2016.09.23. 20:04:14

@Brendel Mátyás: "elég szarul magyarázol"

Az a helyzet, hogy amit írok csak akkor érded amikor végre sikerül frekventilista modellbe átranszformálnod magadban a bayesit.. Mint itt az idézet után tetted.

Az eredmények gyakran hasonlóak de metodológiában és mögöttes jelentésben eltérnek. A frekventilista felfogásban a külső igazsághoz rendelünk valószínűségi értéket: "az érme p valószínűséggel ilyen"

A bayesiben a saját elméleteink igazságában való "hithez" a rendelkezésre álló információink alapján: "p súllyal racionális hinnünk hogy az érme ilyen"

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.23. 20:20:32

@szemet: az egészen más, hogy több adat esetén egy becslés konfidenciaintervalluma csökken, és más az, hogy nagyobb fokszámú polinomot alkalmazol modellnek, te barom!

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.23. 20:59:56

@szemet: az egészen más, hogy több adat esetén egy becslés konfidencia-intervalluma csökken, és más az, hogy nagyobb fokszámú polinomot alkalmazol modellnek, te barom!

mindkét esetben a p = 0,6 (fej valószínűsége) a legjobb becslés, csak mások a konfidencia-intervallumok.

ez azzal analóg, mint ha egy sok adaton és kevés adaton végrehajtott regresszió eredménye ugyanaz, csak a sok adat esetén biztosabb lehetsz a becslésben.

egészen más az, hogy a sok adat esetén másik polinomot akarsz használni.

szemet 2016.09.23. 21:20:18

@Brendel Mátyás: "egészen más az, hogy a sok adat esetén másik polinomot akarsz használni"

"mindkét esetben a p = 0,6 (fej valószínűsége) a legjobb becslés"

Itt egy modell egy paraméterrel volt a hipotézistérben. Ez kiterjeszthető. Ha több modell van ott (pl összes polinom 0-tól n-1 fokig azok egymástól vonják el a valószínűségeket a mért adatok fényében.

Kevés adatnál a komplex függvény nem győzi le az apriori nagyobb vsz-ű egyszerűbbet, később viszont van rá esélye hogy ledolgozza a hátrányát.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.24. 00:09:27

@szemet: "Ha több modell van ott (pl összes polinom 0-tól n-1 fokig azok egymástól vonják el a valószínűségeket a mért adatok fényében."

1) a kérdés, amitől ide jutottunk az volt, hogy te csak az n-1-ed fokú polinomot akartad illeszteni. most megint visszatáncolsz a 0-tól n-1-ed fokú összes polinom kipróbálásához. arra is képtelen vagy, hogy egy állítás mellett kitarts.

2) az, hogy mi lenne az algoritmusod a 0-ad fokútól az n-1-ed fokú polinomok kipróbálására, amely radikálisan különbözne az Eureqa algoritmusától nem válaszoltál. az alternatívádnak olyannak kéne lennie, hogy a komplexitás nem a kiindulópont és a bejárás meghatározására, és nem a keresési tér lekorlátozására szolgál. nem tudsz ilyen algoritmust mondani. mert nincs olyan algoritmus, ami működne a kiindulópont, a bejárás definiálása, és a keresési tér korlátozása nélkül. a komplexitás helyett pedig mást alkalmazni hülyeség lenne.

3) ha a komplexitást regulaziációra használod, az egy praktikus dolog, csak 2-höz képest másodrendű érv az Occam borotvája elv mellett

szemet 2016.09.24. 05:45:59

@Brendel Mátyás: "hogy te csak az n-1-ed fokú polinomot akartad illeszteni"

De hát nem. Végig mindenhol amellet érveltem hogy ÉN apriori az egyszerűbb modelleket előnybe hoznám akár a nagyobb relatív hibájuk ellenére. (Occam elv nekem)

És azt nem értettem, hogy TE miért nem csak azt illesztedd ha az Occam elv neked pusztán a keresési tér csökkentése. Az egy 0 hibáju regresszió 0 keresési térrel.

Lásd pl.:

"Ha neked az Occam elv nem mondja, hogy a kevesebb szabadsági fokkal rendelkezőt részesítsd előnyben akár kis hiba árán, akkor minden modellezési problémádat megoldottam egy 0 hibájú gyors illesztéssel!
Mi okod lenne bármikor is más függvényosztályt alkalmaznod?"

szemet 2016.09.24. 06:06:21

@Brendel Mátyás: "nincs olyan algoritmus, ami működne a kiindulópont, a bejárás definiálása, és a keresési tér korlátozása nélkül"

Sőt: A legjobb Occam elv formalizációk a Kolmogorov komplexitáson alapulnak ami egyenesen kiszámíthatatlan(pl. Minimum description length principle), szóval amit mondanak/bizonyítanak bizonyítottan nem alkalmazható (csak közelítve, heurisztikusan).

A Pi-re bebizonyított tételek érdektelenek és semmitmondóak attól hogy a mérnökök csak pár első jegyét használják és elégedettek ezzel a közelíttéssel?

A kör kerülete bizonyítottan 2rPi (mérnököktől függetlenül), az adat legkissebb kolmogorov komplexitású leirása meg bizonyítottan a legjobb modell:

És ez akkor is az Occam elv egy formális igazolása marad ha nem konstruktív...

szemet 2016.09.24. 07:03:06

Tehát ha matenatikusok bebizonyítják hogy legtömörebb reprezentáció=legjobb modell (és itt pusztán a teljesítményre gondolnak és efyáltalán nem is foglakoznak a konstrukció nehézségével) az én asszociációm erre: aha szóval Occam elv

Te meg ezzel kevered:
en.m.wikipedia.org/wiki/Streetlight_effect

Ez nem az Occam elv, külön neve is van...

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.24. 07:13:19

@szemet:

"És azt nem értettem, hogy TE miért nem csak azt illesztedd ha az Occam elv neked pusztán a keresési tér csökkentése. Az egy 0 hibáju regresszió 0 keresési térrel."

és ezt kismilliószor megkérdezted, és én kismilliószor adtam neked erre tökéletes választ, és te kismilliószor újrakérdezted.

és a tökéletes válasz erre is az, hogy azért, mert ez

1) egy nem működő algoritmus, mert praktikusan képtelenség, ha n nagy.
2) értelmetlenség azt feltételezni, hogy a természettörvény pont n-1-ed fokú. elméletileg tarthatatlan a keresési tér ilyen szűkítése

ez a válasz tökéletes, és megfelel a gondolatmenetnek, csak te egy hülye, makacs, betonfejű fasz vagy, aki nem akarja felfogni, és erősködik.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.24. 07:15:40

@szemet: "nincs olyan algoritmus, ami működne a kiindulópont, a bejárás definiálása, és a keresési tér korlátozása nélkül"

erre nem reagáltál, ehelyett mellébeszéltél. erre mondom, hogy neked van egy rögeszméd, és fel sem fogod, amit írtam. csak fújod a rögeszmédet

szemet 2016.09.24. 07:18:46

@Brendel Mátyás: Ok nevezdát a cikjed:

Miért fontos streelight effect a tudományban. És akkor vitáink azzonnal a töredékére esnek...

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.24. 07:26:24

@szemet:

en.m.wikipedia.org/wiki/Streetlight_effect

azt kéne felfognod, hülyegyerek, hogy

1) a streetlight effect lehet observational bias akkor, ha módodban áll nagyobb keresési teret bejárnod. ha lehetséges volna a lámpafényen kívül is keresni a kulcsot, akkor observational bias lenne. de ha nincs, akkor nem az.

2) a vicc is csak azzal a premisszával vicces, hogy "drunk replies, no, and that he lost them in the park". azaz, hogy tudja, hogy a leszűkített keresési térben nincs megoldás

na most a regressziós feladatunkban, és a tudományos kutatásban PONT EZ NEM IGAZ.

amennyiben a részeg elvesztette a kulcsát, nem tudja, hogy hol vesztette el, akár a lámpa alatt is lehet, és csak a lámpa alatt tudja némi eséllyel keresni, akkor a lámpa alatt keresni nem observational bias, hanem az egyetlen értelmes és működő algoritmus, faparasztkám!

és az én állításom, hogy az Occam borotvája elv egy ilyet valósít meg.

az csak egy másodlagos szempont, hogy az egyszerűbb természettörvényeket jobban szeretjük, mert ez egy praktikus szempont, és mi a faszod jelentősége van a praktikus szempontnak egy olyan szemponttal szemben, ami az algoritmus lehetőségét vagy lehetetlenségét dönti el?!

ha az egyetlen űködő algoritmus csak és kizárólag egy kurvára bonyolult megoldást adna a problémádra, akkor te nem választanád azt a működő algoritmust a nem működővel szemben?!

te tényleg ekkora debil vagy?!

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.24. 07:33:26

@szemet: azt kéne még felfognod, faszfejkém, hogy

akárhogy is mutatod ki, hogy az egyszerűbb modelleknek praktikus haszna van, ha a vita tudományfilozófiai, akkor a hívő tud azzal jönni, és szoktak azzal jönni, hogy. "na és, bazdmeg, ki mondta, hogy a modelled igazság, csak azért, mert praktikusan neked jobb"? a hívő azzal jön neked, hogy neked van egy metafizikai feltételezésed, hogy a számodra jobb természettörvény az igazság. sőt, azzal fog neked jönni, hogy ezzel te tulajdonképpen istenben hiszel. vagy azzal, hogy lám-lám, ő hisz istenben, és neki aztán tökéletes alapja van arra, hogy azt higgye, hogy isten ilyen jóra teremtette a világot, hogy ilyen jó kis kompakt természettörvényei vannak

én erre tudom azt mondani, hogy a faszt. szó sincs arról, hogy pusztán az egyszerűbb törvény jobb. ennél sokkal nyomósabb érvem van, nevezetesen, hogy le kell szűkíteni a keresési teret, illetve strukturálni kell a keresési teret ahhoz, hogy egyáltalán keresni tudjunk. az én válaszom nem az, hogy egy csupán praktikus dolgot teszünk meg elvnek, hanem az, hogy egy életbevágó dolgot kell elvnek megtennünk, mert nincs más. én ki tudom védeni, hogy ez egy metafizikai feltevés.

felfogtad, hülyegyerek?!

szemet 2016.09.24. 11:06:20

@Brendel Mátyás: Ha abból indulunk ki mit értenek meg a hívők akkor nagyon messze kerülünk az igazságtól! ;)

A te érveidből meg lehet csak annyit értenek, hogy Isten létezésének modelljét nem kell keresni mert kinyilatkoztatta magát a bibliában, meg lejött a Földre stb . - így nem is hátrányos ha komplexebb az ilyen modell!

Ha neked érv egy hipotetikus buta hívő véleménye akkor MOST cáfoltalak. :P

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.09.24. 11:46:15

@szemet:

"Ha abból indulunk ki mit értenek meg a hívők akkor nagyon messze kerülünk az igazságtól! ;)"

ez egy ateista oldal. itt a hívők "érveire" is megpróbálok ellenérveket adni. ha neked ez nem tetszik, mehetsz a kosárfonó oldalra!

a hívőknek van egy érve. az én ellenérvem erősebb, mint a tied. ha te ezt nem bírod felfogni, akkor ne nagyon ugrálj, hogy a hívők mit tudnak felfogni! elég hülye vagy tenmagad is!

Boroka Toth 2016.10.04. 15:08:09

A tudomány nem tarja szükségesnek ezt a hipotézist, és Isten nélkül egyszerűbb? Ez szubjektív, az egyszerűség szubjektív. Nem mond nekem, hogy nincsenek emberek, akiknek Isten egyszerűbb, mint a tudomány. Neked lehet, hogy Isten fölösleges hipotézis, de másoknak nem az. És a tudomány nem válaszol minden kérdésre, hanem csak széttárja a kezét, míg egyes embereknek igenis vannak olyan létkérdéseik, amiknek kapcsán szükségük van válaszra, hitre, ami teljessé teszi a világképüket. És nem arról van szó, hogy a hülye ember, aki nem érti a tudományt, az a hittel tölti ki a világképének azt a részét, amit a tudomány meg tudna magyarázni. Éppen a tudomány az, ami széttárja a kezét adott esetben, és hagy üres foltokat. Persze a vallás is hagyhat üres foltokat, csak az a kérdés, hogy kit milyen üres folt zavar. A materialistát nem zavarnak bizonyos foltok, és nincs szükségük a hitre, míg a hívőket nem zavarnak más foltok, és nincs szükségük a tudományra, vagy éppen mindkettőt elfogadják a maga helyén.

Boroka Toth 2016.10.04. 15:30:45

szemet-nek van igaza, szegény Brendel állítólagos MI kutatóként nagyon mellélőtt, ezzel az Occam borotvával, bár mondjuk már akkor gyanús volt a kompetenciája, amikor táblázatkezelőt használt az illusztrációhoz. Igenis lehet kezelni elvben akár végtelen sok modellt is, vagy egy diszkrét probléma esetén megszámlálhatót, ott vannak a nem-parametrikus modellek is, illetve véges modelltér esetén is alkalmazzuk az Occam borotváját, és ott is magyarázatra szorulna, hogy mégis miért. A valódi okhoz szemet jár közelebb. Ha valaki többet szeretne tudni, akkor pedig itt egy jó előadás:
davidnagy.web.elte.hu/eloadas/kiseloadas/statlearn_structurelearning_may4_ELTE.pdf
85. oldal környékén
és érdemes elolvasni az eredeti cikket, amikből az ábrák valók ...

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.10.04. 18:26:09

@Boroka Toth:

"Neked lehet, hogy Isten fölösleges hipotézis, de másoknak nem az."

Ez a tudományt tekintve nem szubjektív kérdés. Elfogadott-e a tudományos közösségben az, hogy isten fölösleges hipotézis? IGEN. Miért? Azért, mert ha szükséges hipotézis volna, akkor valamely tudományág kimondaná, hogy: "isten márpedig létezik, ez és ez igazolja", kifejtve: "isten márpedig létezik, ezen és ezen jelenségek magyarázatához szükséges"

ilyet a tudomány nem mond ki. tehát a tudományban isten fölösleges hipotézis. na most ehhez képest az, hogy egyes embereknek a magánéletében isten "nem fölösleges" a "fölösleges" egy olyan értelmét tekintve, aminek semmi köze a deduktív-nomológ megismerési modellhez, az egy más kérdés, és ez tényleg szubjektív. éppen ezért nem is érv.

" És a tudomány nem válaszol minden kérdésre, hanem csak széttárja a kezét"

van olyan, hogy a tudomány nem válaszol egy olyan kérdésre, ami szintetikus kérdés, és általános jelentősége van, például, hogy van-e földönkívüli élet, de olyankor meg az emberek, a papok az egyházak még kurvára jobban széttárják a kezüket. vagy ha mondanak erre bármi választ, annak kurvára semmi alapja.

"míg egyes embereknek igenis vannak olyan létkérdéseik, amiknek kapcsán szükségük van válaszra"

a létkérdések olyan kérdések, amire nincs igaz és hamis válasz, és az embereknek nem válaszokra, hanem döntésekre van szükségük. ehhez viszont kurvára semmi szükség a hülye papokra.

például azt, hogy "mi legyek, ha nagy leszek?"

1) mindenkinek magának kell eldönteni.
2) elmegy a pap a jó büdös francba, ha ebbe bele akar szólni!
3) Józsi döntése más, mint Béla döntése, azaz egyik sem igaz, vagy hamis.

összekeverted az objektív kérdéseket, amire van igaz válasz a szubjektív döntésekkel, amik nem igazak vagy hamisak.

és nem, nincs szükség semmiféle hitre ezeknek eldöntéséhez.

ld még:

ateistaklub.blog.hu/2015/02/19/mi_a_nehez_az_elet_ertelmevel_kapcsolatban

ateistaklub.blog.hu/2013/10/03/lehet-e_hit_nelkul_elni

ateistaklub.blog.hu/2016/06/08/a_tudomany_illetkekessege_valasz_freund_tamasnak

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.10.04. 18:38:13

@Boroka Toth:

a nem-parametrikus statisztikus tanulási modellekkel az a gond, hogy bár az agyunk tényleges működéséhez van sok köze, a tudomány működéséhez és a formális gondolkodáshoz viszont nem.

tehát amikor azt modellezed, hogy hogy tanul egy ember ágyúval célba lőni, annak lehet egy ilyen modell jó modellje. viszont ha azt akarod leírni, hogy hogyan születik meg a ballisztika tudománya, akkor annak kurvára nem.

és a ballisztika tudósa valószínűleg kurva rossz ágyúmester, az ágyúmester meg kurva rossz tudós.

szemétnek meg nem volt igaza, és egészen más dolgokat állított, mint te.

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.10.04. 19:01:10

@Boroka Toth:

és természetesen, szigorúan véve nincs nem-parametrikus modell, mert mindig van olyan, hogy tanulási ráta, mindig van olyan, hogy milyen kerneleket használsz, mindig van olyan, hogy a struktúrád maximális mérete mekkora, milyen az összeköttetési struktúra, és hasonlók. olyan tanulási modell nincs, hogy: "ebből akármilyen modell kijöhet, és egyetlen dolgot sem lehet beállítani rajta"

Boroka Toth 2016.10.14. 13:57:21

A tudomány számára valóban fölösleges hipotézis egyelőre. De azt hiszem, hogy te nem a tudományról beszéltél, és nem is az lenne a lényeg. Mesterséges intelligenciáról beszéltél, és bár a tudomány művelése is hasonló folyamatnak tekinthető, azaz megismerésnek, mint egy mesterséges intelligencia optimális következtetései. De a mesterséges intelligenciát azt hittem, hogy a biológiai intelligenciával akartad első sorban párhuzamba állítani. A példádban szereplő regresszió vagy klasszifikáció az emberek számára is fontos. Szóval én azt hittem, hogy a gondolatmeneted lényege az, hogy egy optimálisan működő embereknek nincs szüksége istenre, mint hipotézisre, mert egy mesterséges intelligenciának sincsen. Ezzel a normatív-elvre épülő gondolattal csak az a baj, hogy:
1) kérdés, hogy mi az optimális
2) az ember nem optimális, csak szuboptimális
3) és nincsen még mesterséges intelligencia, csak néhány módszer
Az ateizmus szempontjából nem az a lényeg, hogy a tudománynak szüksége van-e istenre, hanem az, hogy az embernek szüksége van-e rá. És ennek megválaszolása egyáltalán nem triviális, még annak a normatív-elvnek a lefektetése sem, aminek fényében aztán a kérdés eldönthető lenne. Már csak azért sem, mert ennek a kérdésnek vannak, személyes, társadalmi, szociológiai, pszichológia és egyéb vonatkozásai. Ezért nagy bátorság, amikor kijelented isten szükségtelenségét mindenki számára valami triviális fél mondatos indoklással. Ezt már többször megtetted, és nem a tudomány számára való szükségtelenségét állítottad csak, hanem az ember számára való szükségtelenségét!

Brendel Mátyás · http://ateistaklub.blog.hu/ 2016.10.14. 15:08:06

@Boroka Toth: nem. a post arról szól, hogy a tudománynak miért van szüksége egy Occam borotvájához hasonló ékonomikussági elvre. és azt állítom, hogy erre nem csak, mint "de jó, ha gazdaságosabb modellünk van" szinten van szükség, azaz nem csak "nice to have" szinten, hanem egyenesen szükségszerű. ezt illusztráltam az Eureqa típusú regressziós feladattal.

ezzel szemben te felvetheted, hogy vannak nem parametrikus modellek, csak nem ez volt a kérdés. azonkívül, hogy eme modelleknél is vannak azért paraméterek, illetve ezeknél a modelleknél a nagyon nagy "paraméterválasztás" az, amikor a modellt leszűkítik egy nagyon szűk modellcsaládra, vagy egyetlen modellre.