Statystyka, prognozowanie, ekonometria, data mining Strona Główna
Reklama pqstat.pl
Statystyka, prognozowanie, ekonometria, data mining
Forum miłośników statystyki - Portal Statystyczny

FAQFAQ  SzukajSzukaj  UżytkownicyUżytkownicy  GrupyGrupy  StatystykiStatystyki
RejestracjaRejestracja  ZalogujZaloguj  Chat   Regulamin  Kadra forum
PORTAL STATYSTYCZNY
 Ogłoszenie 
FORUM STATYSTYCZNE MA JUŻ 10 LAT

Znasz statystykę lub ekonometrię, metody prognozowania, data mining i chcesz pomóc w rozwoju forum statystycznego ?
Pisz na: administrator(małpa)statystycy.pl

Rozpoczął swoją działalność portal statystyczny - masz pomysł na jego rozwój ?

Drogi forumowiczu! Zanim napiszesz posta zapoznaj się z regulaminem forum i przedstaw się
The International Year of Statistics (Statistics2013) Free statistics help forum. Discuss statistical research, statistical consulting Smarter Poland Portal statystyczny

Poprzedni temat «» Następny temat

Tagi tematu: Brak tagów.

Test normalności Shapiro-Wilka
Autor Wiadomość
Jackiller 
Starszy Szeregowy


Pomógł: 1 raz
Posty: 18
Skąd: Pruszków
Wysłany: 2007-01-07, 15:28   Test normalności Shapiro-Wilka

Witam

I od razu prośba o pomoc (dodam że jeszcze nie mam żadnej książki od statystyki - jesli możecie to polećcie coś praktycznego w tej tematyce )

Jako że zajmuję sie Sztucznymi Sieciami Neuronowymi otrzymałem takie oto wyniki (100 losowań wejśc a prezentowane dane to odpowiedzi sieci).

0,260308802
0,317405522
0,364796728
0,316454381
0,31356445
0,387688994
0,397250026
0,346589595
0,33914417
0,253615916
0,329760134
0,339645028
0,254017889
0,353880495
0,322692275
0,205546603
0,2351408
0,378602535
0,34836477
0,29424116
0,350548327
0,403935343
0,112288065
0,356764853
0,281685889
0,256912529
0,176708221
0,323082358
0,326530635
0,323319107
0,33353138
0,320195138
0,327203363
0,342940629
0,202947989
0,28319782
0,356485844
0,341950685
0,34223333
0,179071546
0,281115651
0,231962383
0,374856085
0,286098242
0,31383425
0,307949275
0,268965691
0,328009099
0,350016028
0,358907878
0,356920689
0,306374371
0,338502407
0,322077692
0,361354113
0,30031845
0,354510874
0,336073875
0,169896394
0,320026219
0,340127885
0,29092434
0,39413178
0,379904121
0,362488747
0,277213514
0,376869768
0,372068465
0,291746557
0,320584923
0,325979143
0,33437714
0,358018368
0,268830359
0,399784923
0,38344872
0,313028514
0,213650048
0,303689361
0,32142666
0,364130229
0,206462994
0,344346255
0,369363487
0,302799731
0,347810566
0,235632539
0,350261211
0,342984736
0,335541874
0,242161736
0,355773211
0,36115703
0,2643435
0,334678769
0,179927722
0,355849802
0,365175635
0,250031054
0,175566912


Oczywiście - wszystko mogę sobie zrobić w statystyce - ale ja musze to napisać w VBA for Excel i zintegrować ze swoją aplikacją

Dla tych przykładowych danych Statistika daje taki wynik (załącznik)



Z internetu mam to (załącznik 2)


Ale ni groma nie wiem jak to przeniesc na program...
ze wzoru na W - nie rozumiem "licznika" czyli x(i) i ai
niby niżej to opisano ale...

Generalnie musze określić z automatu - czy dany rozkład jest zblizony do normalnego (w jakim stopniu) i
1) ALBO spróbować dopasować jakieś inne rozkłady, o ile kształty histogramów
sie powtarzają i spróbować wyznaczyć przedziały ufności dla tych innych
rozkladów
2) ALBO zastanowić sie, jak podawać rozrzuty dla takich właśnie kształtów
(może osobne odchylenie średnie w góre i w dół?) etc...

Ale póki co skupię sie na zaprogramowaniu testu W


Prosze o pomoc

statystyka shapiro wilk.jpg
test Shapiro Wilka
Plik ściągnięto 4046 raz(y) 54,84 KB

stat.jpg
Plik ściągnięto 2539 raz(y) 151,56 KB

Ostatnio zmieniony przez mathkit 2013-04-23, 10:32, w całości zmieniany 4 razy  
 
     
Google

Wysłany:    Reklama google.

 
 
mathkit 
Major



Pomógł: 46 razy
Wiek: 33
Posty: 1301
Skąd: Katowice
Wysłany: 2007-01-09, 00:10   

W teście Shapiro - Wilka najpierw porządkuje się niemalejąco wartości , za statystykę testową przyjmuje się zmienną losową:



różnice są tzw. quasi -rozstępami rzędu .
są stałymi zależnymi zarówno od liczności próbki, jak i od .

Osobiście dysponuję tablicami, dla próbek bowiem dla tak dużych próbek jak Twoja zawsze przeprowadzałem test chi-kwadrat albo Lilleforsa.
Ciekawi mnie jak generować te współczynniki. Myślę, że to pytanie do teoretyków. Może Duracell coś wykombinuje, on jest dobry w te klocki.
 
 
     
duraCELL 
Sierżant


Pomógł: 4 razy
Posty: 64
Skąd: Wrocław
Wysłany: 2007-01-09, 20:38   

Ale z Was, Sierzancie, Dowcipnis;-)

a nie

mozecie liczyc tych wspolczynnikow ze wzoru, ktory podaje Wikipedia?;-)

Dobra, jak widac, statystyka testowa

W jest ilorazem dwu kwadratow - mianownik na pewno kazdy rozpoznaje - licznik natomist jest najlepszym liniowym

nieobciazonym estymatorem skali, jak dobrze pamietam - tak sie chyba go konstruowalo... ale wymaga sprawdzenia... a

moze to jest estymator Downton'a?
Ostatnio zmieniony przez duraCELL 2007-05-18, 18:14, w całości zmieniany 3 razy  
 
     
mathkit 
Major



Pomógł: 46 razy
Wiek: 33
Posty: 1301
Skąd: Katowice
Wysłany: 2007-01-09, 21:00   

:mrgreen: He he, niezły kawał z tym Excelem. Może ma jeszcze :mrgreen: Cramera von Misesa....

Jeżeli mnie pamięć nie myli, sam kiedyś chciałem utworzyć makro w Excelu które pozwoli liczyć test Shapiro - Wilka. Niestety skończyło się na tym, że nie znalazłem generatora liczb Shapiro - Wilka i musiałem ręcznie wprowadzać współczynniki .
Po seminarium poszedłem dziś do czytelni i w wielkich tablicach statystycznych znalazłem jedynie współczynniki dla tak więc oczywiście rad byłbym poznać jak wygenerować dla próbki o dowolnej liczebności .
 
 
     
Jackiller 
Starszy Szeregowy


Pomógł: 1 raz
Posty: 18
Skąd: Pruszków
Wysłany: 2007-01-09, 21:20   

Mathkit - dziękuję za podpowiedź
Juz pozamiatane... tzn zrobione.

Miałem problema z ai(n) - że to z tabeli

oto mój produkt - test shapiro-wilka w arkuszu excel
Do pobrania (ten megaupload jest do bani - ale)

program jest dla max 100 danych

Pozdrawiam
Ostatnio zmieniony przez Jackiller 2007-01-09, 21:37, w całości zmieniany 1 raz  
 
     
mathkit 
Major



Pomógł: 46 razy
Wiek: 33
Posty: 1301
Skąd: Katowice
Wysłany: 2007-01-09, 21:28   

Link mi nie chodzi :-( . Fajnie, że Ci się udało ten problem rozwiązać, chętnie bym zobaczył Twój program.
Jeżeli się zgodzisz, możemy go wczytać do działu download.
 
 
     
Jackiller 
Starszy Szeregowy


Pomógł: 1 raz
Posty: 18
Skąd: Pruszków
Wysłany: 2007-01-09, 21:37   

Juz powinno się sciągac - reszta na PW
 
     
mathkit 
Major



Pomógł: 46 razy
Wiek: 33
Posty: 1301
Skąd: Katowice
Wysłany: 2007-01-09, 22:13   

Ok, zassałem. Bardzo fajnie jest napisany ten programik. Wypisywałeś ręcznie współczynniki ?
Bawiąc się w alfa testera. Wrzuciłem dane:
1,07
1,09
1,1
1,11
1,11
1,13
1,14
1,15
1,15
1,15

Statistica, która liczy wartość statystyki zgodnie z tym wzorem wyrzuca wartość

natomiast Twój program .

Trzeba by przyjrzeć się bliżej kodowi. Ale program jest ogólnie zajebisty.

Tylko przypomnę, że Excel ma wbudowaną funkcję pozwalającą liczyć mianownik statystyki . Jest to nic innego jak

Kod:
 =ODCH.KWADRATOWE
 
 
     
Jackiller 
Starszy Szeregowy


Pomógł: 1 raz
Posty: 18
Skąd: Pruszków
Wysłany: 2007-01-09, 22:31   

mathkit napisał/a:
Wypisywałeś ręcznie współczynniki ?

Statistica, która liczy wartość statystyki zgodnie z tym wzorem wyrzuca wartość

natomiast Twój program .

Trzeba by przyjrzeć się bliżej kodowi. Ale program jest ogólnie zajebisty.



Co do - miałem tablice - wrzuciłem je doarkusza (kolumna 100)
jest też wart_krytyczna (kolumna 200)

Różnice ze statisticą zaobserwowałem - to był mój pierwszy tester - ale uwazam, że róznice wynikają właśnie z różnic w - statistica niestety nie daje do wglądu własnych tablic, a analizujac kod na 3 czy 5 danych sprawdzałem krok po kroku i wszystko działa wg. wzoru
POZDRAWIAM
 
     
duraCELL 
Sierżant


Pomógł: 4 razy
Posty: 64
Skąd: Wrocław
Wysłany: 2007-01-09, 22:52   

sprawdzilem to w Xplore W*=0.8879...
To

najprawdopodobniej potwierdza to, co pisze autor kodu VBA...

...ciekawi mnie jednak, czy te wspolczynniki sa

w Statistica stablicowane, czy sa za kazdym razem przeliczane?
jakkolwiek, latwo je ze statystyki pozyskac...

wystarczy dla kazdego n naturalnego zbudowac uklad n rownan opierajac sie na odpowiednio obliczonych przez

Statistice wartosci W* a nastepnie go rozwiazac ze wzgledu na a[i](n), i koniec...
Ostatnio zmieniony przez duraCELL 2007-05-18, 18:14, w całości zmieniany 1 raz  
 
     
mathkit 
Major



Pomógł: 46 razy
Wiek: 33
Posty: 1301
Skąd: Katowice
Wysłany: 2007-01-10, 08:47   

Nie chce się upierać broń Boże przy swoim, ale podobny test zrobiłem w Excelu. Wpisałem sobie współczynniki dokładnie stablicowane w ten sam sposób i wychodzi mi wartość statystyki z dokładnością do 3 miejsc po przecinku . Dane te wziąłem z książki Malińskiego: "Testowanie (Werifikacja ?) hipotez nieparametrycznych wspierane komputerowo" (Nie pamiętam dokładnie tytułu). i w odpowiedziach wychodzi dokładnie ta wartość.

Jeszcze tylko dodam, bo czuję się winny, że nie podałem Ci tego wczęśniej, że w teście Shapiro - Wolfa ;-) obszar krytyczny jest obustronny

 
 
     
Jackiller 
Starszy Szeregowy


Pomógł: 1 raz
Posty: 18
Skąd: Pruszków
Wysłany: 2007-01-10, 12:34   

mathkit napisał/a:
Nie chce się upierać broń Boże przy swoim...


A trzeba było bo błąd jest oczywisty (przynajmniej dla mnie). Oczywiście nie uwzględniłem różnicy w obliczeniach licznika wynikającej parzystej i nieparzystej liczby danych biorących udział w teście, stąd zawsze był warunej jak dla nieparzystej liczby wyrazów l.całk((n-1)/2)

Teraz jest oki... 0,907 ;)

Wersja poprawiona do ściągnięcia pod linkiem powyżej

Makhit - jeszcze pytanko, bo matematyk ze mnie... średnio fajny.
Ten warunek co napisałeś... jak go odebrać - bo dla mnie ta informacja o obszarze krytycznym obustronnym trochę nie halo.
Zawsze myślałem, że jak wartośc statystyki W jest większa od wartości krytycznej to sa podstawy by hipoteze przyjać...
Jesli możesz to wyjaśnij mi to proszę.
 
     
mathkit 
Major



Pomógł: 46 razy
Wiek: 33
Posty: 1301
Skąd: Katowice
Wysłany: 2007-01-10, 13:40   

To jest obszar krytyczny, czyli obszar odrzucenia hipotezy zerowej, mówiącej o tym, że badana próbka pochodzi z rozkładu normalnego.


Rozważmy to na moim przykładzie (n=10).
Ustalmy poziom istotności

Wówczas mamy dwie wartości krytyczne .
oraz

Obliczona wartość statystyki wynosi (już :mrgreen: prawie na pewno, bo jeszcze Duracell może zaprotestować ;-) ) 0,907. Zatem nie należy ona do obszaru krytycznego. Nie ma podstaw do odrzucenia hipotezy zerowej o normalności rozkładu.

Problem jest np. w moim przypadku taki, że nie dysponuję tablicami dla poziomu Wtedy trzeba obliczyć oraz
Jak dysponujesz mega tablicami Kwantyli do testu Shapiro - Wilka to byłbym wdzięczny gdybyś przesłał na PW :mrgreen: Chyba, że poprawisz programik i automatycznie te wartości znajdą się w arkuszu.

Oczywiście pozostaje niegłupi pomysł Duracella o wyciągnięciu na chama tych współczynników.
 
 
     
Jackiller 
Starszy Szeregowy


Pomógł: 1 raz
Posty: 18
Skąd: Pruszków
Wysłany: 2007-01-10, 15:01   

W wolnej chwili cos pokukam lub pomyślę.

Układa się to w miarę logicznie... ciekawe co na to powiedzą SSN

beznazwygo5.jpg
Wartości graniczne Shapiro Wilk
Plik ściągnięto 958 raz(y) 434,52 KB

beznazwygo5.jpg
Wartości graniczne Shapiro Wilk
Plik ściągnięto 1591 raz(y) 434,52 KB

Ostatnio zmieniony przez mathkit 2009-08-13, 23:00, w całości zmieniany 2 razy  
 
     
duraCELL 
Sierżant


Pomógł: 4 razy
Posty: 64
Skąd: Wrocław
Wysłany: 2007-01-10, 18:40   

Ja Was w ogole nie rozumiem!!!
Co jest problemem?

Dodam, WASZYM problemem!

A Mathkit niech sobie zapamieta:

wspolczynniki a[i](n) nie pochodza

pierwotnie z tablic!!! Najpierw zostaly policzone, a nastepnie w tych tablicach umiszczone, rzadko bowiem bywa

odwrotnie!! To co sugerowalem w ostatnim poscie, to nie byla metoda na obliczanie a[i]-now, a jedynie sugestia dla

Jackkillera, ze to, co on uwaza za "wielka tajemnice" pakietu Statistica, takowa nie jest!!! Bowiem latwo

ja odkryc!

Powtorze zatem! Wspolczynniki a[i] wykorzystywane w statystyce W testu Shapiro-Wilka mozna

obliczyc! Juz wspomnialem wyzej, - jednak jakos Was to nie obeszlo, a szkoda - licznik statystyki W ma swoja

interpretacje! Poza tym, Jackkiller zamiescil w pierwszym poscie "piekna" formule pozwalajaca liczyc te

wspolczynniki, ale w swoim "zajebistym" kodzie - ktory jak sie potem okazalo, taki zajebisty nie byl -

nie skorzystal z niej, a jedynie "poszedl na latwizne". Nie wiem dlaczego, warto by go o to chyba

zaptac!

Wyjasnie jeszcze inna kwestie:
Jak opisal to Mathkit, choc wspolczynniki a[i] sa stablicowane, to

jednak najczesciej dla proby 50 elementowej najwyzej... Ciekawe dlaczego?
Hmmm..... mysle, ze zwiazane jest to

poniekad z pojeciem mocy testu, ale nie wiem, czy to ma jakiekolwiek znaczenie dla praktykow!

.. to tyle

tytulem riposty:-) jak bedzie trzeba jeszcze, to chetnie doloze<LOL>

A propos, Jackkiller, jesli nie

chcesz, zeby te nieszczesne wspolczynniki snily Ci sie po nocach, to moze skorzystaj z innego testu, Downtona na

przyklad, opartego na statystyce D; o wiele bardziej przyswajalnej dla inteligencji, chocby nawet SZTUCZNEJ!

<Spaß>
Ostatnio zmieniony przez duraCELL 2007-05-18, 18:16, w całości zmieniany 2 razy  
 
     
Wyświetl posty z ostatnich:   
Odpowiedz do tematu
Nie możesz pisać nowych tematów
Nie możesz odpowiadać w tematach
Nie możesz zmieniać swoich postów
Nie możesz usuwać swoich postów
Nie możesz głosować w ankietach
Nie możesz załączać plików na tym forum
Możesz ściągać załączniki na tym forum
Dodaj temat do Ulubionych zakładek(IE)
Wersja do druku

Skocz do:  

Podobne Tematy
Temat Autor Forum Odpowiedzi Ostatni post
Brak nowych postów Przyklejony: Test wielowymiarowej normalności Shapiro-Wilka
clavinger Testowanie hipotez statystycznych 1 2007-02-18, 14:23
paiki
Brak nowych postów Przyklejony: Test t i założenie normalności rozkładu
min45 Testowanie hipotez statystycznych 15 2016-04-14, 06:42
jabol
Brak nowych postów Przyklejony: Testowanie normalności rozkładu
dree Testowanie hipotez statystycznych 1 2006-11-07, 20:03
mathkit
Brak nowych postów Przyklejony: Założenie o normalności rozkładu zmiennej Y|X
Dyskusja
sylwia Teoria estymacji 12 2008-09-19, 15:48
Pearson
Brak nowych postów Przyklejony: Normalność rozkładu reszt w modelu ARMA
haver Modelowanie ekonometryczne 3 2009-05-24, 10:30
Pearson

Ideą przyświecającą istnieniu forum statystycznego jest stworzenie możliwości wymiany informacji, poglądów i doświadczeń osób związanych ze statystyką, mierzenie się z różnego rodzaju problemami statystycznymi i aktuarialnymi. Poruszane problemy: Statystyka w badaniach sondażowych rynku, metody reprezentacyjne, Teoria i rachunek prawdopodobieństwa, statystyka opisowa, teoria estymacji, testowanie hipotez statystycznych, ekonometria, prognozowanie, metody data mining.
Copyright (C) 2006-2015 Statystycy.pl
Powered by phpBB modified by Przemo © 2003 phpBB Group
Strona wygenerowana w 0,19 sekundy. Zapytań do SQL: 30