Statystyka, prognozowanie, ekonometria, data mining Strona Główna
Reklama pqstat.pl
Statystyka, prognozowanie, ekonometria, data mining
Forum miłośników statystyki - Portal Statystyczny

FAQFAQ  SzukajSzukaj  UżytkownicyUżytkownicy  GrupyGrupy  StatystykiStatystyki
RejestracjaRejestracja  ZalogujZaloguj  Chat   Regulamin  Kadra forum
PORTAL STATYSTYCZNY
 Ogłoszenie 
FORUM STATYSTYCZNE MA JUŻ 10 LAT

Znasz statystykę lub ekonometrię, metody prognozowania, data mining i chcesz pomóc w rozwoju forum statystycznego ?
Pisz na: administrator(małpa)statystycy.pl

Rozpoczął swoją działalność portal statystyczny - masz pomysł na jego rozwój ?

Drogi forumowiczu! Zanim napiszesz posta zapoznaj się z regulaminem forum i przedstaw się
The International Year of Statistics (Statistics2013) Smarter Poland Portal statystyczny

Poprzedni temat «» Następny temat

Tagi tematu: Brak tagów.

obserwacje nietypowe / odstające
Autor Wiadomość
CebuLaa 
Szeregowy


Posty: 5
Skąd: Wrocław
Wysłany: 2011-11-06, 14:33   obserwacje nietypowe / odstające

Witam,

mam problem z odczytaniem obserwacji nietypowych z wykresu pudełkowego. Czytałam już definicję, ale nadal nie wiem, czym one są. Bardzo proszę o pomoc:

np. dla takich danym, jakie będzie wnioskowanie?
Mediana=269
minimum=0
maksimum=1884
Q1=131
Q3=515

z góry dziękuję :)
 
     
Google

Wysłany:    Reklama google.

 
 
mathkit 
Major



Pomógł: 46 razy
Wiek: 34
Posty: 1301
Skąd: Katowice
Wysłany: 2011-12-04, 00:58   

Jedna z definicji mówi, że informacja jest odstająca jeżeli wartość punktu danych > i analogicznie w dół od

- kwartyl pierwszy
- kwartyl trzeci
 
 
     
jabol 
Kapitan
Gdańsk/Łódź



Pomógł: 43 razy
Wiek: 46
Posty: 625
Skąd: Gdańsk
Wysłany: 2011-12-05, 12:52   Re: obserwacje nietypowe / odstające

http://textbook.statsoft.pl/gloso.html#Outliers

_________________
Istnieją trzy rodzaje kłamstw: kłamstwa, okropne kłamstwa, STATYSTYKI .... :)

Autor: Benjamin Disraeli
 
     
dominiq 
Szeregowy


Posty: 1
Skąd: Kunów
Wysłany: 2011-12-20, 10:03   Pomoc przy wyjaśnieniu wzoru

Witam!
Bardzo proszę o pomoc w następującym problemie. Potrzebuje wyeliminować ze zbioru danych wszystkie te dane które są poza przedziałem:


gdzie y to średnia arytmetyczna, a sigma odchylenie standardowe.

Niestety nie potrafię zrozumieć tego wzoru.
Proszę o łopatologiczne wyjaśnienie mi jakie dane powinienem wyeliminować.

Z góry dziękuję za pomoc
 
     
jabol 
Kapitan
Gdańsk/Łódź



Pomógł: 43 razy
Wiek: 46
Posty: 625
Skąd: Gdańsk
Wysłany: 2011-12-20, 11:33   Re: Pomoc przy wyjaśnieniu wzoru

dominiq napisał/a:
Witam!
Bardzo proszę o pomoc w następującym problemie. Potrzebuje wyeliminować ze zbioru danych wszystkie te dane które są poza przedziałem:

a=[y ± 3 x σ]
gdzie y to srednia arytmetyczna, a sigma odchylenie standardowe.

Niestety nie potrafię zrozumieć tego wzoru. Proszę o łopatologiczne wyjaśnienie mi jakie dane powinienem wyeliminować. Z góry dziękuję za pomoc


jesli np:

y=5
σ=1

to dolna wartosc przedzialu = 2
gorna wartosc przedzialu = 8

czyli wszystkie wartosci ktore: sa mniejsze od 2 i wieksze od 8 - nie naleza do ww zbioru
_________________
Istnieją trzy rodzaje kłamstw: kłamstwa, okropne kłamstwa, STATYSTYKI .... :)

Autor: Benjamin Disraeli
 
     
Maciek 
Starszy Szeregowy


Posty: 20
Skąd: Bielsko-Biała
Wysłany: 2011-12-20, 19:55   

... ha, w czym problem ? co to znaczy + z podkreśleniem ? ok: to znaczy że od y trzeba odjąć 3" sigma" i odrzucić wszystko, co mniejsze ... a potem dodać odjąć 3" sigma" i odrzucić wszystko, co większe, ok.
A może "sigma" nie jest dana, a tylko postać-wzór rozkładu ... tu mogą być problemy: trzeba będzie odszukać odpowiednie wzory ... a może dany jest zbiór wartości i "sigma" trzeba oszacować ... tu mogą być problemy: trzeba zrobić tak, jak Pan kazał na lekcji, zamknąć oczy i myśleć o Anglii.
_________________
MG
 
     
Lopez 
Szeregowy
Lopez


Wiek: 40
Posty: 10
Skąd: Milanówek
Wysłany: 2012-02-20, 22:31   Pytanie dotyczące próby

1) Czy są jakieś formalne sposoby poprawy próbki ? Obecnie buduję model wartości zawodnika w zespole koszykarskim mam dane dla całego zespołu i indywidualnych zawodników (25 meczy)

2) czy istnieje możliwość wykorzystania jakiejś prostej metody / programu, który wskazałby czy w następnych meczach wygramy / przegramy oprócz typowego prawdopodobieństwa (chodzi mi np. o zaprognozowanie wygranej / przegranej w następnych 10 meczach)
_________________
wszystko dąży do równowagi...
 
     
piotrek 
Podporucznik


Pomógł: 13 razy
Posty: 198
Skąd: b.d.
Wysłany: 2012-02-21, 11:01   

ad. 1 np. bootstrap
ad. 2 np. klik
 
     
Lopez 
Szeregowy
Lopez


Wiek: 40
Posty: 10
Skąd: Milanówek
Wysłany: 2012-12-27, 23:25   

Nie chciałbym tworzyć nowego wątku, ponieważ jest ich sporo. Kolejna kwestia dotyczy próby. Wiem że są spory w temacie związanym z danymi odstającymi oraz czyszczeniem bazy danych.
Problem brzmi następująco.

Załóżmy ze mam bazę transakcyjna 1200 pojazdów. Oczywiście pojazdy te są zróżnicowane pod kątem swoich cech: wieku, wartości, koloru itd. Są oczywiście wśród nich pojazdy o podejrzanie niskiej cenie. Czy w przypadku posiadanej bazy dokonać usunięcia transakcji uznanych za podejrzane czy je pozostawić. Jedni profesorowie twierdzą że absolutnie nie można nic z bazy usuwać, inni twierdza (oczywiście w zależności od rodzaju zastosowania że można podjąć decyzje "o czyszczeniu" bazy z takich podejrzanych transakcji. Osobiście spotkałem się np. z czyszczeniem bazy danych gdzie podstawą od ustalenia transakcji do odrzucenia było ich występowanie powyżej/poniżej 2,5/3 odchyleń standardowych.

Czy macie jakieś propozycje tematu ?
_________________
wszystko dąży do równowagi...
 
     
Lopez 
Szeregowy
Lopez


Wiek: 40
Posty: 10
Skąd: Milanówek
Wysłany: 2013-01-01, 15:06   Dane odstające oraz czyszczenie dane - tak czy nie ?

Temat zapewne stary jak świat.....

Wiemy doskonale, że są spory w temacie związanym z danymi odstającymi oraz ich czyszczeniem w bazie danych.

Problem brzmi następująco. Załóżmy ze mam bazę transakcyjna 1200 pojazdów. Oczywiście pojazdy te są zróżnicowane pod kątem swoich cech: wieku, wartości, koloru itd. Są oczywiście wśród nich pojazdy o podejrzanie niskiej cenie. Czy w przypadku posiadanej bazy dokonać usunięcia transakcji uznanych za podejrzane czy je pozostawić. Jedni profesorowie twierdzą że absolutnie nie można nic z bazy usuwać, inni twierdza (oczywiście w zależności od rodzaju zastosowania że można podjąć decyzje "o czyszczeniu" bazy z takich podejrzanych transakcji. Osobiście spotkałem się np. z czyszczeniem bazy danych gdzie podstawą od ustalenia transakcji do odrzucenia było ich występowanie powyżej/poniżej 2,5/3 odchyleń standardowych.
Jaki macie pogląd w tym temacie ?
_________________
wszystko dąży do równowagi...
 
     
jabol 
Kapitan
Gdańsk/Łódź



Pomógł: 43 razy
Wiek: 46
Posty: 625
Skąd: Gdańsk
Wysłany: 2013-01-02, 17:30   Re: Dane odstające oraz czyszczenie dane - tak czy nie ?

Lopez napisał/a:
gdzie podstawą od ustalenia transakcji do odrzucenia było ich występowanie powyżej/poniżej 2,5/3 odchyleń standardowych.
Jaki macie pogląd w tym temacie ?


imho regula 3 sigma.

btw - zrob wykres rozkladu (w tym takze wykres normlanosci) , zobacz czy i gdzie znajduja sie punkty odstajace od pozostalych. zobacz jak rozkladaja sie wobec siebie srednia i mediana. potem mozesz usuwac jakies "nieciekawe przypadki i patrzec jak reaguje rozklad i parametry
_________________
Istnieją trzy rodzaje kłamstw: kłamstwa, okropne kłamstwa, STATYSTYKI .... :)

Autor: Benjamin Disraeli
 
     
Lopez 
Szeregowy
Lopez


Wiek: 40
Posty: 10
Skąd: Milanówek
Wysłany: 2013-01-04, 10:11   

Wielkie dzięki :)....a czy może masz jakąś literaturę w tym temacie, chciałbym się oprzeć na druku.
_________________
wszystko dąży do równowagi...
 
     
mathkit 
Major



Pomógł: 46 razy
Wiek: 34
Posty: 1301
Skąd: Katowice
Wysłany: 2013-01-04, 23:46   

Budowanie modelu z informacjami odstającymi jest bez sensu. Jeżeli w próbie masz kilka takich punktów, trzeba spróbować wyjaśnić skąd takie wartości. Na przykład może być tak, że niskie ceny są spowodowane faktem, że są to auta powypadkowe (mocno powypadkowe) i wtedy ten fakt można również mniej lub bardziej dorzucać do modelowania (np. w najprostszy sposób przez flagę 0/1).
 
 
     
Lopez 
Szeregowy
Lopez


Wiek: 40
Posty: 10
Skąd: Milanówek
Wysłany: 2013-01-05, 18:16   

ponowne dzięki
_________________
wszystko dąży do równowagi...
 
     
jabol 
Kapitan
Gdańsk/Łódź



Pomógł: 43 razy
Wiek: 46
Posty: 625
Skąd: Gdańsk
Wysłany: 2013-01-08, 09:42   

odstające

capture_19072010_025019.jpg
informacje odstające
Plik ściągnięto 16041 raz(y) 38,41 KB

_________________
Istnieją trzy rodzaje kłamstw: kłamstwa, okropne kłamstwa, STATYSTYKI .... :)

Autor: Benjamin Disraeli
 
     
Wyświetl posty z ostatnich:   
Odpowiedz do tematu
Nie możesz pisać nowych tematów
Nie możesz odpowiadać w tematach
Nie możesz zmieniać swoich postów
Nie możesz usuwać swoich postów
Nie możesz głosować w ankietach
Nie możesz załączać plików na tym forum
Możesz ściągać załączniki na tym forum
Dodaj temat do Ulubionych zakładek(IE)
Wersja do druku

Skocz do:  

Podobne Tematy
Temat Autor Forum Odpowiedzi Ostatni post
Brak nowych postów Obserwacje nietypowe R
haver Modelowanie ekonometryczne 3 2009-08-05, 08:34
piotrek
Brak nowych postów Usuwanie wartości odstających i ekstremalnych
tagarela Biostatystyka 8 2018-04-16, 09:03
gosia_2018
Brak nowych postów Wykres pudełkowy - exel (wartości odstające)
voldzia Biostatystyka 6 2018-04-29, 19:02
voldzia

Ideą przyświecającą istnieniu forum statystycznego jest stworzenie możliwości wymiany informacji, poglądów i doświadczeń osób związanych ze statystyką, mierzenie się z różnego rodzaju problemami statystycznymi i aktuarialnymi. Poruszane problemy: Statystyka w badaniach sondażowych rynku, metody reprezentacyjne, Teoria i rachunek prawdopodobieństwa, statystyka opisowa, teoria estymacji, testowanie hipotez statystycznych, ekonometria, prognozowanie, metody data mining.
Copyright (C) 2006-2015 Statystycy.pl
Powered by phpBB modified by Przemo © 2003 phpBB Group
Strona wygenerowana w 0,11 sekundy. Zapytań do SQL: 29