プログラミングチュートリアル - ページ 16

 

仮説検定: 例


仮説検定: 例

今日は、平均値の仮説検定の例を見ていきます。具体的な例に入る前に、一般的な手順を確認してみましょう。それは常に仮説を設定することから始まります。これには、証拠を収集したい考えを表す帰無仮説と、支持したい対立仮説が含まれます。帰無仮説が正しいと仮定して、この仮定の下でサンプル平均 (X バー) がすべての可能なサンプル平均のどこに該当するかを調べます。

これを行うために、帰無仮説のコンテキスト内での結果の偏差を測定する Z スコアを計算します。母集団平均 (μ) が特定の値より小さいか大きいかを検定する片側対立仮説の場合、取得した Z スコア以下の Z スコアが得られる確率を計算します。両側対立仮説の場合、どちらかの確率を計算し、それを適切に 2 倍にします。

最も形式的な表現では、取得した Z スコアの負の絶対値以下の Z スコアを取得する確率を求めます。累積分布関数を使用することで、左右の裾の両方を考慮します。 p 値を取得したら、それを選択した有意水準 (アルファ) と比較します。 p 値がアルファより小さい場合、帰無仮説は棄却され、対立仮説が支持されると結論付けられます。

では、これを実際の例に当てはめてみましょう。消費者擁護団体は、オーガニックサプリメントのビタミンC含有量をテストし、1錠あたり平均1000ミリグラムのビタミンCが含まれていると主張しています。サンプルサイズが 32 の場合、サンプル平均は 1008.9 ミリグラムであることがわかります。母集団標準偏差 (σ) は 21 ミリグラムとして与えられます。私たちの仕事は、製品の主張を拒否するのに十分な証拠があるかどうかを判断することです。有意水準 (アルファ) は 0.05 に設定されます。

一般的な手順に従って、仮説を設定することから始めます。帰無仮説は、平均ビタミン C 含有量が 1000 ミリグラムであるという製品の主張は正しいというものですが、対立仮説は、真の平均値は 1000 ミリグラムとは異なるというものです。 1000 未満または 1000 を超える値のみを考慮するという具体的な指示がないため、両側対立仮説を選択します。

次に、式 (サンプル平均 - 期待値) / (サンプル平均の標準偏差) を使用して Z スコアを計算します。帰無仮説を仮定すると、1000 ミリグラムの平均値を使用し、サンプル平均の標準偏差を σ / √n として計算します。ここで、n はサンプル サイズです。その結果、Z スコアは 2.39 であることがわかり、サンプル平均 1008.9 ミリグラムが帰無仮説の下で予想される平均値から 2.39 標準偏差離れていることを示します。

p 値を決定するには、持っているものと同じくらい極端な Z スコア (正または負) を取得する確率を見つける必要があります。この場合、P(Z ≤ -2.39) を計算すると、0.0084 が得られます。これは両側検定であるため、確率を 2 倍にして 0.0168 を取得します。

p 値を有意水準と比較すると、0.0168 が確かに 0.05 未満であることがわかります。したがって、帰無仮説を棄却し、サプリメントには平均 1000 ミリグラムのビタミン C が含まれていないと結論付けるのに十分な証拠があります。

Hypothesis Testing: Example
Hypothesis Testing: Example
  • 2020.03.25
  • www.youtube.com
Another example of a two-sided hypothesis test for the mean when the population standard deviation is known. If this vid helps you, please help me a tiny bit...
 

有意性検定におけるタイプ I およびタイプ II の誤り


有意性検定におけるタイプ I およびタイプ II の誤り

今日は、有意性テストが計画どおりに進まない状況について説明します。たった 3 分ですべてを説明しましょう。さぁ、始めよう。

仮説検定では、H none (帰無仮説) の 2 つの可能な状態に遭遇します。それは、真または偽の可能性があります。テストの最後には、H none を拒否するか拒否しないかの 2 つの決定が考えられます。これにより、合計 4 つの可能な結果が得られます。これら 2 つの決定の組み合わせを検討できます。これらの結果をまとめた表があります。そのうちの 2 つは満足感をもたらします。それは、偽の場合に H none を拒否し、真の場合に H none を拒否しません。ただし、望ましくない状況が 2 つあります。

このトピックを掘り下げるとき、通常、最初は H naught が真であるか偽であるかについて事前情報がないことに注意することが重要です。そのような情報を入手する場合、通常はずっと後になります。次に、2 つの好ましくない結果について説明します。 1 つ目は、タイプ 1 エラーまたは偽陽性と呼ばれます。これは、帰無仮説が真実であるにもかかわらず帰無仮説を棄却した場合に発生します。これは、ランダムなイベントが発生し、それを重要なものとして誤って解釈したときに発生します。 2 番目の状況は、タイプ 2 エラーまたは偽陰性です。これは、帰無仮説が実際には偽であるにもかかわらず、帰無仮説を棄却できない場合に発生します。この場合、何か重大なことが起こっていますが、テストではそれを検出できません。

「偽陽性」と「偽陰性」という用語は医学検査に由来しており、論理的枠組みは有意性検査に似ています。医療検査では、病気の有無を検査することがあり、その検査によって病気の有無が示される場合があります。タイプ 1 およびタイプ 2 のエラー全体が以下の表にまとめられており、望ましい結果がチェック マークで強調表示されています。

いくつかの例を簡単に見てみましょう。チョコレートバーの製造業者が、自社のバーの重さは平均 350 グラムであると主張しているとします。彼らは過大評価しているのではないかと思うので、サンプルを収集し、p 値 0.0089 で彼らの主張を却下します。しかし、メーカーの主張が実際に真実であり、バーの平均重量が 350 グラムである場合、私はタイプ 1 エラーまたは誤検知を犯したことになるでしょう。

別の例を次に示します。あるレストランは、サンドイッチの 1 つの平均ナトリウム含有量は 920 ミリグラムであると主張しています。サンプルを分析しましたが、アルファ レベル 0.01 で主張を拒否するには不十分な証拠が見つかりました。もしレストランの主張が虚偽だったとしたら、たとえば平均ナトリウム含有量が実際には950ミリグラムだったとします。私はその主張を拒否せず、タイプ2の誤りを犯したでしょう。

Type I and Type II Errors in Significance Tests
Type I and Type II Errors in Significance Tests
  • 2020.03.28
  • www.youtube.com
When hypothesis testing goes wrong, explained in under three minutes.
 

クリティカル領域を使用した仮説検証


クリティカル領域を使用した仮説検証

皆さんこんにちは。今日はクリティカル領域を使用した仮説検定について説明します。このアプローチは時代遅れだと思われるかもしれませんが、これから説明する理論では依然として重要です。したがって、その基本を理解しておくことが有益です。

以前は、p 値の計算は現在よりも困難でした。これには、精度が限られており、エントリが有限である正規分布などの計算テーブルに依存する必要がありました。これらの計算の必要性を最小限に抑えるために、クリティカル領域または拒否領域の概念が一般的に使用されていました。

今日の仮説検定の一般的なプロセスには、サンプル データに基づいて p 値を計算し、それを選択した有意水準 (アルファ) と比較することが含まれます。ただし、クリティカル領域では、このプロセスを逆にします。まず有意水準 (アルファ) を選択し、Z スターまたは T スターで示される検定統計量のカットオフ値を定義します。標本データからこのカットオフ値よりも極端な標本統計量が得られた場合、帰無仮説が棄却されます。

これを説明する例を考えてみましょう。両側対立仮説があり、正規分布およびアルファの有意水準が 0.05 に等しい検定を実行しているとします。この場合、アルファ = 0.05 は、分布内の影付き領域 0.05 (各側で 0.025) に対応します。逆正規計算 (R でコマンド Q norm を使用) を実行すると、臨界値 Z-star が 1.96 であることがわかります。したがって、サンプル統計量 (Z スター) が 1.96 (絶対値) より大きい場合、帰無仮説を棄却する必要があることを示します。

別の例として、8 自由度の t 分布と片側代替 (右側代替) を考えてみましょう。有意水準として 0.01 に等しいアルファを選択するとします。この場合、T スターの右側に 0.01 のエリアがあり、左側の 0.99 のエリアに対応します。 R の値 0.99 と 8 で逆 t CDF (コマンド QT を使用) を使用すると、T スターが約 2.9 であることがわかります。サンプルの t 統計量が 2.9 より大きい場合、それは影付きの領域内に収まるため、帰無仮説が棄却されます。

正規分布の場合、臨界 Z 値を臨界サンプル平均値に関するステートメントに変換できます。次の例を考えてみましょう。特定のブランドのコーラの缶の内容物は、標準偏差 0.2 オンスで正規分布しています。サイズ 15 のサンプルを使用して、缶の平均内容量が 12 オンスであるという帰無仮説を、実際には 12 オンス未満であるという対立仮説に対して検定したいと考えています。片側代替法でアルファが 0.05 の場合、臨界 Z 値は -1.645 になります。したがって、サンプル平均 (X バー) が平均より標準偏差 1.645 を超えて低い場合は、帰無仮説を棄却する必要があります。具体的には、サンプル平均が 11.92 オンス未満の場合、帰無仮説は棄却されます。

Hypothesis testing using critical regions
Hypothesis testing using critical regions
  • 2020.03.29
  • www.youtube.com
A formerly very practical idea, now mostly of theoretical interest. If this vid helps you, please help me a tiny bit by mashing that 'like' button. For more ...
 

t 分布による仮説検定


t 分布による仮説検定

皆さんこんにちは。今日は t 分布を使用した仮説検定について説明します。このシナリオでは、母集団の標準偏差が不明な状況を扱います。以前は、母標準偏差 (シグマ) がわかっていると仮定して、Z 統計を使用して仮説検定を実行しました。ただし、統計的推論では、サンプル情報を使用して母集団に関する洞察を得ることが目的であるため、シグマについて知らないのが一般的です。このような場合、標本標準偏差を使用して母集団標準偏差を推定し、同様の計算を続行します。

Sigma を s に置き換えると、式 (X-bar - mu)/(s/sqrt(n)) が正規分布に従わなくなるため、問題が発生します。 X バーと s は両方とも新しいサンプルごとに変化し、分布は (n-1) 自由度の t 分布に従います。幸いなことに、この調整を考慮すると、計算はほとんど変わりません。

シグマが未知の場合に仮説検定を実行するには、帰無仮説と対立仮説から始めます。帰無仮説が正しいと仮定して、実際のサンプル データの t 統計量 (X-bar - mu_naught)/(s/sqrt(n)) を計算します。次に、対立仮説に基づいて p 値を計算します。

左側の対立仮説の場合、mu が指定された値より小さいと思われる場合、帰無仮説が真である場合に得られる値以下の t 値が得られる確率がわかります。これは、最初の図の影付きの領域に対応します。

同様に、右側対立仮説の場合、mu が指定された値より大きい場合、取得した t 値よりも大きい t 値を取得する確率を決定します。これは、t 値の右側の領域に対応します。

両側テストの場合、両方の領域が考慮されます。得られた値よりも (絶対値で) 大きい t 値が得られる確率を計算し、それを 2 倍にします。

p 値を取得したら、それを選択した有意水準 (アルファ) と比較して決定を下します。 p 値がアルファより小さい場合、帰無仮説は棄却されます。ただし、手動で計算を実行する場合、サンプル データから t 値を取得するのは難しい場合があります。統計ソフトウェアや計算機などのテクノロジーを活用することをお勧めします。たとえば、R では、コマンド PT(t, n-1) は、(n-1) 自由度の t 分布における指定された t 値の左側の面積を計算します。

このプロセスを示す例を考えてみましょう。実験中に 7 匹のマウスの体重が減少したとします。私たちは、アルファの有意水準が 0.05 で、実験中にマウスの体重が減少したと結論付けるのに十分な証拠があるかどうかを判断したいと考えています。母集団の標準偏差が与えられていないため、t 検定の状況を扱っています。

テストを開始するために、データがランダムな偶然によるものであると仮定する帰無仮説と、実験中にマウスは平均して体重が減少すると主張する対立仮説を設定しました。この場合、体重増加ではなく体重減少に焦点を当てた片側対立仮説を選択します。

次に、サンプル平均とサンプル標準偏差を使用して t 統計量を計算します。取得した t 値を使用して、観測値以上の t 値が偶然に得られる確率を表す p 値を計算します。

この確率を評価するために、(n-1) 自由度の t 分布を参照します。 t 値の右側の面積を、1 から左側の面積を減算して計算します。R では、これは PT 関数を使用して実行できます。 p 値が選択した有意水準 (アルファ) より大きい場合、帰無仮説を棄却できません。

この例では、計算された p 値は 0.059 です。 0.059 は有意水準 0.05 より大きいため、帰無仮説を棄却する十分な証拠がありません。したがって、この実験によりマウスの体重が平均的に減少したと結論付けることはできません。

帰無仮説を棄却できなかったとしても、帰無仮説が真であることを意味するわけではないことに注意することが重要です。これは単に、対立仮説を裏付けるほど証拠が強力ではないことを意味します。

要約すると、仮説検定を扱い、母集団の標準偏差が不明な場合は、t 分布を使用し、標本の標準偏差を使用して標準偏差を推定できます。次に、t 統計量を計算し、対立仮説に基づいて p 値を計算し、それを有意水準と比較して決定を下します。統計ソフトウェアまたは統計表を利用すると、計算が簡素化され、より正確な結果が得られます。

Hypothesis Testing with the t-Distribution
Hypothesis Testing with the t-Distribution
  • 2020.04.04
  • www.youtube.com
How can we run a significance test when the population standard deviation is unknown? Simple: use the sample standard deviation as an estimate. If this vid h...
 

t 分布による有意性検定: 例


t 分布による有意性検定: 例

皆さん、今日は t 分布を使用した仮説検定の別の例を説明したいと思います。この例では、特定の草種の炭素吸収率に焦点を当てています。従来の通念では、平均取り込み速度は 1 平方メートルあたり 1 秒あたり 34.0 マイクロモルであると考えられています。しかし、研究者のグループは疑問を抱いています。彼らは研究を実施し、標本平均値 30.6、標本標準偏差 9.7 を得ました。ここで、有意水準 0.05 で、このデータが従来の通念に対する強力な証拠を提供するかどうかを判断したいと考えています。

他の有意性検定と同様に、仮説を明確に述べることから始めましょう。私たちが挑戦しようとしている帰無仮説は、サンプルデータが単なる偶然の結果であり、従来の通念が当てはまることを前提としています。一方、対立仮説は、真の平均摂取率が 34.0 より大きいか小さいかの可能性を確立しようとします。この場合、両方のシナリオを包含する両側対立仮説を検討します。

次に、サンプル平均 (x バー) が帰無仮説の下で予想される値と比較してどの程度極端であるかを評価したいと思います。検定統計量 (T) は、標本平均から帰無仮説 (mu-naught) での期待平均を引き、それを標本標準偏差 (s) を標本サイズ (n) の平方根で割った値で割ることによって計算します。この計算により、T = -2.27 が得られます。

ランダムな偶然だけによって -2.27 という極端な検定統計量が得られる確率を決定するには、分布の両側を考慮する必要があります。 -2.27 の左右の陰影部分を合わせて計算し、検定の p 値を求めます。 R では、PT コマンドを使用して、T が -2.27 未満になる確率を表す左端の領域を計算できます。次に、分布の両側を考慮してこの面積を 2 倍にします。

-2.27 およびサンプル サイズから 1 を引いた値 (41) に等しい自由度 (df) を指定して R で PT コマンドを適用すると、左側の影付き領域が 0.029 であることがわかります。この値を 2 倍にすると、陰影部分の合計が得られ、これは検定の p 値に対応します。

計算された p 値は 0.029 で、有意水準 (アルファ) の 0.05 よりも小さくなります。したがって、我々は帰無仮説を棄却し、この草種の平均二酸化炭素吸収率は実際には毎秒 34.0 マイクロモル/平方メートル/秒ではないと結論付けます。

結論として、t 分布を使用した仮説検定により、母集団の標準偏差が不明な場合に帰無仮説に対する証拠の強度を評価できます。検定統計量を計算し、臨界値 (有意水準) と比較し、p 値を計算することで、帰無仮説の妥当性に関して情報に基づいた決定を下すことができます。

Significance Testing with the t-Distribution: Example
Significance Testing with the t-Distribution: Example
  • 2020.04.07
  • www.youtube.com
A two-sided test with unknown population standard deviation. If this vid helps you, please help me a tiny bit by mashing that 'like' button. For more stats j...
 

R での仮説検定


R での仮説検定

こんにちは、みんな!今日は、t.test コマンドを使用して R で仮説検定を実行します。組み込みの大気質データセットに関連するいくつかの問題に取り組みます。このデータセットは、ニューヨーク市の大気質測定値の単純なランダム サンプルと見なされます。

R に切り替えましょう。R では、通常 R セッションの開始時に行う Tidyverse パッケージをすでにロードしています。大気質データセットのヘルプ ファイルも参照しました。このデータセットは 1973 年に収集されたため、最新のデータではありません。 view コマンドを使用してデータセットを確認できます。これは、私たちが関心のある 2 つの変数である風力と太陽放射を含む 6 つの変数に関する 153 の観測値で構成されています。

統計テストを実行する前に、データを視覚化することをお勧めします。それでは、qplot コマンドを使用してヒストグラムを作成してみましょう。風変数に焦点を当て、ヒストグラムが必要であることを指定します。

さて、問題 1 に移りましょう。当局者は、市内の平均風速は時速9マイルであると主張している。私たちはこの主張が妥当であるかどうかをデータに基づいて判断したいと考えています。平均風速が時速 9 マイルであるという帰無仮説を使用して t 検定を使用します。ヒストグラムを見ると、その値のわずかに右側に集中していますが、それはもっともらしいように思えます。 t.test コマンドを使用して t 検定を実行します。風変数をそれに渡し、帰無仮説を mu = 9 として指定します。デフォルトでは、R は両側対立仮説を仮定します。 t.test コマンドは、サンプル平均、t 統計量、および p 値を提供します。サンプル平均は 9.96、計算された t 統計量は 3.36 で、これは 0.1 未満の p 値に相当します。 p 値がこれほど小さい場合、ランダムな偶然だけによって、このデータが帰無仮説から大幅に逸脱することは考えられません。したがって、帰無仮説を棄却し、ニューヨークの平均風速は時速 9 マイルではないと結論付けます。

問題 2 に移り、平均日射量が 175 ラングレーを超える場合に、特定の太陽電池アレイの費用対効果が高いかどうかを評価したいと考えています。片側対立仮説を使用します。帰無仮説は平均日射量が 175 ラングレーであるということであり、対立仮説はそれより大きいということです。日射量変数のヒストグラムを作成して、データを視覚化します。繰り返しになりますが、ヒストグラムに基づいて帰無仮説はもっともらしいと思われます。 t.test コマンドを使用して t 検定を実行し、日射量変数を渡し、帰無仮説を mu = 175 として指定します。さらに、alternative = "greater" 引数を使用して片側対立仮説を示す必要があります。 。 t.test コマンドは、サンプル平均、t 統計量、および p 値を提供します。サンプル平均は 185.9、計算された t 統計量は 1.47 で、p 値は 0.07 になります。 p 値が 0.07 であるため、ニューヨークの平均日射量が太陽電池アレイの購入を正当化する閾値である 175 ラングレーを超えているという主張を裏付ける説得力のある証拠はありません。したがって、結論を出すことは控えるべきであり、平均日射量を正確に評価するにはさらなる研究が必要です。

要約すると、t 検定を使用した仮説検定により、サンプル データに基づいて主張や仮説の妥当性を評価できます。帰無仮説と対立仮説を指定し、検定を実行し、結果として得られる p 値を調べることで、仮説を受け入れるか拒否するかについて情報に基づいた意思決定を行うことができます。ヒストグラムやその他のグラフを通じてデータを視覚化すると、分析中に追加の洞察が得られます。

Hypothesis testing in R
Hypothesis testing in R
  • 2022.03.30
  • www.youtube.com
Hypothesis testing in R is easy with the t.test command!If this vid helps you, please help me a tiny bit by mashing that 'like' button. For more #rstats joy,...
 

比率の仮説検定


比率の仮説検定

こんにちは、みんな!今日も仮説検定の探求を続けますが、今回は比率に焦点を当てます。関連する重要な概念を理解するために例を検討することでこのトピックに取り組みます。

早速本題に入りましょう。ある解説者は、米国の 6 歳児の 30% が亜鉛欠乏症であると主張しています。サンプルを収集し、有意水準 α = 0.05 で仮説検定を実行することで、この主張を評価したいと考えています。さらに調査するために、36 人の 6 歳児を調査してデータを収集したところ、そのうち 5 人が亜鉛欠乏症であることがわかり、その割合は 30% 未満でした。ただし、この違いがランダムな偶然だけによるものであるかどうかを判断する必要があります。私たちの主な質問は、このようなサンプルを入手する可能性はどのくらいあるのかということです。

この疑問に対処するために、得られたサンプル割合 (P ハット) (36 個中 5 個) を帰無仮説に基づいて主張された割合と比較します。人口比率を P₀ または P-naught と表します。帰無仮説では、母集団の割合が 0.30 (30%) であると仮定します。この場合の対立仮説は、単純に母集団の比率が 0.30 に等しくないということです。 30% より大きいか小さいと仮定する特別な理由はないため、両方の可能性を考慮します。デフォルトでは、片面的な代替案を選択するやむを得ない理由がない限り、両面的な代替案が選択されます。

私たちが計算したサンプル比率 (P ハット) は 0.139 で、30% よりも大幅に低くなりました。しかし、この違いは統計的に有意なのでしょうか?これを評価するために、P ハットのサンプル分布を分析します。同じサイズのサンプルを繰り返し取得し、そのたびに亜鉛欠乏の割合を計算することを想像します。標本サイズ (n) が大きいと仮定すると (ここでは n = 36 の場合)、標本分布は釣り鐘型の曲線になります。その中心と広がりを決定できます。サンプル割合 (P ハット) の平均は母集団割合 (P) と同じになりますが、P ハットの標準偏差は P(1-P)/n の平方根になります。より詳細な説明が必要な場合は、比率の信頼区間に関する私のビデオを見ることをお勧めします。

標本分布が平均値と標準偏差が既知の釣鐘型曲線に従っていることがわかったので、Z スコアを計算できます。観測値 (P ハット) と期待値 (P ノート) の差を計算し、それを標準偏差で割ります。値 (P ハット = 0.139、P ノート = 0.30、n = 36) を代入すると、Z スコアは -2.11 になります。

私たちが観察したものと同じくらい極端な (またはさらに極端な) P ハットが得られる確率を評価するために、対応する Z スコアを調べます。この場合、-2.11 未満または 2.11 を超える Z スコアが得られる確率に関心があります。これは、標準正規分布の累積分布関数 (CDF) を評価することで計算できます。統計ソフトウェアまたは Web アプリを使用すると、-2.11 未満の Z スコアを取得する確率は約 0.017 であることがわかります。ただし、分布の両側の裾を考慮しているため、この値を 2 倍にする必要があり、p 値は約 0.035 になります。

p 値を選択した有意水準 (α = 0.05) と比較すると、p 値が α より小さいことがわかります。したがって、帰無仮説を棄却し、解説者の主張はおそらく誤りであると結論付けます。米国の6歳児の亜鉛欠乏症の割合は30%にも満たない。

サンプルサイズと正規近似に関しては、留意すべき経験則がいくつかあります。正規近似は、サンプルに少なくとも 5 回の成功と 5 回の失敗がある場合にうまく機能する傾向があります。数学的に言えば、これは、サンプル サイズ (n) とサンプル比率 (P) の積が 5 以上である必要があること、およびサンプル サイズ (n) とサンプル比率の補数の積が 5 以上でなければならないことを意味します。 (1-P) も 5 以上である必要があります。

私たちの場合、サンプル サイズは 36、サンプル比率 (P ハット) は 0.139 で、正規近似の条件を満たしています。したがって、統計的推論には正規分布を自信を持って信頼できます。

一般に、サンプル サイズが大きいほど、正規近似でより良い結果が得られる傾向があることにも注目してください。サンプル サイズが大きくなるにつれて、正規分布は P ハットのサンプリング分布をより正確に表すようになります。

したがって、要約すると、この例の 36 というサンプル サイズは、仮説検定で正規近似を利用するのに十分な大きさであると結論付けることができます。

これにより、正規近似におけるサンプル サイズの役割が明確になり、比率の仮説検定プロセスの包括的な説明が得られることを願っています。

Hypothesis Testing for Proportions
Hypothesis Testing for Proportions
  • 2020.05.09
  • www.youtube.com
How should we run a hypothesis test when we have data involving percentages, proportions, or fractions? Using a normal approximation. of course, at least whe...
 

比率の仮説検定: 例


比率の仮説検定: 例

こんにちは、みんな!今日は、比率の仮説検定の例に取り組みます。問題を掘り下げてみましょう。ある大学は、学生の 65% が 4 年以内に卒業すると主張しています。しかし、この主張の正確さには疑問があります。さらに調査するために、120 人の学生から単純に無作為にサンプルを採取したところ、指定された期間内に卒業したのは 120 人の学生のうち 68 人だけであることがわかりました。この割合は主張されている 65% よりも小さいため、大学の主張に反する証拠となります。さて、問題は、この証拠がその主張がありそうもないことを示唆するのに十分強力であるかどうか、あるいはそれが偶然に起因する可能性があるかどうかです。これを決定するには、p 値を計算し、0.05 の有意水準 (α) を使用して決定を行います。

まず、帰無仮説と対立仮説を定式化する必要があります。帰無仮説は、結果は単にランダムな偶然によるものであり、4 年以内に卒業する学生の真の割合は実際に 0.65 であると述べています。一方、対立仮説は、大学が卒業率を過大評価しており、人口比率が 0.65 未満であることを示唆しています。この場合、卒業率が 65% より低い可能性だけに興味があるため、片側対立仮説が適切です。

帰無仮説が真であると仮定すると、サンプル サイズ (n) が十分に大きい場合、比率のサンプル分布 (P ハット) はほぼ正規になるという中心極限定理を適用できます。この分布の平均は母集団平均 (P) に等しく、標準偏差は P の平方根に 1 を掛けてから P を引いた値を n で割って求められます。この場合、帰無仮説が正しいと仮定したため、母集団比率 (P) は 0.65 になります。

ここで、Z スコアを計算して、ランダムな偶然だけで観察された割合と同じかそれよりも極端な結果が得られる確率を決定してみましょう。値を代入すると、Z スコアは -1.91 になります。この Z スコアに関連付けられた確率 (観測された比率以下の比率が得られる可能性を表す) を見つけるには、正規累積分布関数 (CDF) を使用します。これは、テーブル、Web アプリ、統計ソフトウェアなどのさまざまなツールを使用して実行できます。たとえば、R では、コマンド「Pnorm(-1.91)」は 0.028 の値を生成します。

この p 値を有意水準 (α) 0.05 と比較すると、p 値が α より小さいことがわかります。したがって、帰無仮説を棄却し、大学が 4 年制卒業率を過大評価していると結論付けるのが合理的であることを示します。

Hypothesis Testing for Proportions: Example
Hypothesis Testing for Proportions: Example
  • 2020.05.10
  • www.youtube.com
A complete example of a hypothesis test for a proportion using the normal approximation.
 

散布図の概要


散布図の概要

こんにちは、みんな!今日は、同時に収集された複数の変数を含むデータを視覚的に表示する散布図について詳しく説明します。散布図は現実世界のデータ収集シナリオで頻繁に発生するため、非常に重要です。多くの場合、私たちは複数の情報を収集します。たとえば、学生グループの SAT の数学や口頭のスコア、医学研究の個人の身長と体重、さまざまな車のエンジン サイズと燃費に関するデータが含まれる場合があります。いずれの場合も、データはペアになっています。つまり、一方の変数の各値が他方の変数の特定の値に対応し、1 対 1 の関係が作成されます。このようなペアのデータが存在する場合、散布図を作成できます。

テーブルを使用した例を考えてみましょう。表の各列は科学または工学分野を表しており、上の数字は 2005 年にその分野で女性に授与された博士号の数を示し、下の数字は同年に男性に授与された博士号の数を示しています。女性の博士号を x 値で表し、男性の博士号を y 値で表すこのデータをプロットすると、一連の点が得られます。一部の点には (2168, 2227) などのラベルが付けられており、テーブルの 2 番目のデータ列に対応します。これは、2005 年に 2,168 人の博士号が女性に授与され、2,227 人の博士号が男性に授与された科学分野を表しています。

散布図を調べるときは、散布図を定性的に説明することが重要です。この例では、データは全体的に下降傾向にありますが、左から右に移動するにつれて値が増加する場合もあります。全体的に、データの形状は下向きに傾斜する傾向があり、2 つの変数間の負の関連性を示しています。ただし、関連性が線形でない限り、つまりグラフが直線をたどる場合を除き、「負の相関」という用語の使用を控えるべきであることに注意することが重要です。この場合、データは線形関係を示しません。

このプロットのもう 1 つの注目すべき点は、右上隅の外れ値です。外れ値は、データ入力エラー、分析に影響を与える異常なケース、さらなる調査が必要な興味深い現象など、さまざまなカテゴリに分類されます。最後に、どの変数を横軸に配置し、どの変数を縦軸に配置するかを検討することが重要です。研究において一方の変数がもう一方の変数を自然に説明したり影響を与えたりする場合、それを説明変数として横軸に配置する必要があります。逆に、説明または影響を受ける変数は、応答変数として縦軸上にある必要があります。たとえば、燃費の例では、燃費はエンジンのサイズ (排気量) によって説明されると考えるのが合理的であるため、燃費を縦軸に置きます。ただし、この選択には主観が含まれる可能性があり、研究の状況によっては役割が逆転するシナリオもあるかもしれません。

Introduction to Scatterplots
Introduction to Scatterplots
  • 2020.04.11
  • www.youtube.com
What is a scatterplot? How do we construct them? How do we describe them? If this vid helps you, please help me a tiny bit by mashing that 'like' button. For...
 

散布図と相関関係


散布図と相関関係

こんにちは、みんな!今日は、相関関係について簡単に紹介します。このトピックについては 3 分で説明します。始めましょう!

散布図を調べると、データがほぼ直線に従っている線形関係が観察されることがあります。このような場合、変数間の相関関係について議論することができます。ただし、変数に線形以外の関係がある場合は、「相関」という用語を使用する誘惑に抵抗することが重要です。相関関係は弱い場合もあれば強い場合もあり、正または負の場合もあります。

正の相関は、グラフ上を左から右に移動するにつれて、データ ポイントの全体的な形状が上向きに傾いていることを示します。逆に、負の相関は、データ ポイントの全体的な形状が左から右に読むにつれて下降することを意味します。相関が強い場合は、データ ポイントが想像上の線の周囲に密集していることを特徴とし、相関が弱い場合はデータ ポイントがより分散して表示されます。

相関関係を定量化するには、相関係数 (多くの場合「r」で表されます) と呼ばれる統計量を使用します。値の範囲は -1 ~ 1 です。値が 0 に近いほど、データがより曇っているか、より分散していることを示します。提供された例では、0.4 または -0.4 の相関は中程度の相関を表し、0.9 または -0.9 はより強い相関を示します。 1 または -1 の相関は、すべてのデータ ポイントが正確に線上にある完全な線形関係を示します。

相関係数「r」を線の傾きと混同しないように注意することが重要です。 「r」の符号は傾きが正か負かを示しますが、「r」自体は傾きを具体的に表すものではありません。代わりに、相関係数は、データの中心を通過すると想定される線からデータがどのように広がっているかを反映します。

変数が線形関係を示さない場合、それらは無相関であると言います。このような場合の相関係数の解釈には注意が必要です。放物線のように変数間に明確な関連性がある場合でも、相関関係を計算するとゼロに近い値が得られます。

次に、相関関係の計算について説明します。つまり、手動で計算することはお勧めできません。幸いなことに、私たちにはソフトウェア パッケージのような役立つツールがあります。たとえば、R では、コマンドは「cor」です。 X 値と Y 値 (相関させたい 2 つの変数) を指定すると、相関係数をすぐに取得できます。与えられたテーブルで、最初の行を X、2 行目を Y に割り当てると、コマンド「cor(X, Y)」を使用するだけで相関値を取得できます。この例では、0.787 の相関が得られ、中程度の正の相関が示されています。

Scatterplots and Correlation
Scatterplots and Correlation
  • 2020.04.14
  • www.youtube.com
Let's talk about relationships between quantitative variables!If this vid helps you, please help me a tiny bit by mashing that 'like' button. For more #rstat...