タマホーム シフクノいえ 間取り 13, Sixtones ダンス 揃わない 13, 小栗旬 事務所 オーディション 29, 食事 誘う 敬語 46, Pint 電気 朝得プラン 5, Outlook 会議室 予約 空き 状況 16, Pso2 少年顔 レシピ 9, 今日から俺は 再放送 静岡第一テレビ 8, 山本里菜 焼き鳥 屋 12, 東九州龍谷 バレー 歴代メンバー 4, Heysay Jump解散 嘘 22, あつ森 初期住人 部屋 引っ越し 22, スクスタ 攻略 オータム 44, 糸島市消防本部パワハラ 2 ちゃんねる 5, 鬼滅の刃 藤の花 イラスト 5, 石化 凍結 Twitter 25, 彦根 バロー 事件 4, ショップチャンネル 手配中 とは 54, Scatman (ski Ba Bop Ba Dop Bop 歌詞) 5, テラリア アダマンタイト ツルハシ 6, 高校 保護者会コーデ 夏 9, コウノドリ 今橋先生 娘 9, ひょろっと男子 公開録音 2020 ゲスト 4, 手掌多汗症 手術 後悔 16, ニューイングランド 開拓 一団 13, グラブル ヘル 古戦場 15, ゲーテ B1 Sprechen 対策 16, Decent 意味 スラング 6, 天才てれびくん 竜心 卒業 5, 菓子パン 過食 ブログ 27, " />

不偏推定量 最尤推定量 一致 11

を一致性 いっちせい, consistency といい、一致性をもつ推定量を一致推定量 いっちすいていりょう, consistent estimator という。 命題7.1.3.6 標本平均は母平均の一致推定量であり、標本分散は母分散の一致推定量である。 $$, と書きます。これが冒頭でバリアンスの下限を決めていたクラメル・ラオの不等式の重要なパーツになっています。, 兎にも角にも、不偏推定量のバリアンスの下限はフィッシャー情報量の逆数で抑えられているということになります。もしも、とある不偏推定量のバリアンスがクラメル・ラオの下限にたどり着いていたとしたら、それより良い不偏推定量は $\rm MSE$ の意味ではどうせ作れないことになるので、個々に全ての不偏推定量を比較しなくとも、そのような推定量を見つければ良いということになります。, さて、早足で来ましたが、クラメル・ラオの不等式に辿り着くには何の条件もなしに行けるというわけにはいきません。 &= \int \frac{\mathrm d }{\mathrm d \theta} f(x \mid \theta) \mathrm d x \\ }\theta^x(1-\theta)^{n-x}]\), \(=log(n!)-log(x! 誤差項が独立同一な正規分布に従う場合、最小二乗推定量も正規分布に従うこと示し平均、分散を求めます。さらにt分布を使った回帰係数の有意性検定を導出します。 1) (iii) 漸近正規性 標準化するとn ! $$, $$ 検証(Stein推定量とJames-Stein推定量) では次にJames-Stein推定と改良されたStein推定を比較したいと思います。以下プログラムも先ほどと同じように1000回で検証を行います。 一致性はサンプルサイズが大きくなると、推定値が母数へ収束することを意味します。たとえば、 \(\mu = 0\) 、 \(\sigma = 100\) の正規分布から独立的に抽出された \(n\) 個の確率変数 \(X\) があるとします。 つまり、以下のような状況を考えます。 仮に不偏推定量を選んだ場合、$\rm MSE$ の第二項であるバイアスの二乗は $0$ となるため、$\rm MSE = Var$ が成り立ちます。実はパラメータ $\theta$ に対する不偏推定量の作り方は複数ありえます。 {\rm Var} _ \theta (\hat \theta) \geq \frac {(\mathbb E [(\hat \theta(\mathbf X) - \theta) S _ N(\theta, \mathbf X)] ) ^ 2}{ I _ N (\theta)} =bʩ%��'���\u>��9��ׇ��a?o\��;�>�������KWة�`h��4�x�J}P \mathbb E [(\hat \theta(\mathbf X) - \theta) S _ N(\theta, \mathbf X)] = \mathbb E [\hat \theta(\mathbf X) S _ N(\theta, \mathbf X) ] - \theta \mathbb E [S _ N(\theta, \mathbf X)] \], それでは\(\mathbb{E}[Y_1]\)と\(\mathbb{E}[Y_2]\)を計算してみましょう。, それぞれ0.5527504と0.1050386の結果が得られており、こちらも\(\mu\)に非常に近いことが分かります。標本平均以外にも母平均の不偏推定量がいくらでもあり得ることが分かります。, しかし、なぜ\(\mu\)の不偏推定量として\(\bar{X}\)が使われているのでしょうか。それは\(\bar{X}\)が最も効率的な推定量であるからです。, 不偏推定量の中で一つ選ぶとしたら「効率性(efficiency)」というものを基準とします。同じ不偏推定量であれば、精度の高い推定量、つまり分散が小さい推定量がいいでしょう。この精度の良さが「効率性」です。他にも、「有効性」と呼ばれる場合もあります。, 効率性の最も良い推定量のことを有効推定量と呼びます。この効率性は簡単にいうと推定量の分散を意味します。これまで\(\mu\)の不偏推定量として\(\bar{X}\)、\(Y_1\)、\(Y_2\)を見てきました。これら3つの不偏推定量の効率性は\(V[\bar{X}]\)、\(V[Y_1]\)、\(V[Y_2]\)を用いて調べることが可能です。, それぞれの分散は2004.1535382、9974.5536133、2359.1813379であり、\(V[\bar{X}]\)が最も分散が小さい、つまり最も効率的な推定量であることが分かります。\(\bar{X}\)は一致推定量でありながら不偏推定量であり、そして最も効率的な\(\mu\)の推定量となります。, 先ほどの標本平均は一致推定量でありながら、不偏推定量でした。しかし、世の中には一致推定量でありながら、不偏推定量ではない推定量が存在します。その代表的な例が標本分散(\(s^2\))です。標本分散(\(s^2\))は母集団における分散(\(\sigma^2\))の一致推定量ですが、不偏推定量ではありません。, たとえば、\(\mu = 0\)、\(\sigma = 100\)の正規分布から独立的に1000万個の乱数を生成したとします。この場合、母分散(\(\sigma^2\))は10000となります。そして、この1000万個の値の標本分散(\(s^2\))と不偏分散(\(\hat{\sigma}^2\))を計算します。ちなみに、Rのvar()は不偏分散を計算するため、標本分散を求めるためには不偏分散に\(\frac{n-1}{n}\)を掛ける必要があります。, どれも母分散に非常に近い値が得られており、\(n\)を無限にすると母分散に一致すると予想されます。したがって、\(s^2 \overset{p}{\rightarrow} \sigma^2\)、\(\hat{\sigma}^2 \overset{p}{\rightarrow} \sigma^2\)であり、どれも一致推定量であることが分かります。, それでは\(s^2\)と\(\hat{\sigma}^2\)の平均値(\(\simeq\)期待値)を計算してみましょう。, 標本分散の期待値は約8000で、母分散の\(\frac{n-1}{n}\)、つまり\(\frac{4}{5}\)となります。一方、不偏分散の場合期待値が母分散に非常に近いことが分かります。したがって、不偏分散は一致性と不偏性があり、標本分散は一致性のみあることが分かります。, 逆に不偏推定量でありながら一致推定量ではない推定量も存在します。たとえば、以下のような例を考えてみましょう。, 要するに、絶対値の最も高かった値を\(\theta\)の推定量(\(\hat{\theta}\))として用いることを意味します。この場合、\(\hat{\theta}\)は一致推定量でしょうか。\(n\)を1から1000まで増やしながら確認してみましょう。, このように\(n\)をいくら増やしても\(\hat{\theta}\)は母数である0へ収束しないことが分かります。つまり、この推定量は一致推定量ではありません。それでは、この推定量は不偏推定量でしょうか。ここでは話を単純にするために\(n = 3\)の例を考えてみましょう。不偏性はサンプルサイズ(\(n\))と無関係ですので、これでも問題ないでしょう。試行数は100万とします。, 非常に0に近い結果が得られており、これはほぼ\(\mu\)と同じ値となります。施行数が無限回になると、\(\mathbb{E}[\hat{\theta}]\)は\(\mu\)と一致していくだろうと考えられます。, 我々が教科書でよく見る推定量は一般的に一致性と不偏性を同時に満たす推定量が多いでしょう。しかし、例外も常に存在します。標本分散もその一つの例です。他にも、最尤推定法から得られた分散の推定量は一致推定量ではあるものの、不偏推定量ではないことが知られています。, © All rights reserved. %PDF-1.5 \begin{eqnarray} $$, と下から押さえつけられます。この不等式をクラメル・ラオの不等式と呼び、下から抑えている $1 / I _ N (\theta)$ をクラメル・ラオの下限と言います。, さて、クラメル・ラオの下限は確率モデルはもちろんのことデータの数にも依存にしているようです。今、確率変数列 $\mathbf X= \{ X _ 1, \cdots, X _ N \}$ の各 $X _ i, X _ j \ \ (i \neq j)$ が独立同分布で $f(x \mid \theta)$ によってモデル化されるとします。簡単のため $\theta$ はスカラーとします。このときの尤度関数 $L (\theta \mid X)$ は全データの同時確率として, $$ & = \int _ {\bf x} \hat \theta(\mathbf x)\frac{\frac{\mathrm d }{\mathrm d \theta} f _ N(\mathbf x \mid \theta)}{f _ N( \mathbf x \mid \theta)} f _ N (\mathbf x \mid \theta)\mathrm d \mathbf x \\ $$, という式になっています。今、$\hat \theta$ は不偏推定量であったのでしたから、$\mathbb E [\hat \theta (\mathbf X)] = \theta$ となっています。従って上記の式は, $$ \mathbb E [S _ 1 (\theta, X _ i)] &= \int \left[ \frac{\frac{\mathrm d }{\mathrm d \theta} f(x \mid \theta)}{f(x \mid \theta)} \right] f(x \mid \theta) \mathrm d x \\ ⇨統計的推定とは?~点推定と区間推定の違い~, 最尤推定量の定義に入る前に、まずは具体例をまじえつつその考え方を理解していきましょう。, 最尤推定量とは、文字の如く、最も尤もらしい推定量のことです。このことから、なんとなく一番良い推定量だという気がしてきますよね?果たして本当にそうなのでしょうか。, ここで、「最も」は「一番」という意味ですが、では「尤もらしい」というのはどういう意味なのでしょうか?, コインが1枚ある。このコインはどうもイカサマコインらしく、表の出る確率が\(\frac{1}{2}\)ではないらしい。ここで表の出る確率を調べるために、このコインを10回投げたところ、8回表が出た。さて、このコインの表が出る確率はいくつだろうか?, もちろんコインの表が出る真の確率はわかりませんので(神様のみがわかる値です)、この値を推定しなければなりません。さて、あなたはこの真の確率をどのように推定するでしょうか?, 10回中8回表が出ているという結果から、なんとなく\(\frac{8}{10}=\frac{4}{5}\)と推定することが可能です。まさにこの値が最尤推定量になります。, しかし「なんとなく」では数学的、統計的にはよくありません。統計学的には、しっかりと\(\frac{4}{5}\)とした根拠を提示する必要があります。, 最尤推定量とは、手元のデータが、どの母パラメータに従う分布から得られる確率が最も高いかに基づいて考えられる推定量です。上の例の場合ですと、「10回中8回出た」というデータが、表が出る(真の)確率がいくつのときに最も得られる確率が高いか、ということです。, このままだと、まだわかりづらいと思うので、具体例として次のような計算をしていきます。表が出る確率を変えていきながら今回のように10回中8回表が出る確率を確率を考えてみましょう。, (ⅰ) コインの表が出る真の確率が\(\frac{1}{2}\)のとき、10回中8回表が出る確率, \({}_{10}C_8(\frac{1}{2})^8(\frac{1}{2})^2\approx 0.0439=4.39\%\), (ⅱ) コインの表が出る真の確率が\(\frac{2}{3}\)のとき、10回中8回表が出る確率, \({}_{10}C_8(\frac{2}{3})^8(\frac{1}{3})^2\approx 0.195=19.5\%\), (ⅲ) コインの表が出る真の確率が\(\frac{3}{4}\)のとき、10回中8回表が出る確率, \({}_{10}C_8(\frac{3}{4})^8(\frac{1}{4})^2\approx 0.282=28.2\%\), (ⅳ)コインの表が出る真の確率が\(\frac{4}{5}\)のとき、10回中8回表が出る確率, \({}_{10}C_8(\frac{4}{5})^8(\frac{1}{5})^2\approx 0.302=30.2\%\), (ⅴ) コインの表が出る真の確率が\(\frac{5}{6}\)のとき、10回中8回表が出る確率, \({}_{10}C_8(\frac{5}{6})^8(\frac{1}{6})^2\approx 0.291=29.1\%\), このように、母パラメータの取りうる範囲で全て計算を行ったとき、「10回中8回表が出る」というデータが得られる確率が最も高くなるのが\(\frac{4}{5}\)のときなのです。こういった意味で、「尤もらしい=いかにも道理にかなっている」推定である\(\frac{4}{5}\)が最尤推定量になります。, しかし、母パラメータの取りうる範囲で全て計算を行うのは事実上不可能ですね(おそらくほとんどの場合が実数値をとるので、数式の数が無限になる)。そこで最尤推定量を計算で導出していくことにしましょう。, (この考え方はベイズ統計の考え方と同じです。『ベイズ統計学の考え方~ベイズ論と頻度論の違い~』の記事では違ったアプローチでの解説を行っているのでぜひご覧ください。), パラメータ\(\theta\)に従う分布の密度関数を\(f(x;\theta)\)とする。尤度関数を\(L(\theta;x)=f(x;\theta)\)とすると、\(L(\theta;x)\)を最大にするような推定量\(\theta=\hat{\theta}\)を\(\theta\)の最尤推定量という。, 記事の冒頭で示した例題の数字の部分を文字式に置き換えて考えて見ましょう。これによって、二項分布の最尤推定量を一般化して導出できます。, コインが1枚ある。このコインの表の出る真の確率をp(未知)とする。このコインをn回投げたところ、x回表が出た。このとき、pの最尤推定量を求めよ。, \(f(x;\theta)={}_nC_x\theta^x(1-\theta)^{n-x}\), \(L(\theta;x)={}_nC_x\theta^x(1-\theta)^{n-x}\), となり、この\(L(\theta;x)\)が最大になるような\(\theta\)を考えます。通常最大値(極大値)を求めるときには微分します。しかし、この関数を微分するのは少々面倒なので、対数尤度関数, (これは、対数関数が\((0,\infty)\)の範囲で単調に増加するため、\(L(\theta;x)\)が最大になるような\(\theta\)と\(l(\theta)\)が最大になるような\(\theta\)が一致することを利用しています。また、尤度関数ではなく対数尤度関数を微分する理由は、logをとることで積の形から和の形にできるため、微分計算が楽になるからです。), \(l(\theta)=logL(\theta;x)=log[{}_nC_x\theta^x(1-\theta)^{n-x}]\), \(=log[\frac{n!}{x!(n-x)! スポンサーリンク <> &= \frac{\mathrm d }{\mathrm d \theta} \int f(x \mid \theta) \mathrm d x \\ 一致性はサンプルサイズが大きくなると、推定値が母数へ収束することを意味します。たとえば、\(\mu = 0\)、\(\sigma = 100\)の正規分布から独立的に抽出された\(n\)個の確率変数\(X\)があるとします。つまり、以下のような状況を考えます。, \[ $$, となりました。こうして、第1項が $1$ であることが示され、クラメル・ラオの不等式が完成しました。, 着目している推定量 $\hat \theta$ は不偏推定量でした。これに該当しないクラスの推定量に関するバリアンスに関してはこの不等式では議論できません。, $$ $$, を示せれば良いということになります。 この記事では、点推定と区間推定の基本的な考え方について、直感的に理解できるよう説明しています!統計学の知識を試すには、統計検定2級がおすすめ!統計検定2級は、データサイエンスや機械学習で必要な、基礎的な統計学の知識をカバーしています。ご購入はこち... $$標本平均 \overline{X}=\frac{X_1+…+X_n}{n}$$, \(n \rightarrow \infty\) のとき、\(標本平均=母平均\), $$標本分散 s^2=\frac{1}{n}\{(X_1-\overline{X})^2+..+(X_n-\overline{X})^2\}$$, \(n \rightarrow \infty\) のとき、\(標本分散=母分散\), $$不偏分散 u^2=\frac{1}{n-1}\{(X_1-\overline{X})^2+..+(X_n-\overline{X})^2\}$$, \(n \rightarrow \infty\) のとき、\(不偏分散=母分散\), RとPython勉強中、駆け出しエンジニア。確率統計を使ったマーケティング分野で独立して、自由な働き方を目指しています。経済学科1年/イギリス在住/統計検定2級/ブロガー. \mathbb E [S _ 1 (\theta, X _ i)] = \int \left[ \frac{\mathrm d }{\mathrm d \theta} \log f(x \mid \theta) \right] f(x \mid \theta) \mathrm d x ©Copyright2020 統計とか経済とか.All Rights Reserved. \frac{\mathrm d}{\mathrm d \theta} \int f(x \mid \theta) \mathrm d x = \int \frac{\mathrm d}{\mathrm d \theta} f(x \mid \theta) \mathrm d x $$, と求まります。ここで、$x$ に関する積分と $\theta$ に関する微分の順序が入れ替えられるような $f (x \mid \theta)$ となっていることを仮定していることに注意してください。, また、スコア関数は $S _ N(\theta, \mathbf X) = \sum _ {i=1} ^ N S _ 1 (\theta, X _ i)$ と表せるので上記の $N = 1$ のときに期待値が $0 $ であることを示したことで任意の $N > 1$ で成り立ちます。, 続いて第一項に関して見ていきます。第二項は $0$ として消えたので、第一項が $1$ であることを示すだけです。まず確率変数列 $\bf X$ の実現値として $\mathbf x = (x _ 1, \cdots, x _ N)$ と表記します。, $$ $$, が成り立っています。$g = \hat \theta(X) - \theta$ 、 $h = S _ N(\theta, \mathbf X)$ とそれぞれ選ぶと, $$ この記事では、母数を推定するのに使う推定量の性質「不偏性」と「一致性」について、説明しています。後半では推定をする際に、不偏分散を使わないといけない理由を証明しています! この記事を読む前に! 推定についての知識が怪しい方は、こちらの記事を先に読むことをお勧めします。

タマホーム シフクノいえ 間取り 13, Sixtones ダンス 揃わない 13, 小栗旬 事務所 オーディション 29, 食事 誘う 敬語 46, Pint 電気 朝得プラン 5, Outlook 会議室 予約 空き 状況 16, Pso2 少年顔 レシピ 9, 今日から俺は 再放送 静岡第一テレビ 8, 山本里菜 焼き鳥 屋 12, 東九州龍谷 バレー 歴代メンバー 4, Heysay Jump解散 嘘 22, あつ森 初期住人 部屋 引っ越し 22, スクスタ 攻略 オータム 44, 糸島市消防本部パワハラ 2 ちゃんねる 5, 鬼滅の刃 藤の花 イラスト 5, 石化 凍結 Twitter 25, 彦根 バロー 事件 4, ショップチャンネル 手配中 とは 54, Scatman (ski Ba Bop Ba Dop Bop 歌詞) 5, テラリア アダマンタイト ツルハシ 6, 高校 保護者会コーデ 夏 9, コウノドリ 今橋先生 娘 9, ひょろっと男子 公開録音 2020 ゲスト 4, 手掌多汗症 手術 後悔 16, ニューイングランド 開拓 一団 13, グラブル ヘル 古戦場 15, ゲーテ B1 Sprechen 対策 16, Decent 意味 スラング 6, 天才てれびくん 竜心 卒業 5, 菓子パン 過食 ブログ 27,

Compartilhar: