しまてく

学んだ技術を書きためるブログ

数学

ITエンジニアのための機械学習理論入門8.1ベイズ推定

8.1の発表を担当したのでスライドを上げておきます。 ITエンジニアのための機械学習理論入門8.1ベイズ推定 from 大輔 嶋田

ITエンジニアのための機械学習理論入門 7

第7章 EMアルゴリズム: 最尤推定法による教師なし学習 この章では2つのことを学ぶ。 特定の文字だけからなる手書き文字サンプル群から、それらを代表する「代表文字」を生成する方法。 ベルヌーイ分布と呼ばれる確率分布を用い、最尤推定法を実施する。 複数…

ITエンジニアのための機械学習理論入門 6

第6章 k平均法: 教師なしモデルの基礎 k平均法は教師なし学習モデル。 与えられたトレーニングセットをクラスタリングする方法。 いままでの教師あり学習では、トレーニングセットは目的変数$t_n$を持っていた。 そうしたデータを分析し、未知のデータに対し…

ITエンジニアのための機械学習理論入門 5-1

5章 ロジスティック回帰とROC曲線: 学習モデルの評価方法 ロジスティック回帰は、パーセプトロンと同じ分類アルゴリズムの一つ。 確率を用いた最尤推定法でパラメーターを決定する点が異なる。 確率を用いる事で、未知のデータの属性を推定する際に違いがあ…

ITエンジニアのための機械学習理論入門 4-1

第4章 パーセプトロン : 分類アルゴリズムの基礎 複数の観測値があるときに、$ t=\pm 1 $ に分類するような直線を発見する問題。 最小二乗法に類似の「誤差関数」を使って解く。 ただし「紙と鉛筆による計算」では解けない。 数値計算をしてパラメータの修正…

ITエンジニアのための機械学習理論入門 3-2

3.2 単純化した例による解説 いままでやっていた例題をもう少し単純化する。 今までは複数の観測点 $ \{x_n\}_{n=1}^N $ における観測値を予測することが目標だった。 今回は観測点をある点に固定し、繰り返し観測値$t$を得るものとする。 ある値を中心に散…

ITエンジニアのための機械学習理論入門 3-1

途中の計算式がわからないので補完しながら予習メモ。(といいつつ結構書いてるけど大丈夫なんだろうか...) 3.1 確率モデルの利用 最尤推定法 「あるデータが得られる確率」を設定して、そこから最良のパラメータを決定する。 パラメトリックモデルの3つのス…

ITエンジニアのための機械学習理論入門 2-2

# 2.2 オーバーフィッティングの検出輪読で私の番だったので資料ペタり。 Ml4se 2 2_slideshare from 大輔 嶋田

ITエンジニアのための機械学習理論入門 2-1

毎週少しずつ読んでいるんですが、なかなか理解が遅いので記事としてまとめてみます。 完全に自分用メモ。 2.1.3 数学徒の小部屋 $$ 誤差 E_D = \dfrac{1}{2} \sum_{n=1}^{N} (\sum_{m'=0}^{M}ω_{m'}x_{n}^{m'} - t_{n})^2 \tag{2.4} $$ ここで(2.4)を最小に…