港区で苦しむデータサイエンティストのメモ帳

統計・機械学習とマーケティング

データ分析

分析用のデータが「汚れ」てしまう7つの原因

分析用のデータが「汚れ」てしまう データサイエンティスト(コンサルタント、マーケターなども然り)として日々データに向き合っていると、世の中には「汚れ」ているデータばかりだと気付くだろう。 欠損値だらけの歯抜けのデータだったり、特定の領域に偏…

【Excel】ピボットテーブルをDe-Pivotしてリストに戻す

テーブル型のデータをリストに変換する Excelを使っているとテーブル型のデータによく遭遇します。マトリクスとも呼ばれますし、場合によってはクロス集計表とも呼ばれます。ピボットテーブルを一度でも使ったことがある方にとっては見慣れたものでしょうか…

『計量経済学』のざっくりとした定義とワークフローのまとめ

データサイエンティストと計量経済学 データサイエンティストと一口で言っても、機械学習(machine learning)に軸足を置いた「機械学習エンジニア」に近い人材もいれば、計量経済学(econometrics)に軸足を置いた「データアナリスト」に近い人材もいます。…

テレビCMの残存効果をAd Stock(アドストック)で計算してみる【R & Pythonコード付き】

テレビCMの効果測定 例:テレビCMの効果測定 広告の残存効果(アドストック) 定式化 具体例でみる 忘却率をどうやって決めるか 1. 忘却率ごとに相関を出して最適化する(定量的) 2. 商材・メディア・クリエイティブなどに合わせて決める(定性的) 半減期 …

「動物は何を報酬として行動しているのか」が逆強化学習で明らかになる

www.kyoto-u.ac.jp 一般に強化学習というと、 どの状況でどれくらい報酬を得られるのかはあらかじめ決められており、試⾏錯誤によって得られる報酬を最⼤化する⾏動戦略を⾒つけ出す 機械学習のモデルであるが、逆強化学習は 動物はすでに最適な⾏動戦略を獲…

Excelの重回帰分析でタイタニック号乗客の生存予測をやってみよう

qiita.com はじめに データサイエンスに興味がある Excelなら使える ピボットテーブルなら聞いたことあるぞ! という方々向けに、Excelの基本的な機能と関数のみを使って、データ分析(重回帰分析)を行う流れを説明していきたいと思います。 みなさまが本格…

べき分布になりやすいビジネスデータは「等質化」してから分析しよう

データサイエンティスト養成読本 機械学習入門編 (Software Design plus)作者: 比戸将平,馬場雪乃,里洋平,戸嶋龍哉,得居誠也,福島真太朗,加藤公一,関喜史,阿部厳,熊崎宏樹出版社/メーカー: 技術評論社発売日: 2015/09/10メディア: 大型本この商品を含むブロ…