港区で苦しむデータサイエンティストのメモ帳

統計・機械学習とマーケティング

【KDD2018】論文『Customized Regression Model for Airbnb Dynamic Pricing』を読んでまとめた

はじめに 2018年8月19日から23日にかけてロンドンで行われたKDD2018(データマイニングの世界的なカンファレンス)に採択されていた『Customized Regression Model for Airbnb Dynamic Pricing』なる論文を読みました。 Airbnbで実装されている価格推薦モデ…

分析用のデータが「汚れ」てしまう7つの原因

分析用のデータが「汚れ」てしまう データサイエンティスト(コンサルタント、マーケターなども然り)として日々データに向き合っていると、世の中には「汚れ」ているデータばかりだと気付くだろう。 欠損値だらけの歯抜けのデータだったり、特定の領域に偏…

【Excel】ピボットテーブルをDe-Pivotしてリストに戻す

テーブル型のデータをリストに変換する Excelを使っているとテーブル型のデータによく遭遇します。マトリクスとも呼ばれますし、場合によってはクロス集計表とも呼ばれます。ピボットテーブルを一度でも使ったことがある方にとっては見慣れたものでしょうか…

『計量経済学』のざっくりとした定義とワークフローのまとめ

データサイエンティストと計量経済学 データサイエンティストと一口で言っても、機械学習(machine learning)に軸足を置いた「機械学習エンジニア」に近い人材もいれば、計量経済学(econometrics)に軸足を置いた「データアナリスト」に近い人材もいます。…

Google Apps Scriptでシート全体を自動で翻訳する

Excelを英語に翻訳する 海外とのやりとりがある企業に勤めていると、Excelシートの情報などを英語に翻訳しなければいけないことがあります。 もちろん英語に自信のある方は特にリファレンスなしでサクっと翻訳できてしまうのかもしれませんが、私のようにWeb…

HackerRankのアルゴリズム厳選20問でコーディング面接をハックする

HackerRankのCracking the Coding Interview https://www.hackerrank.com/domains/tutorials/cracking-the-coding-interviewwww.hackerrank.com HackerRankという、世界中のハッカー(=ソフトウェアエンジニア・機械学習エンジニアなど)が、プログラミング…

機械学習の基礎知識を5分で復習するノート

学習の種類 分類と回帰 特徴抽出と特徴ベクトル 決定境界と決定領域 汎化 generalization 識別器の例 最近傍法 nearest neighbor method k近傍法 k-nearest neighbor method アルゴリズム メリットとデメリット 教師あり学習の評価方法 ROCとAUC TPRとFPR RO…

テレビCMの残存効果をAd Stock(アドストック)で計算してみる【R & Pythonコード付き】

テレビCMの効果測定 例:テレビCMの効果測定 広告の残存効果(アドストック) 定式化 具体例でみる 忘却率をどうやって決めるか 1. 忘却率ごとに相関を出して最適化する(定量的) 2. 商材・メディア・クリエイティブなどに合わせて決める(定性的) 半減期 …

「動物は何を報酬として行動しているのか」が逆強化学習で明らかになる

www.kyoto-u.ac.jp 一般に強化学習というと、 どの状況でどれくらい報酬を得られるのかはあらかじめ決められており、試⾏錯誤によって得られる報酬を最⼤化する⾏動戦略を⾒つけ出す 機械学習のモデルであるが、逆強化学習は 動物はすでに最適な⾏動戦略を獲…

Excelの重回帰分析でタイタニック号乗客の生存予測をやってみよう

qiita.com はじめに データサイエンスに興味がある Excelなら使える ピボットテーブルなら聞いたことあるぞ! という方々向けに、Excelの基本的な機能と関数のみを使って、データ分析(重回帰分析)を行う流れを説明していきたいと思います。 みなさまが本格…

『UXデザイン入門』に学ぶ、デザイン調査のパターンとポイントまとめ

UXデザイン入門作者: 川西裕幸,潮田浩,栗山進出版社/メーカー: 日経BP社発売日: 2012/01/26メディア: 単行本購入: 5人 クリック: 246回この商品を含むブログ (4件) を見る デザイン調査 モチベーション ターゲット ユーザーが特定の領域に限られる場合 ユー…

『UXデザイン入門』に学ぶ、行動変数に基づくユーザーモデリング

UXデザイン入門作者: 川西裕幸,潮田浩,栗山進出版社/メーカー: 日経BP社発売日: 2012/01/26メディア: 単行本購入: 5人 クリック: 246回この商品を含むブログ (4件) を見る ユーザーモデルとは ペルソナ/シナリオ手法 フロー 行動変数の抽出 行動変数とは KJ…

『問題発見プロフェッショナル』に学ぶ、課題抽出と問題発見における4つの視点

新版 問題解決プロフェッショナル―思考と技術作者: 齋藤嘉則出版社/メーカー: ダイヤモンド社発売日: 2010/04/16メディア: 単行本購入: 10人 クリック: 42回この商品を含むブログ (18件) を見る 問題発見プロフェッショナル―「構想力と分析力」作者: 齋藤嘉…

べき分布になりやすいビジネスデータは「等質化」してから分析しよう

データサイエンティスト養成読本 機械学習入門編 (Software Design plus)作者: 比戸将平,馬場雪乃,里洋平,戸嶋龍哉,得居誠也,福島真太朗,加藤公一,関喜史,阿部厳,熊崎宏樹出版社/メーカー: 技術評論社発売日: 2015/09/10メディア: 大型本この商品を含むブロ…