はてなブックマーク

こんにちは、集計野郎マクガイバーです。 コンビニの出店戦略ではセブンイレブンのドミナント戦略が有名で公式ホームページにも記載してあるくらいです。 しかし、その実態に関してはどの程度そうであるのかといったような厳密な検証情報はなく、特定都市における出店数を比較したようなものや、単に四国にセブンイレブンが出店していないという情報を根拠にしたものが多数見られます。 関西ではローソンがドミナントしているのはいうまでもないし、特定の地域を抜き出して一般的な結論を持ち出すのは問題に思われます。 幸いなことに去年集めたものですが、データが手元にあるので、今日はこのドミナント出店戦略を数値化、可視化してみます。 （以後、ですます調ではなくなります。） ロウデータで見る各コンビニの出店戦略 ここでは、ロウデータを地図上にプロットして各コンビニチェーンの出店戦略がどのようになっているかを見てみる。 赤：セブン

1次元HMCのコードを書いたのでメモ 動機はNUTSに挑戦する前にパラメータと尤度、ハミルトニアンの振る舞いについて理解しておきたかったので 偉大なる先輩のblogはこちら ハイブリッドモンテカルロを実装してみた http://d.hatena.ne.jp/koh_ta/20121116/1353074113 ######################################################## #HMC #initial value epsilon<-0.25 N<-1000 L<-4 p<-rep(NA, N) q<-rep(NA, N) s<-rep(NA, N) h<-rep(NA, N) p[1]<-rnorm(0, 1, n=1) q[1]<-3 h[1]<-hamiltonian(q[1], p[1]) SD<-2 MU<-1 #q obey to

前回のBUGS/Stan勉強会#1でご要望のあったStanチュートリアルの資料を作成しました。 StanTutorial from Teito Nakagawa

PostGISの中でも頻繁に使用する機能について調べたので、参照用にSQLとその使用方法についてまとめておきます。 GISは空間参照系や楕円体のあたりなど技術的にもマニアックだが、とりあえず理解している範囲内で基本的なことをメモ。 PostGISについて PosgreSQLには地理情報に関する機能を集めたPostGIS呼ばれる拡張がある。メリデメは以下の通り。 メリット 複雑な集計操作を豊富な関数で処理でき、GIS基盤のミドルウェアとして利用可能。 データベースに格納できるので既存のデータとの結合やデータの共有が容易。 毎回必要に応じて集計すればよいので、粒度や集計単位の異なるshpファイルをたくさん持たなくてもよくなる。 QGIS等とも相性がよく、手軽にSQLで集計して主題図を記述可能。 デメリット 毎回集計するのでメモリに乗るデータなら普通にGISで処理した方が早いかも。 データベース

こんにちはStanエヴァンジェリストの駆け出しベイジアンです。掲題の通り、第1回BUGS/stan勉強会を開催したので報告します。 BUGS/Stanって何？ 改めて、BUGS/Stanとは何ぞやということを説明しておくとベイズ推定による柔軟なモデリングを実現するためのDSL言語です。 これでモデルを記述すると、非エンジニアなデータ解析屋のみなさんでも（比較的）簡単にデータ分析が出来ます！ このあたりの技術は日本語で枯れていないのでこの勉強会を通して色々と技術を枯らして行きたいと思います。 特にベイズモデリングは恣意性が高く、細かいテクニックと経験が必要なのでそういった悩みのあたりも共有できたらと思っています。 会場はドリコムさんの100人くらいは入る広い会場をお借りしました。ドリコムさんに感謝！！ 参加者は全員で10名程度でした。かなり高学歴な方ばかりが集まっていらっしゃったので大変恐縮

こんにちわ。BUGSにはまってしまって大変なアナリストです。 どうにもこうにもWINBUGSが遅くていや遅すぎて使えないので、今日はRからstanを叩くrstanをインストールしてみたいと思います。 環境はWindows8 64bitです。 1.Rtoolsをインストール 以下のサイトからRtoolsをインストールしてc++のコンパイルができるようにしておきます。 http://cran.r-project.org/bin/windows/Rtools/ 適当に次へ次へをクリックしておけば問題ないです。 今回はRtools31.exeをインストールします。 途中環境変数の設定があったりしますが、そのままで問題ないです。 【追記】この時、Windowsでは、PATHは先頭にあるものを優先して実行するのですでにコンパイラーなどをインストールしている場合はPATHの先頭にRtoolsの実行ファイ

こんにちは、ソーシャルビッグデータサイエンティストです。 最近のデータ解析ブームの流れにのって何か面白いデータ解析でもやってみようと思い、データサイエンティストこじらせた結果、 「今まで機械学習的な方法論使ってないところに機械学習的な方法論使うと面白いんじゃないか。」と思って 今回ドラマの視聴率で予測モデルの構築を試してみたのですが、結論を先に言うと、ニューラルネットワークやRFとか、小難しい方法尽く試した結果、失敗しました。 残念なクオリティですが、放送年度と時間帯と言った基本的な数値だけで予測モデルを構築、メモとして、一旦ブログに残しておきます。 １．データの取得 データについてはこちらのドラマ視聴率を参考に、足りないデータはWikipediaで補完して取得しました。 取得データ：ドラマの各話視聴率、キャスト、タイトル、また、Wikipediaを参考にドラマのジャンルを取得しました。

ある論文によると、顧客が優良顧客であるかそうでないかの定義に、顧客の来店間隔の標準偏差を用いることができるそうです。 また、RFM分析をやっていても、Rは現在からのスナップショットなので、一ヶ月に一回しか来ない人に対して「もう、一ヶ月も来ていないので離反している！」なんて言っても、もともと一ヶ月に一回しか来ていないので、そんなことは言えません。顧客の平均来店間隔ととの兼ね合いで見たいなんてことになります。 で、この平均来店間隔、来店間隔標準偏差（分散）、顧客の売上金額や顧客の来店回数なんかに比べるとSQLで実装するととても面倒です。 （平均来店間隔は来店回数の集計日数合計による割り算でできますが。。。） PostgreSQLには独自の集計関数を定義する。CREATE AGGREGATE文があります。 こいつとPostgreSQLの配列機能、両方組み合わせると、相当便利で先ほどの平均来店間隔

CentOSにVNCとVirtualBoxをインストールしたので、メモ ①Virtual Boxのインストール http://www.virtualbox.org/ １．上記のURLより、必要なメディアのダウンロードを事前に行いインストール #rpm -ivh VirtualBox-4.2-4.2.4_81684_el6-1.x86_64.rpm ２．必要なOSパッケージのインストール #yum install kernel-devel #yum install gcc ３．環境変数の設定 #export KERN_DIR=/usr/src/kernels/2.6.32-279.11.1.el6.x86_64 ４．VirtualBoxカーネルの再コンパイル #/etc/init.d/vboxdrv setup ５．VirtualBox用のグループをユーザに追加 #usermod -G vb

最近転職して、Rをメインで使用しています。（弊社のR使用率はなんと100％！） 今後も仕事を通じてRの普及と進歩に貢献していきたいと考えています。 今回の記事の更新はRAdventCalendar2012の一貫として更新しています。 ハッシュタグは#RAdventJPですので、こちらもぜひチェックしてみてください。 早くビールが飲みたいので、今日はアソシエーション分析の結果を可視化するパッケージのarulesVizの紹介をしてお茶を濁したいと思います。 アソシエーション分析とはなんぞやとかRでのアソシエーション分析の使い方については、Tokyo.R #22の発表資料が大変よくまとまっていてわかりやすいので、こちらをご覧になってください。これを読めばアソシエーション分析については基本を抑えることが出来ると思います。アソシエーション分析について知らない方はこの記事を読む前にこちらをご覧になって

A Survey of Collaborative Filtering Techniques(Xiaoyuan Su and Taghi M. Khoshgoftaar, 2009,Advances in Artificial Intelligence) 仕事で協調フィルタリングについて調べる必要が出てきたのだが、あまりよい日本語の文献を見つけられなかったため（後にしましま先生の文献を見つけた）やむなく英語の論文を検索したところ、 上記のよいサーベイ論文を見つけた。というわけでこのサーベイ論文に書かれていることに自分なりに調べたことを加えて、自分用にまとめておく。 また、一部の人達の間ではとても有名なしましま先生の論文（ドラフト版）があるので、英語が苦手な人はそちらをご覧になるとよいと思われる。 協調フィルタリングは、一言で言えばユーザとアイテムのマトリックスを用いた顧客への商品のレコメン

闇の中答えを探し求めている〜こんにちはVBA界の若頭です。 データ解析しているとExcelのことが愛おしくなって、「お前だけはもう離さない」なんてことになりますよね。 そんな僕らの友達、Excelの素晴らしい機能の1つに「条件付き書式設定」があります。 これはExcelのセルの色を指定の範囲内で数値に応じて塗り替える機能です。 (総務省「家計調査」より引用 ) データ解析の基本は散布図とヒストグラムなんて言われますが、こいつを使うと複数の変数間の関係を可視化できるので、 業務でデータを解析している人にとっては、必須のツールですね。 最近は統計学とかデータマイニングが流行っていて、数学のわかる人が幅をきかしているみたいですが、これだけ見ておけばよいです。 高度なデータマイニング手法なんておまけみたいなもんです。って最近自分に言い聞かせています。 目指せExcelの条件付き書式設ティストという

『何を求め、どこへ行くのか』〜こんにちはR界の若頭です。 WindowsでRStudioを使ってRのコードを書いている人って、多いと思います。IT苦手だけど、データマイニングしたいという人に多いんじゃないでしょうか。で、RStudioにいつからだったかバージョン管理機能がついていて、「同じようなファイルがフォルダに混在しているしバージョン管理使ってみたいけどIT苦手だしよくわかんねーよ。日本語の手順解説ブログねーし。」というIT苦手な自分、いやあなたのために、今日はWindowsのRStudioによるバージョン管理機能をgitで有効化した時の手順を記しておきます。 私が設定した環境を記載しておきます。 Windows7(64bit) RStudio0.97 git version 1.8.0.msysgit.0 大きな手順は以下のとおりです。 １．gitのインストール ２．gitのセットア

この記事は R Advent Calendar 2014 の25日目の記事です。 ペンローズ・タイルって皆様ご存知でしょうか。 ペンローズ・タイル - Wikipedia 簡単にまとめると以下のような特徴を持つ不思議なタイルとその平面充填方法です。 非周期的であり、同じ充填方法が現れない。 kiteとdirtと呼ばれる二つの四角形から構成される。 それぞれの四角形は同じ形のロビンソンの三角形という二等辺三角形を2つ組み合わせたもので出来ている。 三角形の長辺との長さは黄金比になっている。 再帰的に分割することができ、フラクタル図形の一種と言える。 このペンローズタイルと同じ性質を持つ図形はイスラム建築の模様や、電動シェーバーの網刃、準結晶等様々なところに見られます。 とっても不思議な図形ですね。まとまった解説記事がないのが残念です。 ということで、このペンローズタイルをRで描いてみました。

仕事柄、情報分析目的のRDBMSを触ることが多いのですが、こういった情報分析用途に用いるDBをDWH*1と言います。 以前、勉強会の懇親会でユーザーの立場でこういったシステムの構築に関わっているが、経験がなく、どのように構築していいかわからない。 またこの手の知識をどう勉強していいかわからない。と仰っていた方がいました。 別に大して難しい話でもないのですが、独自の単語が多い上、意外と資料がなくて困る分野だなとは思います。 そういうわけで、もしこの手の分野が難しいと感じている方は損をされています。 ぶっちゃけ、DWHは簡単な概念を少し覚えるだけで、もうプロフェッショナルになれます。 ベンダーやSIerともベシャリまくれることができます。 というわけで、自分なりにDWH関連の初歩の知識である上記の簡単な概念をまとめてみることにしました。 押さえておきたい単語は以下の6つ。 情報系システム、DW