The grammar of graphics と オブジェクト指向グラフシステム

• 14:18 ggplot2が不自由なのでちゃんと勉強するわ… #
• 15:13 ggplot2 は「グラフはオブジェクト指向で書けるよ」と言った Wilkinson, L.: The Grammar of Graphics の実装なのか。グラフの表現は composite pattern っぽいし、レイヤーを重ねていくところは builder っぽい。 #
• 15:18 Grammar of Graphics では、Object oriented graph system (OOGS) を提案している。OOGSでは、グラフ作成には specification, assembly, display の3つのステージがある、とする #
• 15:23 グラフというのは(写真やビデオ)のような自然画像と違い、少ないルールの組み合わせから構成されている。これを指定するのが specification というステップ。 #
• 15:26 グラフ自体がグラフの組み合わせで構成されている場合もある。グラフのコンポーネント(あるいはレイヤー)を組み立てるステップが assembly #
• 15:27 グラフを display や画像、ビデオなどに出力するステップが display となる #
• 15:29 ggplot2 の場合は、assembly のステップが builder pattern のようにオブジェクトを + 演算子で加えていく部分になる。display の部分は単に print() になるんだね。 #

グラフを specification するルールとは

• 15:33 さて、グラフにおいて、specification すべきルールってなに? って話になる。The grammar of graphics では 6つの statement から構成される、としている。 #
• 15:33 ここでミーティングの時間になってしまったので続きはあとで… #
• 19:26 ミーティングおわた #
• 19:36 specification の 6つの statement とは data, variable transformation, scale transformation, coordinate system, element, guide のこと #
• 19:40 data はそのまんま、描画するためのデータのこと。 #
• 19:50 データをプロットするために bin をとってサマライズしたり、ランクのデータに変換したりする必要があるが、この部分が variable transformation の部分です。 #
• 19:50 ggplot2 の実装では statistical transformation と呼ばれていて、stat_hoge のアレがそうですね #
• 19:52 scale transformation は単にログスケールにするとかそういう話 #
• 20:06 coordinate system もまんまですね、極とかデカルトとかそういうこと #
• 20:07 element ってのはグラフの種類やみための話で、ggplot2 でいう、geometric object に対応するはず。geom_hoge っていうアレですね #
• 20:09 guide は軸とかレジェンドとかそういうやつ #
• 20:11 以上のように、ggplot2 は The grammar of graphics の実装になっているわけです #
• 20:18 ggplot2 を使うにあたって、The grammar of graphics 以外に知っておくべきこととして、データの mapping ぐらいかな? aes を使って軸にデータフレームのどのカラムを使うのかを指定する必要があります。 #

ggplot2の実装について

• 20:25 str(ggplot()) するとオブジェクトの中身がだいたい The grammar of graphics で言っているような感じになっていますね #
• 20:29 ggplot2 の具体的な話にはいる。qplot がお手軽総称関数で、これでプロットしておくとさっきの6つの statement をいいかんじにしてくれる。よって、The grammar of graphics とか知らなくてもいい。やたー #
• 20:31 でも、色々細かいことを指定して、かっちょいーグラフを書くには The grammar of graphics を理解して、ggplot() を使わなきゃ。 #
• 20:37 ggplot() を使うにしても、便利な geom_hoge() と stat_hoge() いうメソッドがあるので完全に一から組み立てる必要はない。GoF の デザパタで言うところの builder pattern っぽい感じですね #
• 20:52 このあたりの話ってもう誰かブログに書いてたりすんだっけ? > ggplot2 #
• 20:59 ggplot2 は S3 な Prototype object-based programming で書かれていますね… #
• 21:02 Prototype object-based programming はよーわからんのよ、おいら #
• 21:15 ソースみると、geom_.r というトップレベルのクラスがあってこれには draw method がある。いわゆる template method pattern みたいな感じで、geom-abline.r で draw() が定義されいてるわけか #
• 21:20 stat_hoge() に関しても stat_.r の calculate() とか calculate_groups() を stat_hoge.r で定義すると。 #
• 21:26 なんかいろいろなところ作った statement を plot.r のなかで構造体としてまとめる。+ で ggplot オブジェクトを加えていけるのは、plot-construction.r がミソか #
• 21:30 plot.r で作られた ggplot オブジェクトは最終的に、plot-render.r に渡されて grid.draw {grid} で描画される #
• 21:30 うん、これで ggplot2 はわかったね、みんな! #
• 21:33 そして ggplot2 は pure R で実装されているのであった。そりゃ遅いさ。 #
• 21:47 ggplot2 がゲシュタルト崩壊してきたのでそろそろ自重 #
• 21:53 @ma_ko いや、プログラムのファイル名が "-" でメソッド名が "_" なのよ #
• 21:54 一箇所、たしかにまちがっているところあるな #
• 21:56 @ma_ko The grammar of graphics は Google Books でさっき読んだ bit.ly/7RW59X #

参考書籍:

結局、両方買っちゃいました。

SQLite に発現データをつっこんだデータを RSQLite で取り出して、ggplot2 でプロットし、brew でHTMLを出力しています。

Amazon EC2 上で動作しています。ggplot2 の描写が遅いため、かなりもっさりしていますねー。Amazon EC2 Small Instance は Xeon 1.0-1.2 GHz, 1.7 GB memory 相当らしいです。ggplot2 で画像を on the fly 生成するのは現実的ではなさそうですね。plot() などを使うか、Google Chart API を使うのが現実的かもしれません。また、時間があるときに、plotrix などほかのライブラリと速度の比較をしてみたいです。

Simple Gene Expression Database (R + Rapache + Brew + RSQLite + ggplot2 on Amaozn EC2)

なんだか、Brew, Rapache のなかのひとに褒められた …///

ちなみに、Amazon EC2 で一日 Ubuntu を動かしていると、このぐらいの料金になりました。

そのうち github にコードをアップしておきたいと思います。

参考:
Ruby on Rails + Gruffを使って、11分で作る遺伝子発現データベース
Google App EngineとChart APIを使って簡単な遺伝子発現データベースを作ってみた

wordpress の設定がだいたいできたので、ドメイン名 itoshi.tv を Amazon EC2 の elastic IP address へ割り当てた。

さらに、wordpress を blog.itoshi.tv でアクセスできるように、A Name の blog も amazon EC2 の elastic IP address に割り当て、apache2 のバーチャルドメイン機能で blog.itoshi.tv からのアクセスを wordpress へ rewrite するように設定した。

Amazon EC2 instance は reboot されると、elastic IP address が動的に変更されるが、ドメインを管理している enom.tv が提供している DNS は Dynamic DNS に対応しているので、DDNSクライアントさえ設定すれば問題ないらしい。

残るタスクは、旧ブログや Hiki などのコンテンツの移動だ。

or syntax.

こんなときは、テンプレートエンジンを使って、HTMLを作る部分とRのコードをなるべく分けるのが良いですね。R にも Ruby でいうところの erb のようなテンプレートエンジンがあります。今回は、brew というテンプレートフレームワークを使います。

brewのインストールと設定

まず brew をインストールします

sudo R
install.pakcages("brew")
q()


次に apache の設定をします。

sudo mkdir /var/www/brew
sudo jed /etc/apache2/sites-available/default


RHandler に brew を設定します。

    # brew
        <Directory /var/www/brew>
          #SetHandler r-handler
          SetHandler r-script
          RHandler brew::brew
        </Directory>

brew で実装し仕直す

前回のコードを brew を使って書き直してみます。まずメインのコードです。

cd /var/www/brew
sudo jed index.r


ほぼHTMLですね。プロット部分を別なファイル hist.r に追い出しています。brew() でこれを読み込みます。

<% setContentType('text/html') %>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">;
<html>
  <head><title>Test</title>
</head>
<body>
  <% brew('/var/www/brew/hist.r') %>
</body>
</html>

プロットを描画するコード hist.r は以下の通り。ほぼ R のコードですね。このコードは画像を作り、最終的にはその画像のパスが入った img タグを作ります。

<%
randomFileName <- function(prefix, postfix) {
  filename <- paste(
    prefix,
    sprintf("%08d", as.integer(runif(1, 0, 10^7))),
    postfix,
    sep=""
  )
  return(filename)
}

image_dir <- "/var/www/images"
filename  <- randomFileName("hist_", ".png")
filepath  <- paste(image_dir, filename, sep="/")

data <- rnorm(1000)
png(filepath)
hist(data)
dev.off()
%>
<img src="/images/<%=filename%>">

http://localhost/brew/index.r にアクセスすると前回と同じようにヒストグラムが表示されます。リロードするとグラフが変わるのを確認してみてください。

これで「HTMLを組む」コードと「計算しプロットを作図する」コードがだいぶ分かれて見通しが良くなりました。次回こそなにか役に立つものを作ってみたいと思います。

# Functions
header <- function(contenttype) {
  setContentType(contenttype)
}
html.head <- function(content) {
  cat("<head>\n")
  cat(content)
  cat("</head>\n")
}
html.body <- function(content) {
  cat("<body>\n")
  cat(content)
  cat("</body></html>\n")
}
randomFileName <- function(prefix, postfix) {
  filename <- paste(
    prefix,
    sprintf("%08d", as.integer(runif(1, 0, 10^7))),
    postfix,
    sep=""
  )
  return(filename)
}                                                                               

# Main
image_dir <- "/var/www/images"
filename  <- randomFileName("hist_", ".png")
filepath  <- paste(image_dir, filename, sep="/")                                

data <- rnorm(1000)                                                             

# output html
header("text/html")
html.head("<title>Test</title>")                                                

png(filepath)
hist(data)
dev.off()                                                                       

html.body(
  paste(
    "<img src="/images/",
    filename,
    '">',
    sep=""
  )
)

リロードすると画像が変わるのがわかると思います。次回はもっと役に立つものを作ってみます。

寧々さんかわいいです。

画像を吐くために Sun Grid Engine で PC クラスタをぶんまわしたりしています、頭わるいですね。数値データをグラフにするだけなので、WWWサーバで on the fly でグラフを描画すべきなのですが、サーバが Celeron, メモリ 800MB というという有様だったので躊躇していました。今回は新しいサーバに引っ越したので、R で on the fly 描画にトライしたいと思います。

まずは mod_R, いわゆる rapacheというまぎらわしい名前のパッケージをセットアップし動作するところまでやってみましょう。環境は Ubuntu 9.10 です。

rapache のインストール

まず、R を apt の source list に入れる。これで apt で最新の R を入れ放題。

deb http://cran.r-project.org/bin/linux/ubuntu intrepid/


次に rapache と関連パッケージを入れます。

apt-get install r-base-dev apache2-mpm-prefork apache2-prefork-dev
wget http://biostat.mc.vanderbilt.edu/rapache/files/rapache-latest.tar.gz
rapachedir=`tar tzf rapache-latest.tar.gz | head -1`
tar xzvf rapache-latest.tar.gz
cd $rapachedir
./configure
make
sudo make install


rapacheの設定

それでは Apache の設定をしましょう。最近は Ruby on Rails を使うので Apache の設定はひさしぶりです。

sudo emacs -nw /etc/apache2/mods-available/R.load


 LoadModule R_module /usr/lib/apache2/modules/mod_R.so


sudo emacs -nw /etc/apache2/mods-available/R.conf


<IfModule mod_R.c>
  ROutputErrors
  <Location /RApacheInfo>
    SetHandler r-info
  </Location>
</IfModule>


cd /etc/apache2/mods-enabled
sudo sudo ln -s ../mods-available/R.load
sudo sudo ln -s ../mods-available/R.conf

Apache を再起動する。


sudo /etc/init.d/apache2 restart
* Restarting web server apache2
apache2: Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 for ServerName
... waiting apache2: Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 for ServerName
...done.

これで apache の設定は完了。

http://localhost/RApacheInfo/

にアクセスするとサーバーの状態が表示されます。

RでCGIを書いてみる

さっそく、Hello, world しましょう。

まずは Apache の設定をします。

sudo jed /etc/apache2/sites-available/default


    # rapache
        <Directory /var/www/rapachetest>
          SetHandler r-handler
          RFileHandler /var/www/R/test.R
        </Directory>


sudo mkdir /etc/www/R
sudo mkdir /etc/www/rapachetest
cd /etc/www/R


Hello, world のコード書きます。


sudo jed test.R


 # Functions
 header <- function() {
   setContentType("text/html")
 }
 html.head <- function(content) {
   cat("<head>\n")
   cat(content)
   cat("</head>\n")
 }
 html.body <- function(content) {
   cat("<body>\n")
   cat(content)
   cat("</body></html>\n")
 } 

 # Main
 header()
 html.head("<title>Test</title>")
 html.body("Hello, world!\n")

以下にアクセスします。

http://localhost/rapachetest/

これで終了です。今回は rapache の設定と hello, world をやってみました。次回はグラフを画像を吐いてみます。