複数dbからの集約と分析ビュー(ビジュアル化)


『IoT』『ビッグデータ』というバズワードが飛び交っていますが、AWSやGCPのようなクラウドに乗せることを懸念する団体はあるかと思います。特に一般企業に関しては、個人情報や企業情報・取引情報含めて、社内規約上クラウドで運用できない企業もあります。

既存システムの複数DBを1つのDBへ集約し、分析ツールを用いてビジュアル化させるには、一昔前はETL(Talend)などを利用していました。ETLの頃はデータの移設までだったのですが、ビッグデータブームになってからはGoogleStudioのようなBIツールも着目されるようになり、ビジュアル化+マーケティング分野で利用される傾向にあるようです。

以下に、参考リンクを貼っておきます。

ETLでなくFluentdとEmbluk

http://dev.classmethod.jp/tool/embulk-ataglance/
http://gihyo.jp/dev/serial/01/bigdata-analysis/0003
http://frsyuki.hatenablog.com/entry/2015/07/21/053145
http://gihyo.jp/magazine/wdpress/archive/2016/vol92
https://www.fluentd.org/architecture

Embulkの使い方

http://qiita.com/hiroysato/items/397f36c4838a0a93e352

分析のビジュアライゼーション

Metabase

https://s8a.jp/oss-metabase

re:dash

http://qiita.com/wapa5pow/items/9e3feb19c0e7c80476d0

昔からあるOLAP

http://itpro.nikkeibp.co.jp/members/ITPro/oss/20050117/154848/?rt=nocnt