Database

AWS – Building a Modern Data Architecture – Sydneyに行ってきました。

Mar 10, 2017

AD:

先日AWSのBuilding a Modern Data Architectureのイベントに行ってきたのでそのメモです。
イベントはどちらかというとDevOpsやBIの人たち向けでしたが、大変勉強になりました。
AWSのサービスが多すぎて正直どんなサービスがあって、どのように使えばいいのかわからなかったのですが、具体的にグラフを元に説明してくれたので勉強になりました。

AWSでモダンなBigDataを扱う構成のグラフです。

各種サービスはこちらになります。

Amazon QuickSight – BI tools for AWS DB service – tableau, and more dashboard tools
Amazon Athena – Interactive query service that makes it easy to analyze data in Amazon S3 using standard S
Amazon Kinesis – Collect and process large streams of data records in real time
Amazon Lambda – event-driven, serverless computing platform
Amazon Polly – text to real voice
Amazon Lex – Build Conversation Bots,
Amazon Rekognition- Image recognition, place & face
Amazon DynamoDB – Fast and flexible NoSQL database service for any scale
Amazon Simple Queue Service (SQS) – Simple Queue system

もしBigDataやAWSのサービスをもっと知りたい場合はこちらを利用したらって
https://aws.amazon.com/podcasts/aws-techchat-subscribe/
https://aws.amazon.com/jp/blogs/big-data/

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 0

WordPressでユーザ情報(wp_users+wp_usermetaからfirst_name,last_name)をSQLで一度に取ってくるSQL

Oct 14, 2015

AD:

WordPressでユーザの情報を名前や、そのほかのもろもろの情報をCSVで出力したかったのですが、そのSQLをメモしておきます。
wp_userテーブルに基本、wp_usemetaに姓、名などの細かい情報が入っているのですが下記のようなテーブル構成になっているので、各種項目を一度に取ってくるには一つ一つをjoinして取ってくるしかないので、メモしておきます。

SQLはこんな感じです。

SELECT
    u.ID,
    u.user_email,
    m1.meta_value AS firstname,
    m2.meta_value AS lastname,
    m3.meta_value AS country
FROM wp_users u
JOIN wp_usermeta m1 ON (m1.user_id = u.ID AND m1.meta_key = 'first_name')
JOIN wp_usermeta m2 ON (m2.user_id = u.ID AND m2.meta_key = 'last_name')
JOIN wp_usermeta m3 ON (m3.user_id = u.ID AND m3.meta_key = 'country')
Limit 100;

1

2

3

4

5

6

7

8

9

10

11

SELECT

u.ID,

u.user_email,

m1.meta_value AS firstname,

m2.meta_value AS lastname,

m3.meta_value AS country

FROM wp_users u

JOIN wp_usermeta m1 ON (m1.user_id = u.ID AND m1.meta_key = 'first_name')

JOIN wp_usermeta m2 ON (m2.user_id = u.ID AND m2.meta_key = 'last_name')

JOIN wp_usermeta m3 ON (m3.user_id = u.ID AND m3.meta_key = 'country')

Limit 100;

もしSQLから直接CSVを書きだしたかったら、参考まにでこちらをどうぞ
MysqlでSelectの結果をCSVにエクスポートする

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 2 | Total: 2 | Feedly: 0

MacでPostgreSQLのクライアントならPosticoがかなりおすすめ

Aug 26, 2015

AD:

今までpgAdmin3を使っていたのですが、これが遅い、落ちるたりするのでなかなか使い勝手がよくなかったのですが、先日Posticoなるものを発見して使い出しましたが、かなり気にいっております。

SSH経由での接続ももちろん可能です
Vagrantの中にあるPostgresなんかにもこれで接続できます

接続後の画面

テーブル内のデータ編集画面

SQLの画面

有料版はFilter機能もあります

詳細

サポートしてPostgreSQLのバージョン
PostgreSQL 8.0, 8.4, 9.1, 9.2, 9.3 9.4、Amazon Redshiftもサポートしているようです。
Posticoはlibpq 9.3.8のパッチをつかっているそうです。
トライアル版と有料版の違い
トライアル版は、お気に入りに5 connectionまでした登録できません。
トライアル版は、１画面でしかしようできなくなっています。
テーブル内の検索機能がありません。（）
トライアル版には、期間制限がないので、ずっと使い続けることも可能です。

正直無料版でもよかったのですが、開発者に敬意を示して、ちゃんと有料版を購入しました。

Version Up

Postico v1.0.9 – 2016/08/05
Command + pのQuick Openなるものが追加されていますが、すぐにテーブルに飛べるのでかなり便利です。
Screen Shot 2016-08-06 at 12.43.22 PM

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 8 | Pocket: 6 | Total: 14 | Feedly: 0

RailsのTaskでデータをインサートしたらDuplicate key value violates unique constraintがでる場合

Jul 24, 2015

AD:

RailsのTaskでレポートを生成するように作っているのですが、スケジュールで毎週動かすようにしていたのですが、どうもうまくいっていないようなので、調べてみたら、下記のエラーになっていました。
プライマーキーの最大値が更新されていないようです。

rake aborted!
PG::Error: ERROR:  duplicate key value violates unique constraint "reports_pkey"
DETAIL:  Key (id)=(2) already exists.

1

2

3

rake aborted!

PG::Error: ERROR: duplicate key value violates unique constraint "reports_pkey"

DETAIL: Key (id)=(2) already exists.

対処方法

Railsが独自のPostgreSQLシーケンスをつかっているかららしいです。
なので、SQLで最大値をセットしてあげます。これで問題なく動くようになりました。

SELECT setval('reports_id_seq', (SELECT max(id) FROM reports));

1	SELECT setval('reports_id_seq', (SELECT max(id) FROM reports));

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 4 | Total: 4 | Feedly: 0

cannot drop the currently open database – Postgres drop datababaseのエラー

Mar 24, 2015

AD:

cannot drop the currently open databaseと出てデータベースが消せませんでしが、dropdbを使用すれば消すことができます。

$ psql
>drop database database_name
cannot drop the currently open database

1

2

3

$ psql

>drop database database_name

cannot drop the currently open database

dropdb

psqlでログインの必要はないです。

dropdb database_name

1	dropdb database_name

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 0

MysqlでSelectの結果をCSVにエクスポートする

Mar 10, 2015

AD:

こんな感じで、SELECT分の後にINTO OUTFILEを追加してあげればOKです。

SELECT * FROM user
WHERE status = 1 
ORDER BY id ASC
INTO OUTFILE '/tmp/status_user.csv'
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"';

1

2

3

4

5

6

SELECT * FROM user

WHERE status = 1

ORDER BY id ASC

INTO OUTFILE '/tmp/status_user.csv'

FIELDS TERMINATED BY ','

OPTIONALLY ENCLOSED BY '"';

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 1 | Total: 1 | Feedly: 0

MySQL Workbenchで既存データベースからER図を自動に作成

Feb 5, 2015

AD:

結構複雑に入り込んだデータ設計が必要になったので、お客様にもデータを持ち方を確認してもらうためにER図を作成することにしました。
で、MySQL Workbenchに行き着いた感じです。

一部ですが、SQLがすでにあるので、それをいちいち手動でER図書くのは面倒だと思った、ちゃんと既存データベースからER図を作成する方法があるので、メモしておきます。

やり方のメモ

MySQL Workbenchをインストール
データベースの情報を入力する
Continueを押していくと、Mysqlが持っているデータベースの一覧が表示される。
画面はWordpressのDBの一覧です。
どうやらリレーションシップは出してくれないようですね。

MongoDBコマンド＆検索クエリ

Feb 23, 2013

AD:

最近、仕事でMongoDBを使う機会があったので、MongoDBコマンド＆検索関係をまとめたいと思います。

検索クエリ

現時点で僕の理解しきれている範囲だとクエリの特徴は下記のような特徴があるようです。
– メソッドの引数にJSON形式のデータを渡す
– 変数が使える
– 制御構造が使える
– カーソルが使える

条件演算子

MongoDBは、JavascriptのエンジンであるSpiderMonkeyを拡張した、Javascriptシェル？です。
なので、JavaScriptの記述でデータのが取得が可能です。

$gt
greater than (i.e. &gt;)
$gte
greater than or equal (i.e. =&gt;)
$in 
field value equals any value in the specified array (e.g. <value1>, <value2>)
$lt
less than (i.e. 

&#12371;&#12385;&#12425;&#12398;<a href="http://gihyo.jp/dev/serial/01/mongodb/0003" targer="_blank">&#12506;&#12540;&#12472;</a>&#12289;<a href="http://docs.mongodb.org/manual/reference/operators/#AdvancedQueries-ConditionalOperators" targer="_blank">&#12506;&#12540;&#12472;</a>&#12434;&#21442;&#32771;&#12395;&#12375;&#12414;&#12375;&#12383;&#12290;

<h3>mongo &#12467;&#12510;&#12531;&#12489;</h3>
mongo&#12398;&#12467;&#12510;&#12531;&#12489;&#12398;&#12504;&#12523;&#12503;&#12398;&#19968;&#35239;&#12391;&#12377;&#12290;
<pre> mongo&#12288;
&gt; help
db.help()                    help on db methods
db.mycoll.help()             help on collection methods
sh.help()                    sharding helpers
rs.help()                    replica set helpers
help admin                   administrative help
help connect                 connecting to a db help
help keys                    key shortcuts
help misc                    misc things to know
help mr                      mapreduce
show dbs                     show database names
show collections             show collections in current database
show users                   show users in current database
show profile                 show most recent system.profile entries with time &gt;= 1ms
show logs                    show the accessible logger names
show log [name]              prints out the last segment of log in memory, 'global' is default
use <db_name>                set current database
db.foo.find()                list objects in collection foo
db.foo.find( { a : 1 } )     list objects in foo where a == 1
it                           result of the last line evaluated; use to further iterate
DBQuery.shellBatchSize = x   set default number of items to display on shell
exit                         quit the mongo shell
</db_name>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

$gt

greater than (i.e. >)

$gte

greater than or equal (i.e. =>)

$in

field value equals any value in the specified array (e.g. <value1>, <value2>)

$lt

less than (i.e.

こちらの<a href="http://gihyo.jp/dev/serial/01/mongodb/0003" targer="_blank">ページ</a>、<a href="http://docs.mongodb.org/manual/reference/operators/#AdvancedQueries-ConditionalOperators" targer="_blank">ページ</a>を参考にしました。

<h3>mongo コマンド</h3>

mongoのコマンドのヘルプの一覧です。

<pre> mongo　

> help

db.help() help on db methods

db.mycoll.help() help on collection methods

sh.help() sharding helpers

rs.help() replica set helpers

help admin administrative help

help connect connecting to a db help

help keys key shortcuts

help misc misc things to know

help mr mapreduce

show dbs show database names

show collections show collections in current database

show users show users in current database

show profile show most recent system.profile entries with time >= 1ms

show logs show the accessible logger names

show log [name] prints out the last segment of log in memory, 'global' is default

use <db_name> set current database

db.foo.find() list objects in collection foo

db.foo.find( { a : 1 } ) list objects in foo where a == 1

it result of the last line evaluated; use to further iterate

DBQuery.shellBatchSize = x set default number of items to display on shell

exit quit the mongo shell

</db_name>

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 1 | Total: 1 | Feedly: 0

MongoDBの状況確認

Feb 23, 2013

AD:

ブラウザから確認

MongoDBをインストールした場合は、下記のURLにアクセスすると、MongoDBの状況が確認できるようです。
http://localhost:28017

ちなみに、上記の機能は–norestオプションで無効化できるらしいです。

コマンドから確認

ちなみに、コマンドでMongoの状況確認は下記の要します。

$ mongostat
connected to: 127.0.0.1
insert  query update delete getmore command flushes mapped  vsize    res faults  locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time 
     0      0      0      0       0       1       0     0m   102m    23m      0 local:0.0%          0       0|0     0|0    62b     1k     1   05:26:35 
     0      0      0      0       0       1       0     0m   102m    23m      0 local:0.0%          0       0|0     0|0    62b     1k     1   05:26:36

1

2

3

4

5

$ mongostat

connected to: 127.0.0.1

insert query update delete getmore command flushes mapped vsize res faults locked db idx miss % qr|qw ar|aw netIn netOut conn time

0 0 0 0 0 1 0 0m 102m 23m 0 local:0.0% 0 0|0 0|0 62b 1k 1 05:26:35

0 0 0 0 0 1 0 0m 102m 23m 0 local:0.0% 0 0|0 0|0 62b 1k 1 05:26:36

その他

他にもいろいろな管理ツールがあるようです。

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 0

Ubuntu12.04にMongoDBをインストール

Feb 23, 2013

AD:

このページを参考にUbuntuにMongoDBを入れようと思ったらうまくいかなかったのでメモしておきます。
やっていることは、GnuPGへキーを登録して、MongoDB用のパッケージ管理システムを登録して、インストールの流れです。

$ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10
$ sudo sh -c 'echo "deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen" | tee -a /etc/apt/sources.list.d/10gen.list'
deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen
$ sudo apt-get -y update
$ sudo apt-get -y install mongodb-10gen

1

2

3

4

5

$ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10

$ sudo sh -c 'echo "deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen" | tee -a /etc/apt/sources.list.d/10gen.list'

deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen

$ sudo apt-get -y update

$ sudo apt-get -y install mongodb-10gen

操作関係

$ sudo service mongodb start
mongodb start/running, process 19200

$ sudo service mongodb stop
mongodb stop/waiting

$ sudo service mongodb restart
mongodb stop/waiting
mongodb start/running, process 19224

1

2

3

4

5

6

7

8

9

$ sudo service mongodb start

mongodb start/running, process 19200

$ sudo service mongodb stop

mongodb stop/waiting

$ sudo service mongodb restart

mongodb stop/waiting

mongodb start/running, process 19224

データの登録、検索

MongoDBは、JavascriptのエンジンであるSpiderMonkeyを拡張した、Javascriptシェル？です。
なんで、JavaScriptの記述でデータのが取得が可能です。

$ mongo
MongoDB shell version: 2.2.3
connecting to: test
&gt; show dbs
local	(empty)
test	(empty)
&gt; use test
switched to db test
&gt; db.test.save( { a: 1 } )
&gt; db.test.find()
{ "_id" : ObjectId("51285b019fc2311ea475b159"), "a" : 1 }

1

2

3

4

5

6

7

8

9

10

11

$ mongo

MongoDB shell version: 2.2.3

connecting to: test

> show dbs

local (empty)

test (empty)

> use test

switched to db test

> db.test.save( { a: 1 } )

> db.test.find()

{ "_id" : ObjectId("51285b019fc2311ea475b159"), "a" : 1 }

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 0

AWS – Building a Modern Data Architecture – Sydneyに行ってきました。

WordPressでユーザ情報(wp_users+wp_usermetaからfirst_name,last_name)をSQLで一度に取ってくるSQL

MacでPostgreSQLのクライアントならPosticoがかなりおすすめ

詳細

Version Up

RailsのTaskでデータをインサートしたらDuplicate key value violates unique constraintがでる場合

対処方法

cannot drop the currently open database – Postgres drop datababaseのエラー

dropdb

MysqlでSelectの結果をCSVにエクスポートする

MySQL Workbenchで既存データベースからER図を自動に作成

やり方のメモ

MongoDBコマンド＆検索クエリ

検索クエリ

条件演算子

MongoDBの状況確認

ブラウザから確認

コマンドから確認

その他

Ubuntu12.04にMongoDBをインストール

操作関係

データの登録、検索

Search Keyword

Meta

FacebookPage

Popular Posts

My Tags

Status

Links

ARCHIVES