NoSQL

AWS – Building a Modern Data Architecture – Sydneyに行ってきました。

Mar 10, 2017

AD:

先日AWSのBuilding a Modern Data Architectureのイベントに行ってきたのでそのメモです。
イベントはどちらかというとDevOpsやBIの人たち向けでしたが、大変勉強になりました。
AWSのサービスが多すぎて正直どんなサービスがあって、どのように使えばいいのかわからなかったのですが、具体的にグラフを元に説明してくれたので勉強になりました。

AWSでモダンなBigDataを扱う構成のグラフです。

各種サービスはこちらになります。

Amazon QuickSight – BI tools for AWS DB service – tableau, and more dashboard tools
Amazon Athena – Interactive query service that makes it easy to analyze data in Amazon S3 using standard S
Amazon Kinesis – Collect and process large streams of data records in real time
Amazon Lambda – event-driven, serverless computing platform
Amazon Polly – text to real voice
Amazon Lex – Build Conversation Bots,
Amazon Rekognition- Image recognition, place & face
Amazon DynamoDB – Fast and flexible NoSQL database service for any scale
Amazon Simple Queue Service (SQS) – Simple Queue system

もしBigDataやAWSのサービスをもっと知りたい場合はこちらを利用したらって
https://aws.amazon.com/podcasts/aws-techchat-subscribe/
https://aws.amazon.com/jp/blogs/big-data/

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 0

MongoDBコマンド＆検索クエリ

Feb 23, 2013

AD:

最近、仕事でMongoDBを使う機会があったので、MongoDBコマンド＆検索関係をまとめたいと思います。

検索クエリ

現時点で僕の理解しきれている範囲だとクエリの特徴は下記のような特徴があるようです。
– メソッドの引数にJSON形式のデータを渡す
– 変数が使える
– 制御構造が使える
– カーソルが使える

条件演算子

MongoDBは、JavascriptのエンジンであるSpiderMonkeyを拡張した、Javascriptシェル？です。
なので、JavaScriptの記述でデータのが取得が可能です。

$gt
greater than (i.e. &gt;)
$gte
greater than or equal (i.e. =&gt;)
$in 
field value equals any value in the specified array (e.g. <value1>, <value2>)
$lt
less than (i.e. 

&#12371;&#12385;&#12425;&#12398;<a href="http://gihyo.jp/dev/serial/01/mongodb/0003" targer="_blank">&#12506;&#12540;&#12472;</a>&#12289;<a href="http://docs.mongodb.org/manual/reference/operators/#AdvancedQueries-ConditionalOperators" targer="_blank">&#12506;&#12540;&#12472;</a>&#12434;&#21442;&#32771;&#12395;&#12375;&#12414;&#12375;&#12383;&#12290;

<h3>mongo &#12467;&#12510;&#12531;&#12489;</h3>
mongo&#12398;&#12467;&#12510;&#12531;&#12489;&#12398;&#12504;&#12523;&#12503;&#12398;&#19968;&#35239;&#12391;&#12377;&#12290;
<pre> mongo&#12288;
&gt; help
db.help()                    help on db methods
db.mycoll.help()             help on collection methods
sh.help()                    sharding helpers
rs.help()                    replica set helpers
help admin                   administrative help
help connect                 connecting to a db help
help keys                    key shortcuts
help misc                    misc things to know
help mr                      mapreduce
show dbs                     show database names
show collections             show collections in current database
show users                   show users in current database
show profile                 show most recent system.profile entries with time &gt;= 1ms
show logs                    show the accessible logger names
show log [name]              prints out the last segment of log in memory, 'global' is default
use <db_name>                set current database
db.foo.find()                list objects in collection foo
db.foo.find( { a : 1 } )     list objects in foo where a == 1
it                           result of the last line evaluated; use to further iterate
DBQuery.shellBatchSize = x   set default number of items to display on shell
exit                         quit the mongo shell
</db_name>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

$gt

greater than (i.e. >)

$gte

greater than or equal (i.e. =>)

$in

field value equals any value in the specified array (e.g. <value1>, <value2>)

$lt

less than (i.e.

こちらの<a href="http://gihyo.jp/dev/serial/01/mongodb/0003" targer="_blank">ページ</a>、<a href="http://docs.mongodb.org/manual/reference/operators/#AdvancedQueries-ConditionalOperators" targer="_blank">ページ</a>を参考にしました。

<h3>mongo コマンド</h3>

mongoのコマンドのヘルプの一覧です。

<pre> mongo　

> help

db.help() help on db methods

db.mycoll.help() help on collection methods

sh.help() sharding helpers

rs.help() replica set helpers

help admin administrative help

help connect connecting to a db help

help keys key shortcuts

help misc misc things to know

help mr mapreduce

show dbs show database names

show collections show collections in current database

show users show users in current database

show profile show most recent system.profile entries with time >= 1ms

show logs show the accessible logger names

show log [name] prints out the last segment of log in memory, 'global' is default

use <db_name> set current database

db.foo.find() list objects in collection foo

db.foo.find( { a : 1 } ) list objects in foo where a == 1

it result of the last line evaluated; use to further iterate

DBQuery.shellBatchSize = x set default number of items to display on shell

exit quit the mongo shell

</db_name>

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 1 | Total: 1 | Feedly: 0

MongoDBの状況確認

Feb 23, 2013

AD:

ブラウザから確認

MongoDBをインストールした場合は、下記のURLにアクセスすると、MongoDBの状況が確認できるようです。
http://localhost:28017

ちなみに、上記の機能は–norestオプションで無効化できるらしいです。

コマンドから確認

ちなみに、コマンドでMongoの状況確認は下記の要します。

$ mongostat
connected to: 127.0.0.1
insert  query update delete getmore command flushes mapped  vsize    res faults  locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time 
     0      0      0      0       0       1       0     0m   102m    23m      0 local:0.0%          0       0|0     0|0    62b     1k     1   05:26:35 
     0      0      0      0       0       1       0     0m   102m    23m      0 local:0.0%          0       0|0     0|0    62b     1k     1   05:26:36

1

2

3

4

5

$ mongostat

connected to: 127.0.0.1

insert query update delete getmore command flushes mapped vsize res faults locked db idx miss % qr|qw ar|aw netIn netOut conn time

0 0 0 0 0 1 0 0m 102m 23m 0 local:0.0% 0 0|0 0|0 62b 1k 1 05:26:35

0 0 0 0 0 1 0 0m 102m 23m 0 local:0.0% 0 0|0 0|0 62b 1k 1 05:26:36

その他

他にもいろいろな管理ツールがあるようです。

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 0

Ubuntu12.04にMongoDBをインストール

Feb 23, 2013

AD:

このページを参考にUbuntuにMongoDBを入れようと思ったらうまくいかなかったのでメモしておきます。
やっていることは、GnuPGへキーを登録して、MongoDB用のパッケージ管理システムを登録して、インストールの流れです。

$ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10
$ sudo sh -c 'echo "deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen" | tee -a /etc/apt/sources.list.d/10gen.list'
deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen
$ sudo apt-get -y update
$ sudo apt-get -y install mongodb-10gen

1

2

3

4

5

$ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10

$ sudo sh -c 'echo "deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen" | tee -a /etc/apt/sources.list.d/10gen.list'

deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen

$ sudo apt-get -y update

$ sudo apt-get -y install mongodb-10gen

操作関係

$ sudo service mongodb start
mongodb start/running, process 19200

$ sudo service mongodb stop
mongodb stop/waiting

$ sudo service mongodb restart
mongodb stop/waiting
mongodb start/running, process 19224

1

2

3

4

5

6

7

8

9

$ sudo service mongodb start

mongodb start/running, process 19200

$ sudo service mongodb stop

mongodb stop/waiting

$ sudo service mongodb restart

mongodb stop/waiting

mongodb start/running, process 19224

データの登録、検索

MongoDBは、JavascriptのエンジンであるSpiderMonkeyを拡張した、Javascriptシェル？です。
なんで、JavaScriptの記述でデータのが取得が可能です。

$ mongo
MongoDB shell version: 2.2.3
connecting to: test
&gt; show dbs
local	(empty)
test	(empty)
&gt; use test
switched to db test
&gt; db.test.save( { a: 1 } )
&gt; db.test.find()
{ "_id" : ObjectId("51285b019fc2311ea475b159"), "a" : 1 }

1

2

3

4

5

6

7

8

9

10

11

$ mongo

MongoDB shell version: 2.2.3

connecting to: test

> show dbs

local (empty)

test (empty)

> use test

switched to db test

> db.test.save( { a: 1 } )

> db.test.find()

{ "_id" : ObjectId("51285b019fc2311ea475b159"), "a" : 1 }

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 0