AWS – Building a Modern Data Architecture – Sydneyに行ってきました。

Mar 10, 2017
AD:

先日AWSのBuilding a Modern Data Architectureのイベントに行ってきたのでそのメモです。
イベントはどちらかというとDevOpsやBIの人たち向けでしたが、大変勉強になりました。
AWSのサービスが多すぎて正直どんなサービスがあって、どのように使えばいいのかわからなかったのですが、具体的にグラフを元に説明してくれたので勉強になりました。

AWSでモダンなBigDataを扱う構成のグラフです。

各種サービスはこちらになります。

  • Amazon QuickSight – BI tools for AWS DB service – tableau, and more dashboard tools
  • Amazon Athena – Interactive query service that makes it easy to analyze data in Amazon S3 using standard S
  • Amazon Kinesis – Collect and process large streams of data records in real time
  • Amazon Lambda – event-driven, serverless computing platform
  • Amazon Polly – text to real voice
  • Amazon Lex – Build Conversation Bots,
  • Amazon Rekognition- Image recognition, place & face
  • Amazon DynamoDB – Fast and flexible NoSQL database service for any scale
  • Amazon Simple Queue Service (SQS) – Simple Queue system

もしBigDataやAWSのサービスをもっと知りたい場合はこちらを利用したらって
https://aws.amazon.com/podcasts/aws-techchat-subscribe/
https://aws.amazon.com/jp/blogs/big-data/

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 25

WordPressでユーザ情報(wp_users+wp_usermetaからfirst_name,last_name)をSQLで一度に取ってくるSQL

Oct 14, 2015
AD:

WordPressでユーザの情報を名前や、そのほかのもろもろの情報をCSVで出力したかったのですが、そのSQLをメモしておきます。
wp_userテーブルに基本、wp_usemetaに姓、名などの細かい情報が入っているのですが下記のようなテーブル構成になっているので、各種項目を一度に取ってくるには一つ一つをjoinして取ってくるしかないので、メモしておきます。
wp_user_table

SQLはこんな感じです。

もしSQLから直接CSVを書きだしたかったら、参考まにでこちらをどうぞ
MysqlでSelectの結果をCSVにエクスポートする

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 2 | Total: 2 | Feedly: 25

MacでPostgreSQLのクライアントならPosticoがかなりおすすめ

Aug 26, 2015
AD:

今までpgAdmin3を使っていたのですが、これが遅い、落ちるたりするのでなかなか使い勝手がよくなかったのですが、先日Posticoなるものを発見して使い出しましたが、かなり気にいっております。

SSH経由での接続ももちろん可能です
Vagrantの中にあるPostgresなんかにもこれで接続できます
Slice 1

接続後の画面
postico

テーブル内のデータ編集画面
table-content-view

SQLの画面
sql-query-view

有料版はFilter機能もあります
Screen Shot 2015-08-26 at 11.30.51 am

詳細

サポートしてPostgreSQLのバージョン
PostgreSQL 8.0, 8.4, 9.1, 9.2, 9.3 9.4、Amazon Redshiftもサポートしているようです。
Posticoはlibpq 9.3.8のパッチをつかっているそうです。
トライアル版と有料版の違い
トライアル版は、お気に入りに5 connectionまでした登録できません。
トライアル版は、1画面でしかしようできなくなっています。
テーブル内の検索機能がありません。()
トライアル版には、期間制限がないので、ずっと使い続けることも可能です。

正直無料版でもよかったのですが、開発者に敬意を示して、ちゃんと有料版を購入しました。

Version Up

Postico v1.0.9 – 2016/08/05
Command + pのQuick Openなるものが追加されていますが、すぐにテーブルに飛べるのでかなり便利です。
Screen Shot 2016-08-06 at 12.43.22 PM

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 8 | Pocket: 6 | Total: 14 | Feedly: 25

RailsのTaskでデータをインサートしたらDuplicate key value violates unique constraintがでる場合

Jul 24, 2015
AD:

RailsのTaskでレポートを生成するように作っているのですが、スケジュールで毎週動かすようにしていたのですが、どうもうまくいっていないようなので、調べてみたら、下記のエラーになっていました。
プライマーキーの最大値が更新されていないようです。

対処方法

Railsが独自のPostgreSQLシーケンスをつかっているかららしいです。
なので、SQLで最大値をセットしてあげます。これで問題なく動くようになりました。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 4 | Total: 4 | Feedly: 25

cannot drop the currently open database – Postgres drop datababaseのエラー

Mar 24, 2015
AD:

cannot drop the currently open databaseと出てデータベースが消せませんでしが、dropdbを使用すれば消すことができます。

dropdb

psqlでログインの必要はないです。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 25

MysqlでSelectの結果をCSVにエクスポートする

Mar 10, 2015
AD:

こんな感じで、SELECT分の後にINTO OUTFILEを追加してあげればOKです。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 1 | Total: 1 | Feedly: 25

MySQL Workbenchで既存データベースからER図を自動に作成

Feb 5, 2015
AD:

結構複雑に入り込んだデータ設計が必要になったので、お客様にもデータを持ち方を確認してもらうためにER図を作成することにしました。
で、MySQL Workbenchに行き着いた感じです。

一部ですが、SQLがすでにあるので、それをいちいち手動でER図書くのは面倒だと思った、ちゃんと既存データベースからER図を作成する方法があるので、メモしておきます。

やり方のメモ

  1. MySQL Workbenchをインストール
  2. MySQLWorkbench1
  3. MySQLWorkbench2
  4. データベースの情報を入力する
    MySQLWorkbench3
  5. Continueを押していくと、Mysqlが持っているデータベースの一覧が表示される。
    MySQLWorkbench4
  6. 画面はWordpressのDBの一覧です。
    どうやらリレーションシップは出してくれないようですね。
    MySQLWorkbench5

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 1 | Pocket: 2 | Total: 3 | Feedly: 25

MongoDBコマンド&検索クエリ

Feb 23, 2013
AD:

最近、仕事でMongoDBを使う機会があったので、MongoDBコマンド&検索関係をまとめたいと思います。

検索クエリ

現時点で僕の理解しきれている範囲だとクエリの特徴は下記のような特徴があるようです。
– メソッドの引数にJSON形式のデータを渡す
– 変数が使える
– 制御構造が使える
– カーソルが使える

条件演算子

MongoDBは、JavascriptのエンジンであるSpiderMonkeyを拡張した、Javascriptシェル?です。
なので、JavaScriptの記述でデータのが取得が可能です。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 1 | Total: 1 | Feedly: 25

MongoDBの状況確認

Feb 23, 2013
AD:

ブラウザから確認

MongoDBをインストールした場合は、下記のURLにアクセスすると、MongoDBの状況が確認できるようです。
http://localhost:28017
MongoDB1
ちなみに、上記の機能は–norestオプションで無効化できるらしいです。

コマンドから確認

ちなみに、コマンドでMongoの状況確認は下記の要します。

その他

他にもいろいろな管理ツールがあるようです。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 25

Ubuntu12.04にMongoDBをインストール

Feb 23, 2013
AD:

このページを参考にUbuntuにMongoDBを入れようと思ったらうまくいかなかったのでメモしておきます。
やっていることは、GnuPGへキーを登録して、MongoDB用のパッケージ管理システムを登録して、インストールの流れです。

操作関係

データの登録、検索

MongoDBは、JavascriptのエンジンであるSpiderMonkeyを拡張した、Javascriptシェル?です。
なんで、JavaScriptの記述でデータのが取得が可能です。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 25

ARCHIVES