AWS – Building a Modern Data Architecture – Sydneyに行ってきました。

Mar 10, 2017
AD:

先日AWSのBuilding a Modern Data Architectureのイベントに行ってきたのでそのメモです。
イベントはどちらかというとDevOpsやBIの人たち向けでしたが、大変勉強になりました。
AWSのサービスが多すぎて正直どんなサービスがあって、どのように使えばいいのかわからなかったのですが、具体的にグラフを元に説明してくれたので勉強になりました。

AWSでモダンなBigDataを扱う構成のグラフです。

各種サービスはこちらになります。

  • Amazon QuickSight – BI tools for AWS DB service – tableau, and more dashboard tools
  • Amazon Athena – Interactive query service that makes it easy to analyze data in Amazon S3 using standard S
  • Amazon Kinesis – Collect and process large streams of data records in real time
  • Amazon Lambda – event-driven, serverless computing platform
  • Amazon Polly – text to real voice
  • Amazon Lex – Build Conversation Bots,
  • Amazon Rekognition- Image recognition, place & face
  • Amazon DynamoDB – Fast and flexible NoSQL database service for any scale
  • Amazon Simple Queue Service (SQS) – Simple Queue system

もしBigDataやAWSのサービスをもっと知りたい場合はこちらを利用したらって
https://aws.amazon.com/podcasts/aws-techchat-subscribe/
https://aws.amazon.com/jp/blogs/big-data/

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 26

WordPressでユーザ情報(wp_users+wp_usermetaからfirst_name,last_name)をSQLで一度に取ってくるSQL

Oct 14, 2015
AD:

WordPressでユーザの情報を名前や、そのほかのもろもろの情報をCSVで出力したかったのですが、そのSQLをメモしておきます。
wp_userテーブルに基本、wp_usemetaに姓、名などの細かい情報が入っているのですが下記のようなテーブル構成になっているので、各種項目を一度に取ってくるには一つ一つをjoinして取ってくるしかないので、メモしておきます。
wp_user_table

SQLはこんな感じです。

もしSQLから直接CSVを書きだしたかったら、参考まにでこちらをどうぞ
MysqlでSelectの結果をCSVにエクスポートする

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 2 | Total: 2 | Feedly: 26

PostgreSQL dumpしたものをHerokuのAppにインポート(push)する方法

Sep 5, 2015
AD:

更新 – 20170704

DATABASE_URL は下記のように取得しました。
Heroku PostgresのDatabase Credentialsをクリックして、Heroku CLIのpostgresql-????-????をつかいました。

更新 – 2016/09/18

実際にやりたかったことは、ProductionのAPPからStagingのAppにPostgreSQLのDumpをインポートしたかったのですが、HerokuがBackupの方法が変わったので、以前と変わっていたのでメモしておきます。
まず、ProductionのPostgreSQLをDumpしてきます。
その後、それをローカルのPostgreSQLにImportします。

次はそれをpg:pushを使ってHerokuのPostgreSQLにインポートします。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 26

MacでPostgreSQLのクライアントならPosticoがかなりおすすめ

Aug 26, 2015
AD:

今までpgAdmin3を使っていたのですが、これが遅い、落ちるたりするのでなかなか使い勝手がよくなかったのですが、先日Posticoなるものを発見して使い出しましたが、かなり気にいっております。

SSH経由での接続ももちろん可能です
Vagrantの中にあるPostgresなんかにもこれで接続できます
Slice 1

接続後の画面
postico

テーブル内のデータ編集画面
table-content-view

SQLの画面
sql-query-view

有料版はFilter機能もあります
Screen Shot 2015-08-26 at 11.30.51 am

詳細

サポートしてPostgreSQLのバージョン
PostgreSQL 8.0, 8.4, 9.1, 9.2, 9.3 9.4、Amazon Redshiftもサポートしているようです。
Posticoはlibpq 9.3.8のパッチをつかっているそうです。
トライアル版と有料版の違い
トライアル版は、お気に入りに5 connectionまでした登録できません。
トライアル版は、1画面でしかしようできなくなっています。
テーブル内の検索機能がありません。()
トライアル版には、期間制限がないので、ずっと使い続けることも可能です。

正直無料版でもよかったのですが、開発者に敬意を示して、ちゃんと有料版を購入しました。

Version Up

Postico v1.0.9 – 2016/08/05
Command + pのQuick Openなるものが追加されていますが、すぐにテーブルに飛べるのでかなり便利です。
Screen Shot 2016-08-06 at 12.43.22 PM

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 8 | Pocket: 6 | Total: 14 | Feedly: 26

RailsのTaskでデータをインサートしたらDuplicate key value violates unique constraintがでる場合

Jul 24, 2015
AD:

RailsのTaskでレポートを生成するように作っているのですが、スケジュールで毎週動かすようにしていたのですが、どうもうまくいっていないようなので、調べてみたら、下記のエラーになっていました。
プライマーキーの最大値が更新されていないようです。

対処方法

Railsが独自のPostgreSQLシーケンスをつかっているかららしいです。
なので、SQLで最大値をセットしてあげます。これで問題なく動くようになりました。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 4 | Total: 4 | Feedly: 26

Drupalのモジュールを管理しているテーブル

Jul 14, 2015
AD:

先日DrupalのあるモジュールがFunctionのredeclareエラー(同じFunctionを2回呼んでいるよー)がで困った際に調査してわかりましたので、メモしておきます。
調べてみるとたしかにフォルダ別に同じモジュールがあることがわかりました。
でも、どちらのモジュールを使用しているか、Adminページではわからなかったて、同僚に聞いてみるとsystemテーブルなるものがあるようです。

systemテーブルに下記のようにモジュールの種類や、Weight、ファイルのパスなどを確認できるようになっております。
Drupal System Table

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 1 | Pocket: 0 | Total: 1 | Feedly: 26

cannot drop the currently open database – Postgres drop datababaseのエラー

Mar 24, 2015
AD:

cannot drop the currently open databaseと出てデータベースが消せませんでしが、dropdbを使用すれば消すことができます。

dropdb

psqlでログインの必要はないです。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 26

Movable Type 5のデータベースからCSV作成してWordPress 4にインポート

Mar 22, 2015
AD:

MovableType 5.2で構築されたブログのデータをWordpress 4にインポートする作業を最近行いましたが、その際にいろいろと面倒だったので、メモを公開させていただきます。
はじめは、MovableTypeのエクスポート機能とWordpressのMTのインポートプラグインを使ってやったところ、文字化けやカテゴリがまったくうまくいきませんでした。

他にもいろいろと手はあると思ったのですが、最終的にMovableTypeのデータベース(Mysql)からCSV作成して、それをWordpressのCSV用のインポートのプラグインを使ってインポートで解決させました。

WordPressのプラグイン

WordPressにCSVのインポート用に下記のプラグインを使用しました。
WP Ultimate CSV Importer Plugin
WP Ultimate CSV Importer Pluginを使って、まず既存のWordpressの記事からCSVのサンプルをエクスポートしました。
それをさらにインポートして試してみました。すると最低限のフィールドがわかったので、下記のフィールドでCSVを作成しました。
Screen Shot 2015-03-22 at 9.23.57 pm

MovableTypeのデータベースからWP Ultimate CSV Importer用のCSVを作成

上記のフィールドを元に、下記のSQLを作成して、CSVをエクスポートしました。

WP Ultimate CSV Importerは、CSVにヘッダーがないとうまくいかないので、下記のヘッダーを追加してやる

インポート

下記の用に管理画面からインポートとどのフィールドにマッチさせるかを選択して、無事インポートができました。
Screen Shot 2015-03-22 at 10.10.16 pm

Tips

  • パーマリンク設定は、/%year%/%monthnum%/%postname%/に変更
  • MTで内部に使用している画像は同じディレクトリ構成で、WPサイトに設置

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 2 | Pocket: 2 | Total: 4 | Feedly: 26

MysqlでSelectの結果をCSVにエクスポートする

Mar 10, 2015
AD:

こんな感じで、SELECT分の後にINTO OUTFILEを追加してあげればOKです。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 1 | Total: 1 | Feedly: 26

MySQL Workbenchで既存データベースからER図を自動に作成

Feb 5, 2015
AD:

結構複雑に入り込んだデータ設計が必要になったので、お客様にもデータを持ち方を確認してもらうためにER図を作成することにしました。
で、MySQL Workbenchに行き着いた感じです。

一部ですが、SQLがすでにあるので、それをいちいち手動でER図書くのは面倒だと思った、ちゃんと既存データベースからER図を作成する方法があるので、メモしておきます。

やり方のメモ

  1. MySQL Workbenchをインストール
  2. MySQLWorkbench1
  3. MySQLWorkbench2
  4. データベースの情報を入力する
    MySQLWorkbench3
  5. Continueを押していくと、Mysqlが持っているデータベースの一覧が表示される。
    MySQLWorkbench4
  6. 画面はWordpressのDBの一覧です。
    どうやらリレーションシップは出してくれないようですね。
    MySQLWorkbench5

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 1 | Pocket: 2 | Total: 3 | Feedly: 26

ARCHIVES