PostgreSQL

PostgreSQL dumpしたものをHerokuのAppにインポート(push)する方法

Sep 5, 2015

AD:

更新 – 20170704

heroku pg:backups restore 'https://dl.dropboxusercontent.com/u/??/dumpfile.dump' DATABASE_URL --app 対象のAPP名

1	heroku pg:backups restore 'https://dl.dropboxusercontent.com/u/??/dumpfile.dump' DATABASE_URL --app 対象のAPP名

DATABASE_URL は下記のように取得しました。
Heroku PostgresのDatabase Credentialsをクリックして、Heroku CLIのpostgresql-????-????をつかいました。

更新 – 2016/09/18

heroku pg:backups restore 'https://dl.dropboxusercontent.com/u/??/dumpfile.dump' DATABASE_URL --app 対象のAPP名

1	heroku pg:backups restore 'https://dl.dropboxusercontent.com/u/??/dumpfile.dump' DATABASE_URL --app 対象のAPP名

実際にやりたかったことは、ProductionのAPPからStagingのAppにPostgreSQLのDumpをインポートしたかったのですが、HerokuがBackupの方法が変わったので、以前と変わっていたのでメモしておきます。
まず、ProductionのPostgreSQLをDumpしてきます。
その後、それをローカルのPostgreSQLにImportします。

pg_restore --verbose --clean --no-acl --no-owner -h localhost -U ユーザ名 -d データベース名 ダンプファイル.dump

1	pg_restore --verbose --clean --no-acl --no-owner -h localhost -U ユーザ名 -d データベース名ダンプファイル.dump

次はそれをpg:pushを使ってHerokuのPostgreSQLにインポートします。

heroku pg:push ローカルのデータベース名 対象のAPPのDBURL(HEROKU_POSTGRESQL_色) --app 対象のAPP名

1	heroku pg:push ローカルのデータベース名対象のAPPのDBURL(HEROKU_POSTGRESQL_色) --app 対象のAPP名

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 0

MacでPostgreSQLのクライアントならPosticoがかなりおすすめ

Aug 26, 2015

AD:

今までpgAdmin3を使っていたのですが、これが遅い、落ちるたりするのでなかなか使い勝手がよくなかったのですが、先日Posticoなるものを発見して使い出しましたが、かなり気にいっております。

SSH経由での接続ももちろん可能です
Vagrantの中にあるPostgresなんかにもこれで接続できます

接続後の画面

テーブル内のデータ編集画面

SQLの画面

有料版はFilter機能もあります

詳細

サポートしてPostgreSQLのバージョン
PostgreSQL 8.0, 8.4, 9.1, 9.2, 9.3 9.4、Amazon Redshiftもサポートしているようです。
Posticoはlibpq 9.3.8のパッチをつかっているそうです。
トライアル版と有料版の違い
トライアル版は、お気に入りに5 connectionまでした登録できません。
トライアル版は、１画面でしかしようできなくなっています。
テーブル内の検索機能がありません。（）
トライアル版には、期間制限がないので、ずっと使い続けることも可能です。

正直無料版でもよかったのですが、開発者に敬意を示して、ちゃんと有料版を購入しました。

Version Up

Postico v1.0.9 – 2016/08/05
Command + pのQuick Openなるものが追加されていますが、すぐにテーブルに飛べるのでかなり便利です。
Screen Shot 2016-08-06 at 12.43.22 PM

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 8 | Pocket: 6 | Total: 14 | Feedly: 0

RailsのTaskでデータをインサートしたらDuplicate key value violates unique constraintがでる場合

Jul 24, 2015

AD:

RailsのTaskでレポートを生成するように作っているのですが、スケジュールで毎週動かすようにしていたのですが、どうもうまくいっていないようなので、調べてみたら、下記のエラーになっていました。
プライマーキーの最大値が更新されていないようです。

rake aborted!
PG::Error: ERROR:  duplicate key value violates unique constraint "reports_pkey"
DETAIL:  Key (id)=(2) already exists.

1

2

3

rake aborted!

PG::Error: ERROR: duplicate key value violates unique constraint "reports_pkey"

DETAIL: Key (id)=(2) already exists.

対処方法

Railsが独自のPostgreSQLシーケンスをつかっているかららしいです。
なので、SQLで最大値をセットしてあげます。これで問題なく動くようになりました。

SELECT setval('reports_id_seq', (SELECT max(id) FROM reports));

1	SELECT setval('reports_id_seq', (SELECT max(id) FROM reports));

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 4 | Total: 4 | Feedly: 0

cannot drop the currently open database – Postgres drop datababaseのエラー

Mar 24, 2015

AD:

cannot drop the currently open databaseと出てデータベースが消せませんでしが、dropdbを使用すれば消すことができます。

$ psql
>drop database database_name
cannot drop the currently open database

1

2

3

$ psql

>drop database database_name

cannot drop the currently open database

dropdb

psqlでログインの必要はないです。

dropdb database_name

1	dropdb database_name

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 0

Postgresのローカルの指定したテーブルデータをHerokuに移す方法

Jan 17, 2015

AD:

いろいろなやり方があるとは思うのですが、僕は下記のやり方で対応しました。
1.ローカルのデータをInsert文でDumpする

pg_dump -d your_database -t table_nme &gt; specific_table_dump.sql --inserts

1	pg_dump -d your_database -t table_nme > specific_table_dump.sql --inserts

–insertsの引数なしだとPostgresはCOPY文で出されるので、それだとHerokuに移す場合面倒なので、入れています。

2.HerokuのDBへPgAdminなどでつなげる

3.あとは上で作ったファイルをSQLを実行して終了

Selectの結果をInsertする by PostgreSQL

Nov 30, 2014

AD:

いろいろなやり方を試したのですが、fieldsをはじめに指定する下記の方法でやると型の問題でエラーがでなくなりましたので、メモ

INSERT INTO users (name,email,group_id)
SELECT name,email,43
FROM users WHERE group_id = 1;

1

2

3

INSERT INTO users (name,email,group_id)

SELECT name,email,43

FROM users WHERE group_id = 1;

HerokuのPostgresにローカルのpgAdminなので直接アクセス

Nov 30, 2014

AD:

HerokuのPostgresにローカルのpgAdminなどで直接アクセスしたい場合

$ heroku config --app appの名前 | grep HEROKU_POSTGRESQL
HEROKU_POSTGRESQL_色_URL: postgres://ユーザ名:パスワード@サーバ名:ポート/データベース

1 2	$ heroku config --app appの名前 \| grep HEROKU_POSTGRESQL HEROKU_POSTGRESQL_色_URL: postgres://ユーザ名:パスワード@サーバ名:ポート/データベース

Ruby 1.9.3 gem pg error in Ubuntu

Nov 21, 2014

AD:

環境

VagrantでUbuntu14.04
rbenvを使ってRuby 1.9.3-p551
gem pg
で下記のエラーがでました。

Gem::Installer::ExtensionBuildError: ERROR: Failed to build gem native extension.

        /home/vagrant/.rbenv/versions/1.9.3-p551/bin/ruby extconf.rb
checking for pg_config... yes
Using config values from /usr/bin/pg_config
You need to install postgresql-server-dev-X.Y for building a server-side extension or libpq-dev for building a client-side application.
You need to install postgresql-server-dev-X.Y for building a server-side extension or libpq-dev for building a client-side application.
checking for libpq-fe.h... *** extconf.rb failed ***
Could not create Makefile due to some reason, probably lack of
necessary libraries and/or headers.  Check the mkmf.log file for more
details.  You may need configuration options.

Provided configuration options:
	--with-opt-dir
	--without-opt-dir
	--with-opt-include
	--without-opt-include=${opt-dir}/include
	--with-opt-lib
	--without-opt-lib=${opt-dir}/lib
	--with-make-prog
	--without-make-prog
	--srcdir=.
	--curdir
	--ruby=/home/vagrant/.rbenv/versions/1.9.3-p551/bin/ruby
	--with-pg
	--without-pg
	--with-pg-dir
	--without-pg-dir
	--with-pg-include
	--without-pg-include=${pg-dir}/include
	--with-pg-lib
	--without-pg-lib=${pg-dir}/lib
	--with-pg-config
	--without-pg-config
	--with-pg_config
	--without-pg_config
/home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:381:in `try_do': The compiler failed to generate an executable file. (RuntimeError)
You have to install development tools first.
	from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:506:in `try_cpp'
	from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:983:in `block in find_header'
	from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:790:in `block in checking_for'
	from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:284:in `block (2 levels) in postpone'
	from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:254:in `open'
	from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:284:in `block in postpone'
	from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:254:in `open'
	from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:280:in `postpone'
	from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:789:in `checking_for'
	from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:982:in `find_header'
	from extconf.rb:40:in `<main>'


Gem files will remain installed in /var/www/html/hoge/vendor/bundle/ruby/1.9.1/gems/pg-0.13.2 for inspection.
Results logged to /var/www/html/hoge/vendor/bundle/ruby/1.9.1/gems/pg-0.13.2/ext/gem_make.out
An error occurred while installing pg (0.13.2), and Bundler cannot continue.
Make sure that `gem install pg -v '0.13.2'` succeeds before bundling.
</main>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

Gem::Installer::ExtensionBuildError: ERROR: Failed to build gem native extension.

/home/vagrant/.rbenv/versions/1.9.3-p551/bin/ruby extconf.rb

checking for pg_config... yes

Using config values from /usr/bin/pg_config

You need to install postgresql-server-dev-X.Y for building a server-side extension or libpq-dev for building a client-side application.

checking for libpq-fe.h... *** extconf.rb failed ***

Could not create Makefile due to some reason, probably lack of

necessary libraries and/or headers. Check the mkmf.log file for more

details. You may need configuration options.

Provided configuration options:

--with-opt-dir

--without-opt-dir

--with-opt-include

--without-opt-include=${opt-dir}/include

--with-opt-lib

--without-opt-lib=${opt-dir}/lib

--with-make-prog

--without-make-prog

--srcdir=.

--curdir

--ruby=/home/vagrant/.rbenv/versions/1.9.3-p551/bin/ruby

--with-pg

--without-pg

--with-pg-dir

--without-pg-dir

--with-pg-include

--without-pg-include=${pg-dir}/include

--with-pg-lib

--without-pg-lib=${pg-dir}/lib

--with-pg-config

--without-pg-config

--with-pg_config

--without-pg_config

/home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:381:in `try_do': The compiler failed to generate an executable file. (RuntimeError)

You have to install development tools first.

from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:506:in `try_cpp'

from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:983:in `block in find_header'

from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:790:in `block in checking_for'

from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:284:in `block (2 levels) in postpone'

from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:254:in `open'

from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:284:in `block in postpone'

from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:254:in `open'

from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:280:in `postpone'

from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:789:in `checking_for'

from /home/vagrant/.rbenv/versions/1.9.3-p551/lib/ruby/1.9.1/mkmf.rb:982:in `find_header'

from extconf.rb:40:in `<main>'

Gem files will remain installed in /var/www/html/hoge/vendor/bundle/ruby/1.9.1/gems/pg-0.13.2 for inspection.

Results logged to /var/www/html/hoge/vendor/bundle/ruby/1.9.1/gems/pg-0.13.2/ext/gem_make.out

An error occurred while installing pg (0.13.2), and Bundler cannot continue.

Make sure that `gem install pg -v '0.13.2'` succeeds before bundling.

</main>

解決

libpq-dev(UbuntuのPostgres系パッケージ)が入っていないが原因ですよねー

sudo apt-get install libpq-dev

1	sudo apt-get install libpq-dev

VagrantのUbuntuでenable_i18n()の言語設定のエラー

Feb 27, 2014

AD:

VagrantにPostgresをChef-Soloで入れてから、下記のエラーがでるようになりました。
recipeの書き方に問題があったようです。。。。

エラー内容

$ bundle install rails
Sorry, command-not-found has crashed! Please file a bug report at:
https://bugs.launchpad.net/command-not-found/+filebug
Please include the following information with the report:

command-not-found version: 0.3
Python version: 3.3.1 final 0
Distributor ID:	Ubuntu
Description:	Ubuntu 13.04
Release:	13.04
Codename:	raring
Exception information:

unsupported locale setting
Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/CommandNotFound/util.py", line 24, in crash_guard
    callback()
  File "/usr/lib/command-not-found", line 69, in main
    enable_i18n()
  File "/usr/lib/command-not-found", line 40, in enable_i18n
    locale.setlocale(locale.LC_ALL, '')
  File "/usr/lib/python3.3/locale.py", line 541, in setlocale
    return _setlocale(category, locale)
locale.Error: unsupported locale setting

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

$ bundle install rails

Sorry, command-not-found has crashed! Please file a bug report at:

https://bugs.launchpad.net/command-not-found/+filebug

Please include the following information with the report:

command-not-found version: 0.3

Python version: 3.3.1 final 0

Distributor ID: Ubuntu

Description: Ubuntu 13.04

Release: 13.04

Codename: raring

Exception information:

unsupported locale setting

Traceback (most recent call last):

File "/usr/lib/python3/dist-packages/CommandNotFound/util.py", line 24, in crash_guard

callback()

File "/usr/lib/command-not-found", line 69, in main

enable_i18n()

File "/usr/lib/command-not-found", line 40, in enable_i18n

locale.setlocale(locale.LC_ALL, '')

File "/usr/lib/python3.3/locale.py", line 541, in setlocale

return _setlocale(category, locale)

locale.Error: unsupported locale setting

解決した方法

言語設定に問題があるようなので、下記の内容を設定して解決しました。

export LANGUAGE=en_US.UTF-8
export LANG=en_US.UTF-8
export LC_ALL=en_US.UTF-8
locale-gen en_US.UTF-8
sudo dpkg-reconfigure locales

1

2

3

4

5

export LANGUAGE=en_US.UTF-8

export LANG=en_US.UTF-8

export LC_ALL=en_US.UTF-8

locale-gen en_US.UTF-8

sudo dpkg-reconfigure locales

参考サイト

Twitter:
Warning: Undefined array key "Twitter" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Facebook: 0 | Google Plus:
Warning: Undefined array key "Google+" in /home/sazaeau/mizoshiri.com/public_html/blog.mizoshiri.com/wp-content/plugins/sns-count-cache/sns-count-cache.php on line 2897
0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 0

Herokuのrake db:migrateでエラー

Sep 14, 2013

AD:

Herokuにて、Deploy後に、rake migrateするとエラーで進めなかったのでメモしておきます。

状況

$ heroku run rake db:migrate --app appName --trace
rake aborted!
undefined method `[]' for nil:NilClass
/app/vendor/bundle/ruby/2.0.0/gems/activerecord-4.0.0/lib/active_record/tasks/database_tasks.rb:136:in `purge'
/app/vendor/bundle/ruby/2.0.0/gems/activerecord-4.0.0/lib/active_record/railties/databases.rake:361:in `block (3 levels) in <top>'
</top>

1

2

3

4

5

6

$ heroku run rake db:migrate --app appName --trace

rake aborted!

undefined method `[]' for nil:NilClass

/app/vendor/bundle/ruby/2.0.0/gems/activerecord-4.0.0/lib/active_record/tasks/database_tasks.rb:136:in `purge'

/app/vendor/bundle/ruby/2.0.0/gems/activerecord-4.0.0/lib/active_record/railties/databases.rake:361:in `block (3 levels) in <top>'

</top>

解決するまでにやったこと

Heroku Postgresを使用しているんですが、作成したものを一度削除し、再度作成しなおしました。
この時点で、エラー内容が変わりました。

$ heroku run rake db:migrate --app appName --trace
FATAL: role "roleName" is not permitted to log in (PG::Error)

1 2	$ heroku run rake db:migrate --app appName --trace FATAL: role "roleName" is not permitted to log in (PG::Error)

configで確認するとDATABASE_URLするとHEROKU_POSTGRESQL_カラー_URLが違っていました。

$ heroku config --app appName
DATABASE_URL:                postgres://(AWS&#12398;&#25509;&#32154;)
HEROKU_POSTGRESQL_&#12459;&#12521;&#12540;_URL: postgres://(AWS&#12398;&#25509;&#32154;)
$ heroku pg:promote HEROKU_POSTGRESQL_&#12459;&#12521;&#12540;_URL --app appName

1

2

3

4

$ heroku config --app appName

DATABASE_URL: postgres://(AWSの接続)

HEROKU_POSTGRESQL_カラー_URL: postgres://(AWSの接続)

$ heroku pg:promote HEROKU_POSTGRESQL_カラー_URL --app appName

この時点では、結局同じエラー”`[]’ for nil:NilClass”になりました。

最後にheroku restartしてPostgreSQLもrestartして接続ができるようになりましたー
でも、どうして、起きたのかはイマイチ不明。。。。

$ heroku restart --app appName --trace
$ heroku pg:reset --app appName --trace

1 2	$ heroku restart --app appName --trace $ heroku pg:reset --app appName --trace

ほかにもいろいろとPaaSのサービスを使用しているんですが、こういう時にBlackBox化するので、やっかいですねー
ちなみに、ログはpapertrailを使用しているんですが、今回の状況だとログをみても原因が追求できませんでした。

PostgreSQL dumpしたものをHerokuのAppにインポート(push)する方法

更新 – 20170704

更新 – 2016/09/18

MacでPostgreSQLのクライアントならPosticoがかなりおすすめ

詳細

Version Up

RailsのTaskでデータをインサートしたらDuplicate key value violates unique constraintがでる場合

対処方法

cannot drop the currently open database – Postgres drop datababaseのエラー

dropdb

Postgresのローカルの指定したテーブルデータをHerokuに移す方法

Selectの結果をInsertする by PostgreSQL

HerokuのPostgresにローカルのpgAdminなので直接アクセス

Ruby 1.9.3 gem pg error in Ubuntu

環境

解決

VagrantのUbuntuでenable_i18n()の言語設定のエラー

エラー内容

解決した方法

Herokuのrake db:migrateでエラー

状況

解決するまでにやったこと

Search Keyword

Meta

FacebookPage

Popular Posts

My Tags

Status

Links

ARCHIVES