AWS – Building a Modern Data Architecture – Sydneyに行ってきました。

Mar 10, 2017
AD:

先日AWSのBuilding a Modern Data Architectureのイベントに行ってきたのでそのメモです。
イベントはどちらかというとDevOpsやBIの人たち向けでしたが、大変勉強になりました。
AWSのサービスが多すぎて正直どんなサービスがあって、どのように使えばいいのかわからなかったのですが、具体的にグラフを元に説明してくれたので勉強になりました。

AWSでモダンなBigDataを扱う構成のグラフです。

各種サービスはこちらになります。

  • Amazon QuickSight – BI tools for AWS DB service – tableau, and more dashboard tools
  • Amazon Athena – Interactive query service that makes it easy to analyze data in Amazon S3 using standard S
  • Amazon Kinesis – Collect and process large streams of data records in real time
  • Amazon Lambda – event-driven, serverless computing platform
  • Amazon Polly – text to real voice
  • Amazon Lex – Build Conversation Bots,
  • Amazon Rekognition- Image recognition, place & face
  • Amazon DynamoDB – Fast and flexible NoSQL database service for any scale
  • Amazon Simple Queue Service (SQS) – Simple Queue system

もしBigDataやAWSのサービスをもっと知りたい場合はこちらを利用したらって
https://aws.amazon.com/podcasts/aws-techchat-subscribe/
https://aws.amazon.com/jp/blogs/big-data/

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 25

rootのpasswdで、Authentication token manipulation??

Aug 16, 2009
AD:

rootにログインできない!!

AmazonEC2を設定していて、sshのユーザ専用のユーザを作成するなどいろいろやっていたら、rootのパスワードが認証できなくって
すこしあせりました。
でも、ひとつのsshがロートでログインしたままだったので、そいつからpasswdコマンド打つとなんかエラーがでました。

で、エラーがでればあとは調べるのみなので、pwconvで回復できるとのこと

そのあとに、passwdを入力すると問題なく行けました。
あーびっくりした。
せっかくいろいろと設定したのに、またやり直しかと思いました。

パスワードが/etc/shadowと/etc/passwdとで整合性が取れなくなるとでるようです。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 25

Amazon EC2の導入

Aug 16, 2009
AD:

サーバの切り替え作業をしなくていけなくなったので、せっかくなのでAmazon EC2を提案しようと思っております。
でも、提案する前に調査をしとかないと後で、できませんは怒られそうなので。。。
あと、せっかくなので、日本でいたとき自宅サーバに使用していたドメインがあるのでそいつを有効利用します。
これではやりのクラウドデビューです。
teraterm-amazonec

Amazon Web serverに行ってまずユーザを作成

ユーザ登録は、だいぶ前にしていたのでそのユーザ情報を調べるのに時間がかかりましたが、無事ログイン完了
そのあとに、Amazon EC2に行って、クレジット情報などを入力していきます。
その後、手続きを進めていき、「Private Key File」と「X.509 certificate file」を取得します。

APIの設定

Elasticfox

Amazon EC2は、Firefoxのプラグインで操作する方法と、コマンドから捜査する方法があるようです。
FirefoxのプラグインのElasticfoxインストールして、ユーザ登録した際にもらった「Access Key」と「Secret Access Key」を入力したら
簡単に使えるになりました。
elasticfox

コマンド

完全に把握しきれていないですが、こっちのほうが一行づつやっていくので頭の中に入りやすいです。

まず、APIを落としてきます。
http://developer.amazonwebservices.com/connect/entry.jspa?externalID=351&categoryID=88

あと、APIはJave環境で動くようなので、Javaが入っていない方は、事前にインストールしておいてください。
ちなみに、私の開発環境はWindowsです。

ダウンロードしてきたものを、回答してC:直下や、自分の作業ディレクトリにおいておきます。
そして、コマンドプロンプトで下記のコマンド貼り付けます。
これでWindowsに環境変数を設定します。

そのあとに、「ec2ver」を実行して下記の内容が表示されると成功です。

あとは、Elasticfoxでも、コマンドからでもどっちからでもいいので、AMI(Amazon Machine Image)を選択して
立ち上げて、ポートを開けたりしたら接続可能です。
いろいろとやならけばならいですが、下記のサイトを参考やったら僕はできましたので皆さんもお試しあれ
ちなみに、ぼくはCentOS5のサーバを選択しました。

http://kawa.at.webry.info/200902/article_3.html
川崎さん、ありがとうございます。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 2 | Pocket: 0 | Total: 2 | Feedly: 25

I check Linux server.

Feb 25, 2009
AD:

Today I check some Linux servers.
So I wrote some commands for checking hardware about server.

I Check CPU in server.
Memory
HDD
OS
Check all device about server.

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 25

HP 2133にUbuntu 8.10をインストール

Nov 12, 2008
AD:

友人から購入したHP 2133(スタンダードモデル)のVistaがあまりにも遅すぎたので、前から触ってみたかったUbuntu 8.10を入れた時のメモです。
ネットで調べていると、8.04 とかの情報がでてきてたが、ドライバ、VGA関係でなかなか一筋縄ではいかなさそうでしたが、8.10なら対応しているだろうと安直な考えで導入することにしました。

まず日本語パッケージを落としてきます。

Ubuntu 8.10の日本語パッケージ
本家はこちらから

落してきた、isoをCD-Rにやきます。
ぼくは、このソフトを使って普段はやっています。
CD Manipulator

インストール

では、さっそくインストールです。
HP 2133には、ドライブがないので外付けをドライブを準備します。

まずF10で、BIOS SETUP UTILITYからSystem ConfigurationsにいってBootの優先順位を、USBのドライブに変更します。
Hp2133 Bios

しばらくCD-Rの読み込みがあって、問題なければ下記の画面がでます。
Ubuntu

で、ここでF6をおして起動オプションに下記の内容を追加してください。
xforcevesa

上記のオプションは、8.04をインストール際に必要なことは、ネットで調べていたのですが、8.10でクリアされていると思い試したのですが、
インストール途中で、とまり無理でした。

大変参考になったサイト
HP 2133 Mini-Note

注意点

あと、英語キーボードについて
HP 2133は、英語配列のキーボードなので、湘南画材研究所@MTのサイトを参考に
インストールさせてもらいました。
Armenia > Armenia
を選択して、記号などの入力を確認しました。

あとは、普通にインストールの手順にそって進んでいってもらえると問題なくインストールできます。
Ubuntu

最後に

まだ、無線Lan関係の設定していないので、調べないといけないなぁ
一度さわってみたかった、Ubuntuのデスクトップ、なんかおすすめアプリなどありましたら、教えてください。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 1 | Pocket: 0 | Total: 1 | Feedly: 25

SSHログイン用の鍵生成方法

Oct 7, 2008
AD:

sshの鍵

鍵ファイルの生成

生成したいユーザで、ログインしてください。

指定した場合は、そのパスの下に行ってid_rsaファイルをコピペかftpで
ローカルに落してくるSSH接続時の鍵として保存する。

保存が完了したら不要なので削除しておく

sshの設定ファイル編集

sshの設定はなるべくサーバがおいてある現地でやってください。
もし失敗などして、ログインできなくなると怖いですので。。。

sshの再起動して終了です。

鍵ファイルを使ってログインを試してください。

ぼくは、TeraTerm派です。
UTF-8対応TeraTerm Proを使ってリストに登録して自動でログインできるようにしています。
これが結構便利です。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 1 | Total: 1 | Feedly: 25

crontab -eと/etc/crontabでcronを設定する方法

Sep 20, 2008
AD:

cronの設定

設定方法は2種類あります。
ひとつが「/etc/crontab」に直接記入する方法
もう一つが「crontab -e」で「/var/spool/cron/ユーザー名」に記入する方法

「/etc/crontab」に直接記入する方法

rootユーザでしか編集できませんが
記述方法:
分 時 日 月 曜日 ユーザ コマンド
実行するユーザーがコマンドの前に必要です。

(毎週水曜日の10:00 に コマンド[ /usr/bin/wget http://www.google.com ] を実行 する)
(毎週水曜日の11:00 に コマンド[ /usr/bin/wget http://www.yahoo.com ] を実行 する)

「crontab -e」で「/var/spool/cron/ユーザー名」に記入する方法

実行したユーザの専用ファイル /var/spool/cron/ユーザ名を編集することになる
記述方法:
分 時 日 月 曜日 コマンド
コマンドの前にユーザは必要ありません。

(毎週水曜日の10:00 に コマンド[ /usr/bin/wget http://www.google.com ] を実行 する)
(毎週水曜日の11:00 に コマンド[ /usr/bin/wget http://www.yahoo.com ] を実行 する)

Cronの確認方法

Twitter: 0 | Facebook: 0 | Google Plus: 3 | Hatena: 18 | Pocket: 10 | Total: 31 | Feedly: 25

This account is currently not available.でsuで別ユーザに変更できない時

Sep 18, 2008
AD:

suでスーパユーザから別のユーザにログインできないとき

下記のようになった場合

Userの情報を確認する

/etc/passwdから、ユーザのシェルの設定を確認します。

「/nobin/nologin」になっていると、rootでもログインできないので、
「/nobin/nologin」を「/bin/bash」などにしてやるとログインできるようになります。

UserのShellの情報を編集する

更新

じょこさんからShellの変更方法について、指摘がありましたので、viで「/etc/passwd」を開いて直接変更する方法から、’usermod -s’のコマンドを使用して変更する方法に変更しました。

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 5 | Pocket: 5 | Total: 10 | Feedly: 25

CentOSにsymfonyをインストール

Sep 12, 2008
AD:

確認すべきこと

  1. symfonyはPHP5の環境でしか動きません
  2. pearが古いと動きません Version1.40以降

Pearのインストール

pearが入っているのかを確認する

上記のようにpearの一覧がでればインストールはされています。

入っていない場合は、インストールが必要です。

1.40以降でないと動かないので、pearのアップグレード

symfonyのインストール

symfonyにチャンネルを追加

いよいよsymfonyをインストール

とエラーがでる、、、調べると「php-xml」が必要らしい

symfonyのインストールを再挑戦

インストールの確認

とりあえず、完了!!

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 9 | Pocket: 1 | Total: 10 | Feedly: 25

CeontOSのIP設定方法

Sep 8, 2008
AD:

ネットワークが、eth0の場合
vi /etc/sysconfig/network-scripts/ifcfg-eth0

 ↓

DEVICE=eth0
BOOTPROTO=none
HWADDR=00:00:00:00:00:00 ←MACアドレス
ONBOOT=yes
NETMASK=255.255.255.0 ←サブネットマスク
IPADDR=192.168.0.2 ←IP
GATEWAY=192.168.0.1 ←ゲートウェイ
TYPE=Ethernet
USERCTL=no
IPV6INIT=no
PEERDNS=yes

 ↓

変更して再起動
/etc/rc.d/init.d/network restart

Twitter: 0 | Facebook: 0 | Google Plus: 0 | Hatena: 0 | Pocket: 0 | Total: 0 | Feedly: 25

ARCHIVES