タグ: MySQL

MySQL Workbenchのマイグレーションで文字化け

投稿者作成者: ando
投稿日 2014年10月7日

SQLServerのデータベースをMySQLに変換しようと、MySQL Workbenchのマイグレーションの機能を使ってみた。スルスルとテーブル構造やデータを変換できた。これはすごい。

と思っていたら、日本語で格納した項目はすべて？？？で文字化け。ダメじゃん、と思って、いろいろ調べてみた。MySQL Workbenchに文字コードを設定できる設定はないし、さてどうしたものか。

どうせ最後にはMongoDBのコレクションに変換する予定なので、CakePHPのシェルで変換プログラムを書いている。そのプログラムからSQLServerを直接見に行けばいいじゃない、と思ってFreeTDSだのODBCだのCentOSにインストールしてやってみると接続はできた。しかし、Linux, Mac OS X, FreeBSDからはSQLServerは接続できないとCakePHPのドキュメントには書いてある。実際に/Config/databese.phpにSQLServerをデータソースとして設定しても接続できなかった。CakePHPのソースを負っていくとPDOのライブラリが見つからない云々というエラーとなる。

それでも、しつこく調べてみると、無理矢理CakePHPのSQLServerのデータソースを書き換えてSQLServerに接続する方法があって試してみたけど接続できるが文字化けという同じ結果だった。しかし、pearのDB.phpだと文字化けせずにうまく接続できる。でも、今さらDB.phpなんて使うなんてね・・・。

と、諦めているときに、とても当たり前のことに気が付いた。とても恥ずかしいこと・・・。

何とMySQLで文字コードの設定を何もしていなかった。ここのサイトに書いているように/etc/my.iniに

[mysqld]

character-set-server=utf8

[mysql]
default-character-set=utf8

[mysqldump]
default-character-set=utf8

を設定しみる。今度は、MySQL Workbenchのマイグレーションで文字化けせずに、うまくSQLServerからMySQLに変換できた。

やれやれ、大変な回り道をしてしまった。もっと早く気付けよ＞自分。

タグ CakePHP, MySQL

オープンソースシステム関連

MySQL WorkbenchのER図は文字化けするのね。

投稿者作成者: ando
投稿日 2014年10月5日

今まではEclipseで動くERMasterを使っていたけど、EclipseからNetBeansに開発環境を変えたので、何かよいER図を書けるツールを探していた。見つけたのは、MySQL Workbenchの中にあるER Diagramの機能。PhpStormにもER図を書く機能があるらしいが、こちらはNetBeansがダメだったら試してみる。

元々は、SQL Serverのデータベースを使ったサイトを、オープンソースに持っていきたいので、そのデータベースのER図が欲しいということからだった。MySQL WorkbenchだとSQL ServerからMySQLへのマイグレーションもできるので便利。ささっとSQL ServerからMySQLにデータベースを変換する。あとはER図を掻き出してみる。

ここまでは簡単にできた。SQL Serverの項目の名前の付け方がよろしくないので、関連付けをするとおかしな名前になってしまうのはしかたない。

問題としては、日本語になっている項目名が文字化けする位でしょうか。環境設定のフォントの指定をメイリオにしても直らなかった。日本語にしているところが問題なのですが。

ERMasterのNetBeans版が出ないかな。ERMasterは使いやすい。

タグ eclipse, MySQL, netbeans, 日本語, 設計

その他

#WordPress サイトの負荷分散の実験

KVMで２つ仮想サーバーを立ち上げて、Wordpressのサイトをリプリケーションして、サーバーの冗長化と負荷分散の実験してみました。

最初に1つのサーバーにWordpressをインストールして、それからKVMのクローンでサーバーをもう一つ作ってしまいます。IPアドレスを別にして2つWordpressのサイトが動く状態にします。

次に、MySQLのリプリケーションの設定をします。設定方法は、

MySQL レプリケーションの設定 – とみぞーノート

辺りを参考にしました。Wordpressの負荷分散は、HyperDBというプラグインを使用します。これもまた、

辺りを参考に設定します。

これで、片方のサーバーのMySQLを停止してもWordpressのサイトを参照できるかを確認します。

[amazonjs asin=”4800710197″ locale=”JP” title=”WordPress Perfect GuideBook 3.x対応版”]

よく考えれば当たり前なのですが、MySQLをマスターにリプリケーションに設定したほうのMySQLを停止したら、参照ができるが更新ができないようになっていました。これで成功なのです。マスターのMySQLに障害が発生したら、スレーブのMySQLからDBを復旧する手順になるのでしょう。

更新は、強制的にマスターサーバーになります。これはHypeDBの機能なのでしょう。スレーブサーバーで更新してしまったら、MySQLのリプリケーションのトラブルになってしまいます。

記事を追加したら、すぐにスレーブサーバーでも参照できるようになります。こちらはMySQLのリプリケーションが正常に動作してしているからです。

マスターとスレーブの切り替えは、DNSのラウンドロビンの機能で実現できそうです。必ず管理ページからはマスターのMySQLのデータベースに格納されるかが確認する必要がありますが、こちらはローカルにDNSを置いていないので未確認です。

以上でWordpressの二重化の実験は完了と言いたいところですが、一つ忘れていました。Wordpressのメディア機能でアップロードしたファイルは、マスターに存在することになります。スレーブのサーバーにアクセスした場合は、存在しないことになります。そこで、/var/www/wp-content/uploads/以下のファイルをマスターからスレーブサーバーに同期を取ってあげないといけません。

cronでrsyncを実行していいのですが、ここではlsyncdでサーバー間をリアルタイム（数秒の遅延はありますが）で同期を取ってしまいます。

を参考に設定しました。これでマスターとスレーブのWordpressのサイトで、アップロードされた画像が正しく参照できるを確認します。

[amazonjs asin=”4839945683″ locale=”JP” title=”ビジネスサイト制作で学ぶ WordPress「テーマカスタマイズ」徹底攻略”]

タグ MySQL, WordPress, インストール, データベース

インストールシステム関連

違うPHPのバージョンを切り替えできるようにする。

昔CakePHPで作成したWebサイトの機能追加を行っているのですが、そのサイトはPHP4なのです。テストするため、PHP4の環境が必要です。

PCですとXAMPPで一発インストールなのですが、みんなで参照するLinuxサーバーではそうはいきません。今まではyumで簡単にインストールしていきましたが、PHP4は古いバージョンなのでyumでのパッケージインストールもできません。

しかたないのでソースからコンパイルです。PostgeSQLとかMySQLもソースからインストールしていきます。今回はとても時間がかかる。PHP4 だけではなく、いまはPHP5 もテストで使うであろうと考えて、切り替えるようにしておきます。参考になったのは、

【PHP】複数バージョンのPHPを使う方法

です。違いはApacheがパッケージでインストールしているとか、PHPのバージョンの違いです。

以上、自分が設定したことを忘れそうなので、手順はEvernoteにメモしておきます。

CakePHP 1.3によるWebアプリケーション開発オープンソース徹底活用

CakePHP辞典 Pocket詳解

タグ Apache, CakePHP, Evernote, MySQL, PHP, PostgreSQL, Web, インストール, オープンソース

システム関連覚え書き

MySQLのデータベースをリストアしたときの文字化けと途中エラーの対応

投稿者作成者: ando
投稿日 2010年4月1日

５００Mバイト位のダンプされたSQLデータをリストアしたときの問題と対応方法の覚え書き。詳しい対応方法は、こちらから。

まずは途中で、

ERROR 2006 (HY000) at line 803997: MySQL server has gone away

とエラーが発生した。これは実行するクエリが大きすぎるため。MuSQLのリファレンスマニュアルに書いてあった。ここを参照のこと。今回は、my.iniの設定を

max_allowed_packet=128M

にした。

リストアしたデータベースを覗いてみると、見事に文字化け。ダンプされたSQLファイルは正しくUTF-8になっているので、リストアの問題。SQLのファイルの最初に

SET NAMES utf8;

を追加する。今度は正常にリストアしたことを確認して完了。

そういえば、昔同じことで悩んだことがあるかも・・・。

タグ MySQL, データベース, リストア

システム関連

So-net SNSのサービス終了で考えた。

So-net SNSサービスが終了との発表がありました。So-net SNSは、OpenPNEの大きな事例として注目していました。また、So-net SNSで運営しているSNSに参加していました。

終了の理由として、収益と運営にかかるコストのバランス、ユーザー数の伸びとのことですが、無料で広告だけでサービスするのは辛いものがあります。

OpenPNE自体は、PHPとMySQLが動くサーバーがあれば簡単に動作するので、私のほうに連絡いただければ設定はできますが、サーバー設定料と使用料はいただきます。OpenPNEのソースコードを読み込んでいますので、カスタマイズも可能です（ちょっと宣伝モードです）。

今は、無料のサービスはいろいろありますが、いつサービスを停止するのがわかりません。以前は、写真のアルバムサービスをどこにするかを考えていましたが、継続してサービスしてくれることが大事です。

たとえば、FlickrとかPicasaウェブアルバムとか、写真ファイルを預かってくれるサービスがありますが、永遠にサービスをやってくれるとは限りません。預けて手元のデータを消してしまうと、突然のサービス停止なんてなると痛い目を会うことになりそうです。やはり、クラウドコンピューティングは永続的ではありません。バックアップを手元に残す必要はありそうです。