arito: 2010

2010/11/11

投稿者 ito

LINUXサーバ上でcurlコマンドを使用する際の話。

下記のような日本語(マルチバイト文字)を含んだリエクストを送りたい場合、

curl http://www.hoge.jp/test/?query=テスト

--data(クエリをPOSTで送信する)オプションを使うことで解決できる。

curl --data query=テスト http://www.hoge.jp/test/

2010/09/16

投稿者 ari

問題

一般的なプロジェクトには画面仕様書、詳細設計書、ソースコードなど、たくさん資料の資料があるが、
引き継がれる側は何が大事な情報なのか、どの資料を見ればいいのかが、資料が多すぎるために分からず、
曖昧な状態のまま引き継いでしまい後で困るケースが多いような気がする。

解決

開発用資料の他に、引継ぎ用資料を仕様を一番理解している人物が作成し、
誰に引き継いでも大丈夫なように引き継ぎのフローを整理する。

引継ぎフロー

仕様を一番理解している人に引き継ぐにあたって必要なことを一覧資料にしてもらう
　⇒なるべく詳細にすると引継ぎ漏れが少なくなる。
資料をもらってから引継ぎ開始(あらかじめ期間を設定)
　⇒作成してもらった資料を用いてサイト把握している期間にMTGを開き、サイトを見ながら実際の画面と照らし合わせて、　各機能の動作や関連ベンダとの連携等を説明してもらう。
引継ぎ完了、対応開始
　⇒一覧資料にあるもの、そこから考えられるであろうものは対応、それ以外のものは別途相談させてもらいます。

メリット

[引き継ぐ側]

　・しっかり引き継ぐことで、後でつまらないことを何度も相談されるのを防ぐ。
　・2人目以降の引継ぎをする人は、引継ぎ作業がかなり楽になる。

[引き継がれる側]

　・どの情報が大事なのかが一目で分かるので、仕様調査・把握しやすい。
　・何を引き継がれたことをハッキリさせることで、それ以外の例外な仕事がふってきても相談しやすい。自分の身を守る！

デメリット

[引き継ぐ側]

　・はじめの引き継ぎ用資料を作るのが大変。

[引き継がれる側]

　・優秀な上司でなければ、嫌な顔をされそう(笑)
　・資料の更新が若干めんどくさい

2010/09/06

投稿者 ari

Subversionインストール

    yum -y install subversion mod_dav_svn

SVN用リポジトリ作成

    mkdir -p /usr/local/svn/repos/xxxxx
    svnadmin create /usr/local/svn/repos/xxxxx
    svn mkdir file://localhost/usr/local/svn/repos/xxxxx/trunk -m "create"
    svn mkdir file://localhost/usr/local/svn/repos/xxxxx/branches -m "create"
    svn mkdir file://localhost/usr/local/svn/repos/xxxxx/tags -m "create"
    chown -R apache:apache /usr/local/svn/repos

Apache用SVNの設定ファイル編集

    vi /etc/httpd/conf.d/subversion.conf

    <Location /repos>
       DAV svn
       SVNParentPath /usr/local/svn/repos
       SVNAutoversioning on
       Order deny,allow
       Deny from all
       Allow from 127.0.0.1
       Allow from xxxxx

       # Require SSL connection for password protection.
       # SSLRequireSSL

       AuthType Basic      
       AuthName "Authorization Realm"      
       AuthUserFile /usr/local/svn/repos/.htpasswd      
       Require valid-user      
       AuthzSVNAccessFile /usr/local/svn/repos/.svnaccess

    </Location>

Apache用SVNにユーザ認証追加

     htpasswd -c /usr/local/svn/repos/.htpasswd 【ユーザ名】

Apache用SVNにユーザ権限設定

     vi /usr/local/svn/repos/.svnaccess

[xxxxx:/]
【ユーザ名】 = rw

Apache設定再読込

    /etc/rc.d/init.d/httpd reload

ブラウザでhttp://サーバのIP/repos/xxxxx/にアクセス

2010/09/02

投稿者 ari

システムの更新

yum -y update

apacheインストール

yum -y install httpd
sudo /etc/init.d/httpd start
cd /etc/httpd/conf
vi httpd.conf

apache動作確認

cd /var/www/html/

vi index.html

ブラウザで"http://localhost/"にアクセス

javaインストール

cd /usr/

wget http://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/VerifyItem-Start/jdk-6u21-linux-i586-rpm.bin?BundledLineItemUUID=DQWJ_hCw41sAAAEqm4JXq9H9&OrderID=SIiJ_hCwlToAAAEqf4JXq9H9&ProductID=LxaJ_hCy4mIAAAEpXLwzBGsB&FileName=/jdk-6u21-linux-i586-rpm.bin

mv jdk-6u21-linux-i586-rpm.bin\?AuthParam\=1283423415_c1918db3414d4a954796606ab22aa14b\&TicketId\=nod3BFkSR3V6leEhnU+ZUZeRcQ\=\=\&GroupName\=CDS\&FilePath\=%2FESD6%2FJSCDL%2Fjdk%2F6u21-b06%2Fjdk-6u21-linux-i586-rpm.bin\&File\=jdk-6u21-linux-i586-rpm.bin jdk6-rpm.bin

mkdir java

mv jdk6-rpm.bin java/

cd java/

chmod a+x jdk6-rpm.bin 

./jdk6-rpm.bin 



java -version

tomcatインストール

wget http://ftp.riken.jp/net/apache/tomcat/tomcat-6/v6.0.29/bin/apache-tomcat-6.0.29.tar.gz

tar zxvf apache-tomcat-6.0.29.tar.gz 

rm -rf apache-tomcat-6.0.29.tar.gz 

mv apache-tomcat-6.0.29/ /usr/local/tomcat

tomcat設定

vi /etc/profile.d/tomcat.sh



    export JAVA_HOME=/usr/java/default

    export PATH=$PATH:$JAVA_HOME/bin

    export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

    export TOMCAT_HOME=/usr/local/tomcat

    export CATALINA_HOME=/usr/local/tomcat

    export CLASSPATH=$CLASSPATH:$CATALINA_HOME/common/lib

vi /etc/rc.d/init.d/tomcat

    #!/bin/bash

    # Startup script for the tomcat

    # chkconfig: 345 80 15

    # description: Tomcat is a Servlet+JSP Engine.

    # Source function library.

    . /etc/rc.d/init.d/functions

    source /etc/profile.d/tomcat.sh

    start(){

        if [ -z $(/sbin/pidof java) ]; then

            echo "Starting tomcat"

            /usr/local/tomcat/bin/startup.sh

            touch /var/lock/subsys/tomcat

        else

            echo "tomcat allready running"

        fi

    }

    stop(){

        if [ ! -z $(/sbin/pidof java) ]; then

            echo "Shutting down tomcat"

            /usr/local/tomcat/bin/shutdown.sh

            until [ -z $(/sbin/pidof java) ]; do :; done

            rm -f /var/lock/subsys/tomcat

        else

            echo "tomcat not running"

        fi

    }

    case "$1" in

        start)

            start

            ;;

        stop)

            stop

            ;;

        restart)

            stop

            start

            ;;

        status)

            /usr/local/tomcat/bin/catalina.sh version

            ;;

        *)

            echo "Usage: $0 {start|stop|restart|status}"

    esac

    exit 0

chmod +x /etc/rc.d/init.d/tomcat 

/etc/rc.d/init.d/tomcat start

apache・tomcat連携

vi /etc/httpd/conf.d/proxy_ajp.conf 

    ProxyPass /tomcat/ ajp://localhost:8009/

    ProxyPass /examples/ ajp://localhost:8009/examples/jsp/

/etc/rc.d/init.d/httpd reload

mysqlインストール

yum -y install mysql-server

vi /etc/my.cnf

default-character-set = utf8

[mysql]
default-character-set = utf8

/etc/rc.d/init.d/mysqld start

mysql -uroot -p

2010/07/27

投稿者 ari

前回の記事で日本語の形態素解析ができるようになったけど、
今のままでは肝心の日本語検索ができない！！ファック！！
ということで、日本語でも検索できるように設定してやる必要があります。

server.xmlの編集

server.xmlを以下のように修正する。

<Connector connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443"/>

↓↓↓

<Connector connectionTimeout="20000" port="8080" protocol="HTTP/1.1" 
    redirectPort="8443" useBodyEncodingForURI="true" URIEncoding="UTF-8"/>

文字コードフィルタの設定

リクエストの文字コードはUTF-8にしてやる必要があるようです。
web.xmlのフィルタで設定してやればリクエストを一括でエンコードしてくれるのでそれでやっちゃいましょう。

※以下の例はSeasarを利用してる場合です。

    <filter>
        <filter-name>encodingfilter</filter-name>
        <filter-class>org.seasar.extension.filter.EncodingFilter</filter-class>
        <init-param>
            <param-name>encoding</param-name>
            <param-value>UTF-8</param-value>
        </init-param>
    </filter>

・・・

    <filter-mapping>
        <filter-name>encodingfilter</filter-name>
        <url-pattern>/*</url-pattern>
    </filter-mapping>

注意として、上記のフィルタはSolrRequestFilterより上に書くこと。 SeasarとかStrutsを使ってない人は、自分でフィルタのクラスを作って設定してあげてください。

solrに形態素解析senの導入

投稿者 ari

Solrには日本語の形態素解析器が含まれてないので、
仕方がないからその導入手順を書いちゃうハメになってます。
そもそも形態素解析が何？って人は調べてください。

Senのダウンロード

https://sen.dev.java.net/servlets/ProjectDocumentList?folderID=755&expandFolder=755&folderID=0
からsen-1.2.2.1をダウンロードして任意の場所(以後$SENとする)に解凍する。

Antのインストール

Senを解凍してもそのままじゃ使えない？くて辞書をビルドする必要があるようです。
ビルドするにはAntがいるので、下記からダウンロードして任意の場所(以後$ANTとする)に解凍する。
http://ant.apache.org/

次にAntを実行するために$ANT/binにパスを通す。
ここら辺はJAVAとかで色々やったと思うので省略。

ちゃんとパスが通ったかどうかはコマンドプロンプトから、
ant -versionと打てば確認できる。

Senの辞書をビルド

以上の設定が終わったら辞書ディレクトリに移動してビルドを行う。

cd $SEN/dic
ant

"BUILD SUCCESSFUL"と表示されたら正常にビルドができたことになる。
けど、"BUILD FAILED"になった場合はperlのパスを確認する。

$PERL/binがパスに設定されていない場合は、パスを通すか、
antの実行時にオプションとして、

ant -Dperl.bin=$PERL\bin/perl

としてやればいい。

Jarの追加

ビルドした$SENディレクトリをプロジェクト直下に移動。
また、$SEN内にあるlucene-ja.jarとsen.jarをプロジェクトのWEB-INF/libないに移動し、 Eclipseのビルドパスの構成からクラスパスに追加してやる。
※エクスプローラ上でjarを移動した際はF5でプロジェクトの更新が必要。

schema.xmlの定義

これまでで形態素解析が利用できる環境が整ったので、
schema.xmlに以下のように定義してやる。

<?xml version="1.0" encoding="UTF-8" ?>
<schema name="example" version="1.2">
<types>
    <fieldType name="text_sen" class="solr.TextField">
        <analyzer class="org.apache.lucene.analysis.ja.JapaneseAnalyzer" />
    </fieldType>
</types>
<fields>
    ・・・
</fields>
</schema>

tomcatの起動オプション設定

あとはtomcatの起動オプションに$SENホームを追加する。
WTPを利用しているなら、サーバビューからサーバの設定ファイルを開く。
「起動構成を開く」の先の引数タブ内のVM引数欄に以下の記述を書く。

-Dsen.home=$SEN

あとはtomcatを起動するだけ！
疲れた！

Senの動作確認

最後に！！ここまでくれば後は動作確認するだけ。
tomcatを起動し、http://localhost:8080/プロジェクト名/admin/analysis.jspにアクセスし、
↓画像のようになればOK！！

スレッドセーフ？

2010/07/23

投稿者 ito

スレッドセーフとは

http://e-words.jp/w/E382B9E383ACE38383E38389E382BBE383BCE38395.html

スレッドセーフができていないというのは

同じインスタンスにある同じ変数を
複数のスレッドが参照・更新できる場合や、
共有ファイルを複数人で参照・更新できる場合
のこと。

例えば

下記コードがあった場合、


 private int num;

 public int getNum(){
 　　return num;
 }

 public void setNum(int なむ){
 　　num = なむ;
 }

 public void update(){
 　　System.out.println(num); //-----(1)
 　　int i;                   
 　　for(i=0; i < num; i++);  //-----(2)
 　　System.out.println(i);
 }

正常

スレッドA　が　Hoge.setNum(10000);実行
スレッドA　が　Hoge.update();実行

　　　　　コンソールに表示される結果は下記となる。
　　　　　　10000
　　　　　　10000

異常

スレッドA　が　Hoge.setNum(10000);実行
スレッドA　が　Hoge.update();実行
「２．」実行中にスレッドBがHoge.setNum(500);実行

　　　　　コンソールに表示される結果はだれにも予想できないが、
　　　　　おそらく下記のような結果となる。

　　　　　(1)の直前で「３．」が実行された場合の結果は
　　　　　　500
　　　　　　500

　　　　　(2)の直前で「３．」が実行された場合の結果は
　　　　　　10000
　　　　　　500

　　　　　(2)を実行中に「３．」が実行された場合の結果は
　　　　　　10000
　　　　　　"500～10000のいずれか"

対処方法

各メソッドにsynchonized装飾子をつけてあげればとりあえずは防げる。

詳しくは下記

http://d.hatena.ne.jp/amachang/20100324/1269425706
http://www.ibm.com/developerworks/jp/java/library/j-threadsafe/

solrとtomcatの連携(WTP)

2010/07/21

投稿者 ari

solrのダウンロード

solrを下記URLからダウンロードして任意のディレクトリに解凍する。
http://www.apache.org/dyn/closer.cgi/lucene/solr/
ダウンロードしたディレクトリ内にある/example/webapps/solr.warを
tomcatのwebappディレクトリに移動。
tomcatを起動してsolr.warファイルをデプロイ→solrディレクトリがwebapp内にできる。
※ここは単に解凍してやるだけでよさそうかも。

tomcatとの連携

プロジェクト作成　
Doltengプラグインを使い、C:/project/aaa/bbbにsolr用の新規プロジェクト"ccc"を作成。
※いやこれDoltengでやる必要は全然ない(笑)
solr/homeディレクトリの移動　
1.でダウンロードしたディレクトリ内にある/example/webapps/solrディレクトリ(bin,conf,dataを含む)を、 C:/project/aaa/bbbに移動。※ここではsolrディレクトリをsearchと名前変更している
solrの組み込み　
またtomcatのwebappに展開されたsolrディレクトリ内の下記ファイルをbbbに
- admin、META-INFディレクトリ　→　webappディレクトリ直下
- lib内のjarファイル　→　 webapp/WEB-INF/lib
- WEB-INF内のweb.xml　→　 webapp/WEB-INF/
にそれぞれ移動。(自動で参照ライブラリに追加される？)
※ここらで一旦cccプロジェクトを更新。

web.xmlの編集
　上書きしたweb.xmlを開き、下記ソースのコメントアウトを外し、env-entry-value部分を1の手順で移動したパスに変更する。

  <env-entry>
      <env-entry-name>solr/home</env-entry-name>
    <env-entry-value>C:/project/aaa/bbb/ccc</env-entry-value>
    <env-entry-type>java.lang.String</env-entry-type>
  </env-entry>

WTPでサーバの登録

サーバービューから新規サーバを追加し、新規リソースの追加でcccプロジェクトを指定する。
あとはサーバを起動させるだけで、solrの管理画面にアクセスできる。
http://localhost:8080/ccc/admin
また、サーバの起動時にsolrプロジェクト以外も起動させたい場合は、
サーバ追加時のリソース選択で任意のプロジェクトを指定してやるだけでよい。

対応内容は資料化してみる

2010/07/09

投稿者 ito

webサイトの保守を行う以上、
何かしらの改修・追加開発依頼が発生します。

そんなとき、
依頼者と対応者の間で対応内容の認識にズレがあると
対応中または対応完了後に面倒事になる。

ので、ズレを起こさないように
予め色々資料化して確認しておこうよという話。

web開発？を例に下記に並べてみました。

１．対応箇所の確認

対応画面のURL
具体的に修正箇所がどこなのか画面をキャプチャして示す

２．対応内容の確認

何をしたら、どんな動きをするのか例を挙げて示す
DBの場合、どのパラメタを、どう変更したら、何がおきるのか
APIも同様

３．対応範囲の確認(マルチベンダの場合とか特に)

対応範囲の切り分けを明確にしておく

４．対応スケジュールの確認(マルチベンダの場合とか特に)

スケジュール(全社分)を引く
(厳しそうならご指摘くださいと伝えること)
(Aが終わらないと、Bができない場合だとしても、Bが遅れたらBの対応者が責められるかも)
(全社分確認を取れたら依頼者に報告)

５．対応結果の確認

具体的にこう操作したら、こうなります的な一覧を作る
対応内容の確認に近い
要はテスト項目書

つぎに資料化することのメリット・デメリットをそれぞれ挙げてみます。

メリット

依頼者との認識違いを減らすことができる
予め依頼者と具体的な対応内容を確認しておくことで仕様を握ることができる
対応内容を自分自身で整理できる
整理ついでにメンバーに対応内容が共有できる
時間が経っても(後から参加した人でも)対応内容を確認できる

デメリット

ちょっと手間

当然対応内容の規模によっては、
すべてを行う必要はないと思います。
けーすばいけーす。

みなさんはどですか。

セッションレプリケーション問題

2010/06/24

投稿者 ari

seasar+sastrutsの環境でtomcatのセッションレプリケーションを使うと、
サーバが複数台ある時に問題が生じたので、その内容と対策を書く。

目標

上図のようなサーバ構成があるとする。
両方のサーバでセッションを共有させることで、
もし102,103のどちらかのサーバがダウンしたとしても問題なく動作させるようにする。

セッションが共有できていないと、
仮に102でセッションが作られたユーザは、
103サーバにリクエストが送られた途端にセッション情報がないのでエラーになってしまう。

問題

本番反映時にセッションレプリケーションの動作確認を行ってみたら、
ページを読み込むたびに「表示」→「エラー」を繰り返していた。
次に102,103のログを見ながらページを読み込むと、
ある特定のサーバへのリクエストのみエラーが起こっていて、
正常にセッションレプリケーションができていないのではないかと推測。

調査を行うと、sastrutsのアノテーションを利用して、
必要な情報を格納するDTOクラスをセッションに登録した場合には、
tomcatのセッションレプリケーションができないということがわかった。
http://ml.seasar.org/archives/seasar-user/2009-July/017893.html

@Component(instance = InstanceType.SESSION) //←コイツ
public class SampleDto implements Serializable {

    private static final long serialVersionUID = 1L;

    public String name;
｝

対策

対策は以下の参考URLにあるように2つあるのだけど、

セッションオブジェクトに直接setAttribute
http://ml.seasar.org/archives/seasar-user/2009-July/017887.html
seasarのdbsession.diconを用いたDBセッションレプリケーション
http://s2container.seasar.org/2.4/ja/dbsession.html

今回はsetAttributeする方法を取った。

RequestUtil.getRequest().getSession().setAttribute("sampleDto", sampleDto);

この対応で本番環境でもセッションレプリケーションが実現できた！！

※開発段階でサーバを2台用意しセッションレプリケーションのテストができる状態にできるのであれば、
事前に確認してリスクを軽減でき、本番でセッションレプリケーションの問題が生じたときにも調査が容易になる。

備考

ついでにtomcatのセッションレプリケーションの設定方法も書く

・httpd.conf

<Proxy balancer://cluster/>
    BalancerMember ajp://xxx.xxx.xxx.xxx:8009 route=MAP1 loadfactor=10 keepalive=on
    BalancerMember ajp://xxx.xxx.xxx.xxx:8009 route=MAP2 loadfactor=10 keepalive=on
</Proxy>

・server.xml

/*以下は192.168.0.102の設定。192.168.0.103はjvmRoute=MAP2, tcpListenAddress=192.168.0.103とする。*/
<Engine name="Catalina" defaultHost="localhost" jvmRoute="MAP1">
  <Host name="localhost" appBase="webapps" />
  <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
        managerClassName="org.apache.catalina.ha.session.DeltaManager"
        expireSessionsOnShutdown="false"
        useDirtyFlag="true"
        printToScreen="true">
  <Membership className="org.apache.catalina.ha.mcast.McastService"
        mcastAddr="228.0.0.4" mcastPort="45564" mcastFrequency="500" mcastDropTime="3000"/>
  <Receiver className="org.apache.catalina.ha.tcp.ReplicationListener"
        tcpListenAddress="192.168.0.102" tcpListenPort="4001" tcpSelectorTimeout="100"
        tcpThreadCount="2"/>
  <Sender className="org.apache.catalina.ha.tcp.ReplicationTransmitter"
        replicationMode="pooled"/>
  <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
        filter=".*\.gif;.*\.js;.*\.jpg;.*\.htm;.*\.html;.*\.txt;.*\.xhtml"/>
  <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
        tempDir="/tmp/war-temp/"  deployDir="/tmp/war-deploy/"  watchDir="/tmp/war-listen/"
        watchEnabled="false"/>         
  </Cluster>
</Engine>

・web.xml

<!-- Session Clustering -->
<distributable />

登録: 投稿 (Atom)

2010/11/11

2010/09/16

問題

解決

引継ぎフロー

メリット

デメリット

2010/09/06

Subversionインストール

SVN用リポジトリ作成

Apache用SVNの設定ファイル編集

Apache用SVNにユーザ認証追加

Apache用SVNにユーザ権限設定

Apache設定再読込

2010/09/02

システムの更新

apacheインストール

apache動作確認

javaインストール

tomcatインストール

tomcat設定

apache・tomcat連携

mysqlインストール

2010/07/27

server.xmlの編集

文字コードフィルタの設定

document.write(ultimaFecha);

Senのダウンロード

Antのインストール

Senの辞書をビルド

Jarの追加

schema.xmlの定義

tomcatの起動オプション設定

Senの動作確認

2010/07/23

スレッドセーフとは

スレッドセーフができていないというのは

例えば

対処方法

詳しくは下記

2010/07/21

solrのダウンロード

tomcatとの連携

WTPでサーバの登録

2010/07/09

１．対応箇所の確認

２．対応内容の確認

３．対応範囲の確認(マルチベンダの場合とか特に)

４．対応スケジュールの確認(マルチベンダの場合とか特に)

５．対応結果の確認

メリット

デメリット

2010/06/24

目標

問題

対策

備考

Labels

Blog Archive

Profile