ラベル ari の投稿を表示しています。 すべての投稿を表示
ラベル ari の投稿を表示しています。 すべての投稿を表示

solrで日本語検索

2010/07/27


前回の記事で日本語の形態素解析ができるようになったけど、
今のままでは肝心の日本語検索ができない!!ファック!!
ということで、日本語でも検索できるように設定してやる必要があります。

server.xmlの編集

server.xmlを以下のように修正する。
<Connector connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443"/>
↓↓↓
<Connector connectionTimeout="20000" port="8080" protocol="HTTP/1.1" 
    redirectPort="8443" useBodyEncodingForURI="true" URIEncoding="UTF-8"/>

文字コードフィルタの設定

リクエストの文字コードはUTF-8にしてやる必要があるようです。
web.xmlのフィルタで設定してやればリクエストを一括でエンコードしてくれるのでそれでやっちゃいましょう。
※以下の例はSeasarを利用してる場合です。
    <filter>
        <filter-name>encodingfilter</filter-name>
        <filter-class>org.seasar.extension.filter.EncodingFilter</filter-class>
        <init-param>
            <param-name>encoding</param-name>
            <param-value>UTF-8</param-value>
        </init-param>
    </filter>
・・・
    <filter-mapping>
        <filter-name>encodingfilter</filter-name>
        <url-pattern>/*</url-pattern>
    </filter-mapping> 
注意として、 上記のフィルタはSolrRequestFilterより上に書くこと。 SeasarとかStrutsを使ってない人は、自分でフィルタのクラスを作って設定してあげてください。

solrに形態素解析senの導入


Solrには日本語の形態素解析器が含まれてないので、
仕方がないからその導入手順を書いちゃうハメになってます。
そもそも形態素解析が何?って人は調べてください。

Senのダウンロード

https://sen.dev.java.net/servlets/ProjectDocumentList?folderID=755&expandFolder=755&folderID=0
からsen-1.2.2.1をダウンロードして任意の場所(以後$SENとする)に解凍する。

Antのインストール

Senを解凍してもそのままじゃ使えない?くて辞書をビルドする必要があるようです。
ビルドするにはAntがいるので、下記からダウンロードして任意の場所(以後$ANTとする)に解凍する。
http://ant.apache.org/

次にAntを実行するために$ANT/binにパスを通す。
ここら辺はJAVAとかで色々やったと思うので省略。

ちゃんとパスが通ったかどうかはコマンドプロンプトから、
ant -versionと打てば確認できる。

Senの辞書をビルド

以上の設定が終わったら辞書ディレクトリに移動してビルドを行う。

cd $SEN/dic
ant

"BUILD SUCCESSFUL"と表示されたら正常にビルドができたことになる。
けど、"BUILD FAILED"になった場合はperlのパスを確認する。

$PERL/binがパスに設定されていない場合は、パスを通すか、
antの実行時にオプションとして、

ant -Dperl.bin=$PERL\bin/perl

としてやればいい。

Jarの追加

ビルドした$SENディレクトリをプロジェクト直下に移動。
また、$SEN内にあるlucene-ja.jarとsen.jarをプロジェクトのWEB-INF/libないに移動し、 Eclipseのビルドパスの構成からクラスパスに追加してやる。
※エクスプローラ上でjarを移動した際はF5でプロジェクトの更新が必要。

schema.xmlの定義

これまでで形態素解析が利用できる環境が整ったので、
schema.xmlに以下のように定義してやる。


<?xml version="1.0" encoding="UTF-8" ?>
<schema name="example" version="1.2">
<types>
    <fieldType name="text_sen" class="solr.TextField">
        <analyzer class="org.apache.lucene.analysis.ja.JapaneseAnalyzer" />
    </fieldType>
</types>
<fields>
    ・・・
</fields>
</schema>

tomcatの起動オプション設定

あとはtomcatの起動オプションに$SENホームを追加する。
WTPを利用しているなら、サーバビューからサーバの設定ファイルを開く。
「起動構成を開く」の先の引数タブ内のVM引数欄に以下の記述を書く。


-Dsen.home=$SEN

あとはtomcatを起動するだけ!
疲れた!

Senの動作確認

最後に!! ここまでくれば後は動作確認するだけ。
tomcatを起動し、http://localhost:8080/プロジェクト名/admin/analysis.jspにアクセスし、
↓画像のようになればOK!!




solrとtomcatの連携(WTP)

2010/07/21

solrのダウンロード

solrを下記URLからダウンロードして任意のディレクトリに解凍する。
http://www.apache.org/dyn/closer.cgi/lucene/solr/
ダウンロードしたディレクトリ内にある/example/webapps/solr.warを
tomcatのwebappディレクトリに移動。
tomcatを起動してsolr.warファイルをデプロイ→solrディレクトリがwebapp内にできる。
※ここは単に解凍してやるだけでよさそうかも。

tomcatとの連携

  1. プロジェクト作成 
    Doltengプラグインを使い、C:/project/aaa/bbbにsolr用の新規プロジェクト"ccc"を作成。
    ※いやこれDoltengでやる必要は全然ない(笑)
  2. solr/homeディレクトリの移動 
    1.でダウンロードしたディレクトリ内にある/example/webapps/solrディレクトリ(bin,conf,dataを含む)を、 C:/project/aaa/bbbに移動。※ここではsolrディレクトリをsearchと名前変更している 
  3. solrの組み込み 
    またtomcatのwebappに展開されたsolrディレクトリ内の下記ファイルをbbbに
    • admin、META-INFディレクトリ → webappディレクトリ直下
    • lib内のjarファイル →  webapp/WEB-INF/lib
    • WEB-INF内のweb.xml →  webapp/WEB-INF/
    にそれぞれ移動。(自動で参照ライブラリに追加される?)
    ※ここらで一旦cccプロジェクトを更新。
  4. web.xmlの編集
     上書きしたweb.xmlを開き、下記ソースのコメントアウトを外し、env-entry-value部分を1の手順で移動したパスに変更する。
      <env-entry>
          <env-entry-name>solr/home</env-entry-name>
        <env-entry-value>C:/project/aaa/bbb/ccc</env-entry-value>
        <env-entry-type>java.lang.String</env-entry-type>
      </env-entry>
    
 

WTPでサーバの登録

 サーバービューから新規サーバを追加し、新規リソースの追加でcccプロジェクトを指定する。
あとはサーバを起動させるだけで、solrの管理画面にアクセスできる。
http://localhost:8080/ccc/admin
また、サーバの起動時にsolrプロジェクト以外も起動させたい場合は、
サーバ追加時のリソース選択で任意のプロジェクトを指定してやるだけでよい。

セッションレプリケーション問題

2010/06/24


seasar+sastrutsの環境でtomcatのセッションレプリケーションを使うと、
サーバが複数台ある時に問題が生じたので、その内容と対策を書く。

目標

 


上図のようなサーバ構成があるとする。
両方のサーバでセッションを共有させることで、
もし102,103のどちらかのサーバがダウンしたとしても問題なく動作させるようにする。

セッションが共有できていないと、
仮に102でセッションが作られたユーザは、
103サーバにリクエストが送られた途端にセッション情報がないのでエラーになってしまう。

問題

本番反映時にセッションレプリケーションの動作確認を行ってみたら、
ページを読み込むたびに「表示」→「エラー」を繰り返していた。
次に102,103のログを見ながらページを読み込むと、
ある特定のサーバへのリクエストのみエラーが起こっていて、
正常にセッションレプリケーションができていないのではないかと推測。

調査を行うと、sastrutsのアノテーションを利用して、
必要な情報を格納するDTOクラスをセッションに登録した場合には、
tomcatのセッションレプリケーションができないということがわかった。
http://ml.seasar.org/archives/seasar-user/2009-July/017893.html

@Component(instance = InstanceType.SESSION) //←コイツ
public class SampleDto implements Serializable {

    private static final long serialVersionUID = 1L;

    public String name;
}

対策

対策は以下の参考URLにあるように2つあるのだけど、

今回はsetAttributeする方法を取った。
RequestUtil.getRequest().getSession().setAttribute("sampleDto", sampleDto);

この対応で本番環境でもセッションレプリケーションが実現できた!!

※開発段階でサーバを2台用意しセッションレプリケーションのテストができる状態にできるのであれば、
事前に確認してリスクを軽減でき、本番でセッションレプリケーションの問題が生じたときにも調査が容易になる。
 

備考

ついでにtomcatのセッションレプリケーションの設定方法も書く

・httpd.conf
<Proxy balancer://cluster/>
    BalancerMember ajp://xxx.xxx.xxx.xxx:8009 route=MAP1 loadfactor=10 keepalive=on
    BalancerMember ajp://xxx.xxx.xxx.xxx:8009 route=MAP2 loadfactor=10 keepalive=on
</Proxy>

・server.xml
/*以下は192.168.0.102の設定。192.168.0.103はjvmRoute=MAP2, tcpListenAddress=192.168.0.103とする。*/
<Engine name="Catalina" defaultHost="localhost" jvmRoute="MAP1">
  <Host name="localhost" appBase="webapps" />
  <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
        managerClassName="org.apache.catalina.ha.session.DeltaManager"
        expireSessionsOnShutdown="false"
        useDirtyFlag="true"
        printToScreen="true">
  <Membership className="org.apache.catalina.ha.mcast.McastService"
        mcastAddr="228.0.0.4" mcastPort="45564" mcastFrequency="500" mcastDropTime="3000"/>
  <Receiver className="org.apache.catalina.ha.tcp.ReplicationListener"
        tcpListenAddress="192.168.0.102" tcpListenPort="4001" tcpSelectorTimeout="100"
        tcpThreadCount="2"/>
  <Sender className="org.apache.catalina.ha.tcp.ReplicationTransmitter"
        replicationMode="pooled"/>
  <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
        filter=".*\.gif;.*\.js;.*\.jpg;.*\.htm;.*\.html;.*\.txt;.*\.xhtml"/>
  <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
        tempDir="/tmp/war-temp/"  deployDir="/tmp/war-deploy/"  watchDir="/tmp/war-listen/"
        watchEnabled="false"/>         
  </Cluster>
</Engine>

・web.xml
<!-- Session Clustering -->
<distributable />