おおまかな手順は、以下の通りです（すでにTomcat上で稼働しているSolrをお持ちの方や弊社サブスクリプション・パッケージのお客様は、手順４．からお読みください）。

1. Tomcatのダウンロード
2. Solrのダウンロード
3. 文字化け対策
4. solrconfig.xmlの編集
5. SolrのTomcatへのデプロイと起動
6. 検索を実行
7. soleamiでログを可視化

なお、Linux/Macの環境を前提に話を進めます。Windowsの場合はcygwinなどを使いながら、置き換えて読み進めてください。

またユーザsolrがログインディレクトリ/home/solrの下にworkというディレクトリを作成し、その下に環境を作成して作業するものとします。そこでまず、workというディレクトリを作成しておきます。

$ pwd
/home/solr
$ mkdir work
$ cd work
$ pwd
/home/solr/work

なお、JavaとAntがあらかじめインストールされていることが必要です。

Tomcatのダウンロード

まず、Tomcat 6.0.35をダウンロードします。

# workディレクトリにTomcat 6.0.35をダウンロード
$ pwd
/home/solr/work
$ wget http://ftp.meisei-u.ac.jp/mirror/apache/dist/tomcat/tomcat-6/v6.0.35/bin/apache-tomcat-6.0.35.tar.gz

そしてダウンロードしたファイルを解凍します。

$ wget tar xvzf apache-tomcat-6.0.35.tar.gz
x apache-tomcat-6.0.35/bin/catalina.sh
x apache-tomcat-6.0.35/bin/digest.sh
x apache-tomcat-6.0.35/bin/setclasspath.sh
x apache-tomcat-6.0.35/bin/shutdown.sh
x apache-tomcat-6.0.35/bin/startup.sh
x apache-tomcat-6.0.35/bin/tool-wrapper.sh
x apache-tomcat-6.0.35/bin/version.sh
     :

Tomcatに関しての準備は以上です。

Solrのダウンロード

次にSolrをダウンロードします。ここでは本日時点の最新バージョンである3.5.0をダウンロードします。注意していただきたいのは、後述するように「文字化け対策」をする必要があるので、Solrのバイナリ版ではなく、ソース版をダウンロードする必要があることです。

# workディレクトリにソース版Solr 3.5.0をダウンロード
$ pwd
/home/solr/work
$ wget http://ftp.jaist.ac.jp/pub/apache//lucene/solr/3.5.0/apache-solr-3.5.0-src.tgz

そしてダウンロードしたファイルを解凍します。

$ tar xvzf apache-solr-3.5.0-src.tgz 
x apache-solr-3.5.0/dev-tools/
x apache-solr-3.5.0/dev-tools/eclipse/
x apache-solr-3.5.0/dev-tools/idea/
x apache-solr-3.5.0/dev-tools/idea/.idea/
x apache-solr-3.5.0/dev-tools/idea/.idea/copyright/
x apache-solr-3.5.0/dev-tools/idea/.idea/libraries/
x apache-solr-3.5.0/dev-tools/idea/lucene/
x apache-solr-3.5.0/dev-tools/idea/lucene/contrib/
     :

以上でSolrの準備自体は終わりですが、次に「文字化け対策」の作業が必要です。

文字化け対策

ダウンロードしたままのTomcatにSolrをデプロイすると、確実に文字化けが発生してしまいます。そこでTomcatとSolrに対して以下の作業が必要になります。

Tomcatのserver.xmlの編集

Tomcatのserver.xmlをエディタで開きます。

$ vi apache-tomcat-6.0.35/conf/server.xml

そして次のConnector要素の部分を見つけ、useBodyEncodingForURI=”true”を追記します。

    <Connector port="8080" protocol="HTTP/1.1"
               connectionTimeout="20000"
               redirectPort="8443" useBodyEncodingForURI="true"/>

できたら、server.xmlファイルを保存してエディタを終了します。

Tomcat提供のサーブレットフィルターをSolrにコピー

次に、TomcatのexamplesにあるサーブレットフィルターをSolrにコピーします。

$ cp -R apache-tomcat-6.0.35/webapps/examples/WEB-INF/classes/filters apache-solr-3.5.0/solr/core/src/java

Solrのweb.xmlを編集

次にSolrのweb.xmlを編集します。適当なエディタでweb.xmlを開いてください。

$ vi apache-solr-3.5.0/solr/webapp/web/WEB-INF/web.xml

そしてweb.xmlファイルの中の既存のfilter定義の前に次のようなSetCharacterEncodingFilterを使用する旨の記述を挿入します。

  <filter>
    <filter-name>SetCharacterEncoding</filter-name>
    <filter-class>filters.SetCharacterEncodingFilter</filter-class>
    <init-param>
      <param-name>encoding</param-name>
      <param-value>UTF-8</param-value>
    </init-param>
  </filter>
  <!-- 以下は既存の定義です -->
  <filter>
    <filter-name>SolrRequestFilter</filter-name>
     :

次に同じファイルのもう少し下を見ていくと、filter-mappingを定義している箇所があります。同じくその前に次のようにSetCharacterEncodingの定義を挿入します。

  <filter-mapping>
    <filter-name>SetCharacterEncoding</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>
  <!-- 以下は既存の定義です -->
  <filter-mapping>
    <filter-name>SolrRequestFilter</filter-name>
      :

Solrのビルド

以上でビルドの準備が整いましたので、antを使ってSolrをビルドします。

$ cd apache-solr-3.5.0/solr
$ pwd
/home/solr/work/apache-solr-3.5.0/solr
$ ant -Dversion=3.5.0 example

solrconfig.xmlの編集

次に、solrconfig.xmlから、（ログの可視化には）不要な部分を取り除きます。この手順は必須ではありませんが、デフォルトの状態だとSolr起動時におかしなクエリが飛んでしまうので、可視化した際にゴミが目立ってしまいます。そこで、次のように適当なエディタでsolrconfig.xmlファイルを開きます。

$ pwd
/home/solr/work/apache-solr-3.5.0/solr
$ vi example/solr/conf/solrconfig.xml

そして以下のようなfirstSearcherの箇所を見つけ、listenerタグごと削除するか、以下のようにコメントアウトしてください。

    <listener event="firstSearcher" class="solr.QuerySenderListener">
      <arr name="queries">
<!-- ここの部分をコメントアウトします。
        <lst>                                                                                                 
          <str name="q">static firstSearcher warming in solrconfig.xml</str>                                  
        </lst>                                                                                                
-->
      </arr>
    </listener>

SolrのTomcatへのデプロイと起動

次に、SolrのwarファイルをTomcatにデプロイします。前述の手順でSolrをビルドすると、Solrのdistというディレクトリの下にwarファイルが作られています。このファイルはapache-solr-3.5.0.warという名前になっているので、solr.warと名前を変えて、Tomcatのwebappsディレクトリの下にコピーしてデプロイします。

$ pwd
/home/solr/work
$ cp apache-solr-3.5.0/solr/dist/apache-solr-3.5.0.war apache-tomcat-6.0.35/webapps/solr.war

そしてTomcatを起動します。その際、環境変数CATALINA_OPTSにSolrホームディレクトリ（solrconfig.xmlファイルが配置されているディレクトリの親ディレクトリ）を指し示すように設定が必要です。また環境によっては、システムプロパティfile.encodingの設定も必要になりますので、環境に合わせてTomcatを起動してください。

$ export CATALINA_OPTS="-Dsolr.solr.home=/home/solr/work/apache-solr-3.5.0/solr/example/solr -Dfile.encoding=UTF-8"; ./apache-tomcat-6.0.35/bin/startup.sh

検索を実行

ではブラウザからTomcatにアクセスして管理画面を立ち上げてみましょう。ブラウザから http://localhost:8080/solr/admin/ にアクセスします。

Solrの管理画面

ここでは、街中検索系のサイトを運営していると仮定して、管理画面の入力エリアに「渋谷 ラーメン」と入力してSearchボタンをクリックします。なお、「渋谷」と「ラーメン」の間にはスペースが入っています。いうまでもなく、渋谷でラーメン屋さんを探しているようなイメージです。

すると、XMLで検索結果が戻ってきますが、データも入れていないので当然0件の検索結果になります。1回だけのクエリではつまらないのでもう一つ、「渋谷 郵便局」という検索もやっておきましょう。ブラウザの戻るボタンで管理画面に戻り、入力エリアに「渋谷 郵便局」と入力してSearchボタンをクリックします。

この状態で、Tomcatのログを確認しておきましょう。catalina.outの最後の方に今検索した「渋谷 ラーメン」や「渋谷 郵便局」という行が記録されているはずです。

$ tail apache-tomcat-6.0.35/logs/catalina.out
2012/02/14 14:02:46 org.apache.solr.core.SolrCore execute
情報: [] webapp=/solr path=/select/ params={indent=on&start=0&q=渋谷+ラーメン&version=2.2&rows=10} hits=0 status=0 QTime=37 
2012/02/14 14:02:58 org.apache.solr.core.SolrCore execute
情報: [] webapp=/solr path=/select/ params={indent=on&start=0&q=渋谷+郵便局&version=2.2&rows=10} hits=0 status=0 QTime=1 

このとき、文字化けしていたり、文字化けしていなくてもUTF-8で記録されていない場合は、あとで可視化できなくなってしまいますので、その場合はこれまでの手順を見直してください。

soleamiでログを可視化

さていよいよcatalina.outのクエリログを可視化してみましょう。もしまだsoleamiにユーザ登録していなかったら、ここで ユーザ登録 から登録しておいてください。

ではsoleamiのメニューのアップロードをクリックします。ここで未ログインの場合はログインを促されますので、登録したユーザ名（メールアドレス）とパスワードを使ってログインします。

すると下のようなログファイルをアップロードする画面が表示されます。

soleamiのファイルアップロード画面

画面に指示のあるとおり、ログファイルはZIP圧縮してアップロードしてください。その際に、機密保持のためにシステムから指定されたパスワードで暗号化する必要があります（実は暗号化しなくても動作しますが、後述するようにアップロード中はSSL通信しないので、暗号化するようにしてください）。

$ cd apache-tomcat-6.0.35/logs
$ zip -e catalina.out.zip catalina.out 
Enter password: fRciL_yU
Verify password: fRciL_yU
  adding: catalina.out (deflated 92%)

ここではZIP圧縮するファイルはcatalina.outひとつだけですが、ディレクトリに複数のクエリログファイルがある場合、そのディレクトリごとZIP圧縮しても問題ありません。また、各ログファイルは.logという拡張子を持っていなくても大丈夫です。ただし、まとめてZIP圧縮する場合は、余計な（ゴミ）ファイルは含まれないようにしてください。

なお、ZIP圧縮後のファイルサイズは10MBを超えてはいけません（10MBを超える場合は、複数回に分けてアップロードしてください。最大過去12ヶ月分のログが可視化できます）。

ZIP圧縮したらファイルアップロードの画面でZIPファイルを選択し、[アップロード] ボタンをクリックします。すると、お使いのブラウザによっては、次のような「セキュリティ警告」が表示されます。

ファイルアップロードしようとすると、セキュリティ警告が表示される

これは、今表示されている「ファイルアップロード画面」自体がSSLで送信されているのに対し、アップロードしようとしているZIPファイルがSSLを使っていないためです。しかし、ZIPファイルは暗号化されているので機密は保たれていますから、[続ける] をクリックしてアップロードします。

アップロード終了後、数分〜数十分待つと次のようなメールがsoleamiから届きます。

おめでとうございます！

アップロードしていただきましたログファイルの解析が終了しました。
下記リンクをクリックし、可視化を体験してください！

http://soleami.com/p/visualize?locale=ja

アップロード時刻（日本時間）: 2012/02/14 14:44:47
データベースを初期化する: No

ではメール中にあるリンクをクリックして、「可視化」を開始してみましょう。

「可視化」の画面は最初は[トップ10] タブが選択された状態になっています。今回は「渋谷 ラーメン」および「渋谷 郵便局」という検索を行いましたので、下の画面のように今月の「トップ10」が表示されます（なお、先月以前の部分は「no log data…」と表示されます）。

トップ10チャートのサンプル

次に[トレンド1000] のタブを選択してみましょう。すると、次のように検索キーワードのリストが表示されます。

トレンド1000の検索キーワードリストの表示

ここで、「渋谷(2)」をクリックします。すると、次のような折れ線グラフと棒グラフが表示されます。

トレンド1000で「渋谷」を選択したところ

ここで折れ線グラフの方は「渋谷」という検索キーワードの過去12ヶ月間の検索回数の推移を表しています。そして棒グラフの方は、主キーワードである「渋谷」と一緒に検索された副キーワードの過去12ヶ月間の累積回数を表しています。これらのチャートから「渋谷」で「ラーメン」屋や「郵便局」を探している人がいるんだなあ、ということが読み取れます。

次に[0件ヒット] のタブを選択してみましょう。すると先ほどと同じようにクエリのリストが表示されます。違うのは、先ほどは検索キーワードの単位にリスト表示されていたのが、ここではクエリ文字列単位になっていることです。「渋谷 ラーメン(1)」「渋谷 郵便局(1)」となっていますので、「渋谷 ラーメン(1)」をクリックしてみます。すると次の画面のようなチャートが表示され、「0件ヒット」を起こした「渋谷 ラーメン」というクエリの過去12ヶ月間の推移がわかります。

0件ヒットで適当なクエリを選択してチャートを表示したところ

「0件ヒット」は検索システムがユーザ（サイト訪問者）のニーズに応えられなかったことを表しています。特にECサイトでは「0件ヒット」の発生は重大視される傾向にあります。「0件ヒット」が起こった場合は、類義語辞書を使っているサイトではその内容を見直したり、コンテンツを検討するなどして発生を少なくすることが、ユーザの満足度向上につながります。

今回のサンプルではたった2回の検索実行を可視化しただけでしたが、Solrの起動から可視化までの流れをつかんでいただけたことと思います。実際にSolrを運用しているログファイルを分析すると、季節による検索キーワードの傾向が読み取れたり、また企業内検索では「社員が今求めているもの」を把握することができます。

Solrとともにsoleamiを上手に活用していただき、貴社の検索システムのコンテンツの充実化や利便性向上にぜひお役立てください！

soleami
http://soleami.com/ja

Solrはインターネットで公開されているWebサイトのサイト内検索や、非公開のイントラネットの企業内検索など、世界中で広く使われているOSSの検索エンジンです。

Solrは実行した検索リクエストをログファイル（クエリログ）に記録しています。クエリログは「サイト訪問者のニーズのリスト」とも言えるものですが、検索キーワードごとに集計する作業は大変な労力がかかるため、これまで活用されてきていませんでした。

soleamiはこの問題を解決するため、クエリログをアップロードするだけで自動的に集計を行い、Webブラウザでチャートを表示できることを目標に開発されました。Solrの管理者は誰でも無料で、Solrのクエリログをsoleamiにアップロードし、サイト訪問者のニーズを可視化できるようになりました。

soleamiが作成するチャートには次の種類があります（画面サンプルはこちら）。

• トップ10
  毎月のトップ10の人気検索キーワードを集計して表示します。過去12ヶ月間までさかのぼって表示できるので、検索キーワードの季節変動も読み取れます。
• トレンド1000
  上位1,000位までの検索キーワードの過去12ヶ月間の傾向が折れ線グラフで表示されます。さらにその検索キーワードと一緒に検索された副キーワードのトップ20が棒グラフで表示されます。
• 0件ヒット
  「0件ヒット」を起こしたクエリ（検索結果を表示できなかったクエリ）の過去12ヶ月間の検索回数が棒グラフで表示されます。「0件ヒット」の発生はサイト訪問者の検索ニーズに応えられなかったことを示します。0件ヒットを減らすことは、サイト訪問者の満足度を高め、ECサイトではコンバージョン率の向上に寄与します。

soleami開発チームは今後も開発を継続し、クエリログをさまざまな切り口から視覚化できるように機能を向上させていきたいと考えています。

soleamiの名前の由来

soleamiは“ami du soleil”（太陽の友人）というフランス語からの造語です。solarと一字違いのSolrにはもともと太陽の意味がありました。soleamiをSolrの友達のように常にそばに置いて使ってもらいたいという願いが込められています。

Apache Solrについて

オープンソース・ソフトウェアを開発・管理する非営利団体Apache Software Foundationが開発しているOSSの検索エンジンです。SolrはHadoopの創始者であるDoug Cutting氏が開発したApache Luceneをベースにしています。
http://lucene.apache.org/solr/

株式会社ロンウイットについて

Apache Lucene/Solrを企業・学校等に導入する支援事業を展開しています。Solrの導入時コンサルティングの他、Solrの教育サービスやサポートサービスなども提供しています。代表の関口はApache Lucene/Solrのコミッターも務めています。
http://www.rondhuit.com/

Cloudera 田澤孝之 さん

トレーニングコース受講の動機

トレーニングコースを受講しての感想

HadoopとSolrの今後について

ユニバーサルナレッジについて

ユニバーサルナレッジ 勝又尚人さん

トレーニングコース受講の動機

トレーニングコースを受講しての感想

2011 年11 ⽉に検索サービスをリニューアルし、さらにユーザー・フレンドリーなEC サイトとして新しいスタートを切ったセブンネットショッピングは、OSSの検索エンジンSolr/Luceneと形態素解析器lucene‐gosenを採⽤しています。開発に携わった株式会社セブンインターネットラボの技術者の皆様に取材にご協力いただきました。

• trunk
• 7.0.23 以前
• 6.0.35 以前

Webサーバ接続によるクロールの特長

準備

1. 「Apache ManifoldCF -セットアップ-」に記載されているセットアップ作業を実施します。
   
2. クロール対象のWebサーバを用意します。今回の例では、ロンウイットのダウンロードページをクロールします。
3. HTMLがあり、MS Officeファイル、PDFファイルなどがリンクされています。

ManifoldCFの管理画面

• アウトプット　→　Solr
• オーソリティ　→　Null
• レポジトリ　→　Web

　http://localhost:8345/mcf-crawler-ui

Solrの管理画面

　http://localhost:8983/solr/admin

http://localhost:8983/solr/select/?q=*:*&fl=id,text&start=0&rows=20