INFORMATION
テクノロジ

Apache ManifoldCF -ファイルサーバのクロール-

今回はApache ManifoldCFのファイルサーバのクロールをご説明します。
今回から、ManifoldCFの管理画面から設定を行い、実際にクロールを実行して動作を確認します。

ファイルサーバ接続によるクロールの特長

 もともとデモ用やテスト用に開発されたため、ローカルサーバが対象でありリモートサーバは対応できないこと、ファイルのセキュリティを考慮していないこと、設定項目が限定的であること、などの制限があります。(なお、このような制限は、次回説明するWindows共有サーバのクロールにはなく、より実践的に利用することができます。)
 逆に言えば、準備がほとんど不要で、管理画面の設定が簡単なのですぐに利用できること、個人用デスクトップクローラ、デスクトップサーチとして利用できること、という特長があります。

準備

  1. 「Apache ManifoldCF -セットアップ-」に記載されているセットアップ作業を実施します。
  2. ManifoldCFがセットアップされたPC、その中にクロール対象のフォルダやファイルを用意します。
  3. ファイルは、テキストファイル、MS Officeファイル、PDFファイルなどを用意します。

ManifoldCFの管理画面

 各コネクタを指定してコネクションを作成し、コネクションをひとつのジョブにまとめます。
 そして、ジョブで各種項目を設定し、実行することでクロールが実行されます。

 今回は、各コネクタを次のように設定します。
 ファイルサーバをクロールしてデータをSolrに渡すという流れです。
  • アウトプット → Solr
  • オーソリティ → Null
  • レポジトリ → File system

1. ManifoldCFの管理画面を表示します。
 http://localhost:8345/mcf-crawler-ui
  

2. List Output Connectionsを選択し、コネクションをAddします。
 Nameに「Solr」(任意)を入力し、Typeに「Solr」を選択します。
 Continueボタンを押してSolrに関する詳細設定が表示されますが
 デフォルトのままで動作するので、変更しません。
 最後にSaveボタンを押します。
  

3. List Authority Connectionsを選択し、コネクションをAddします。
 Nameに「Null」(任意)を入力し、Typeに「Null」を選択します。
 最後にSaveボタンを押します。
  

4. List Repository Connectionsを選択し、コネクションをAddします。
 Nameに「File system」(任意)を入力し、
 Typeに「File system」を選択し、Authorityに「Null」を選択します。
 最後にSaveボタンを押します。
  

5. List all Jobsを選択し、ジョブをAddします。
 Connectionタブで、登録済みコネクションを指定します。
 Outputに「Solr」、Repositoryに「File system」を選択します。
 Continueボタンを押してジョブに関する詳細設定が表示されますが
 ここでは、Pathsタブでクロール対象のフォルダパスを入力しAddします。
 最後にSaveボタンを押します。
  

6. Status and Job Managementを選択します。
 登録済みジョブのStartをクリックして、クロールを実行します。
  
 Refreshをクリックするとでジョブの経過を確認することができます。
 ステータスにDoneが表示されるとクロールのジョブが終了したことになります。

7. SimpleHistoryを選択します。
 レポジトリを選択してContinueボタンを押します。
 ジョブの開始終了、フォルダおよびドキュメントの、アクセスとSolrへの投入状況など
 クロール履歴を確認することができます。
  



Solrの管理画面

 SolrではManifoldCFから渡されてきたデータをインデクシングします。
 すでに前述までの過程でインデクシングが完了しています。
 ここでは、検索を行って内容を確認します。

1. Solrの管理画面を表示します。
 http://localhost:8983/solr/admin
  

2. 画面中央のsearchボタンを押します。
 検索結果が返ってきます。
 textフィールドにファイルのコンテンツが登録されていることを確認します。
 attr_*フィールドにファイル属性が登録されていることを確認します。
  

以上で、ManifoldCFでファイルサーバのクロールを行って、Solrでの検索結果を確認しました。

SolrへのドキュメントのPOSTは、一般的には加工済みXMLファイルをPOSTしたり、
HTTPリクエストに直接入力してPOSTしたり、SolrJを利用したクライアントプログラムを作成したりして、
事前にPOSTするための加工作業が必要となるケースが多いです。
しかし、ManifoldCFを利用すれば、上記のような作業をスキップすることができ、
エクセルやワードやPDFなど、実物のファイルをほぼ自動的にPOSTすることができます。

次回は、Windows共有サーバのクロールをご説明します。


KandaSearch

KandaSearch はクラウド型企業向け検索エンジンサービスです。
オープンAPIでカスタマイズが自由にできます。

  • セマンティックサーチ

    人間が理解するように検索エンジンがテキストや画像を理解して検索できます。

  • クローラー

    検索対象文書を収集するWebクローラーが使えます。

  • 簡単操作のUIと豊富なライブラリー

    検索や辞書UIに加え、定義済み専門用語辞書/類義語辞書やプラグインがあります。

  • ローコードで低コスト導入

    検索UIで使い勝手を調整した後、Webアプリケーションを自動生成できます。

セミナー

企業が検索エンジンを選定する際のポイントから、
実際の導入デモをお客様ご自身でご体験!