zoukankan      html  css  js  c++  java
  • Solr6.6.0 用 SimplePostTool索引文件

      一、背景介绍

        Solr启动并运行之后,并不包含任何数据,在solr的安装目录下的bin目录中,有一个post工具,我们可以使用这个工具往solr上传数据,这个工具必须在命令行中执行,post工具是一个Unix脚本工具,

        没有windows版本(但可以在java程序中调用),我们可以使用SimplePostTool来代替 参考:https://cwiki.apache.org/confluence/display/solr/Post+Tool#PostTool-Windows

      

      二、系统配置:

        SimplePostTool工具是一个jar包(post.jar),在%SOLR_HOME%exampleexampledocs目录下

        这个工具可以直接运行在支持的环境中(包括Windows),使用如下命令运行:

        java -jar example/exampledocs/post.jar

        

        

        我们可以查看帮助以获得该工具的更多信息,如:上传文件(本地或网络文件夹)到Solr服务器、直接向Solr发送命令等,如下图:

        java -jar example/exampledocs/post.jar –h

        java [SystemProperties] -jar post.jar [-h|-] [<file|folder|url|arg> [<file|folder|url|arg>...]]

        

      三、参数介绍

        

          支持的系统属性及其默认值:

            1、-Dc=<core/collection>

            2、-Durl=<base Solr update URL> (overrides -Dc option if specified)

              -Durl=solr的Url地址(如:http://127.0.0.1:8983/solr),该参数会覆盖-Dc参数,以上两个参数必须指定其中的一个,因为必须指定url/core/collection参数

            3、-Ddata=files|web|args|stdin (default=files)  ,该参数指定上传到Solr服务器的数据,默认为files (即文件):

              files:本地资源,在命令行参数中指定文件或文件夹(<file|folder|url|arg>);

              web:网络资源,在命令行参数中指定的URL地址(<file|folder|url|arg>);

              args:命令行参数指定的字符串(<file|folder|url|arg>);

              stdin:标准输入,在命令行中通过”<”符号指定输入流(如文件输入流);

            4、-Dtype=<content-type> (default=application/xml)  文件类型,默认是xml

            5、-Dhost=<host> (default: localhost)  ,solr服务器地址

            6、-Dport=<port> (default: 8983)  ,solr服务器端口默认是8983

            7、-Dbasicauth=<user:pass> (sets Basic Authentication credentials)

            8、-Dauto=yes|no (default=no)  ,SimplePostTool工具是否进入自动模式,自动模式下,会将-Ddata数据转换成相应的内容类型,切会忽略-Dtype参数

              假设D:workSolrsolr-6.6.0doctest目录下有一个文件:index.html

              java -Dauto=no -Dc=gettingstarted -jar post.jar ..doctest/   

              失败

              

              

              java -Dauto=yes -Dc=gettingstarted -jar post.jar ..doctest/       

              成功

              

            9、-Drecursive=yes|no|<depth> (default=0):递归

              现在在D:workSolrsolr-6.6.0doctest目录下建一个test文件夹,该文件夹下有一个文件

              执行命令:java -Dauto=yes -Drecursive=no -Dc=gettingstarted -jar post.jar ..doctest/    没有进行递归,所以只索引了一个文件

              

              执行命令:java -Dauto=yes -Drecursive=yes -Dc=gettingstarted -jar post.jar ..doctest/    进行了递归,所以索引了2个文件

              

              10、-Ddelay=<seconds> (default=0 for files, 10 for web):延迟,单位是秒

              11、-Dfiletypes=<type>[,<type>,...] (default=xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log) :文件类型

              12、-Dparams="<key>=<value>[&<key>=<value>...]" (values must be URL-encoded):过滤参数

              13、-Dcommit=yes/no (default=yes):自动提交

              14、-Doptimize=yes/no (default=no):优化

              15、-Dout=yes/no (default=no)

        

      四、文件索引

        首先启动solr

        solr start -e cloud -noprompt

        

        1、xml文件索引

          java -Dc=gettingstarted -jar post.jar ..exampleexampledocs*.xml

          

        2、json文件索引

          java -Dtype=application/json -Dc=gettingstarted -jar post.jar ..exampleexampledocs*.json

          

        3、CSV文件索引

          java -Dtype=text/csv -Dc=gettingstarted -jar post.jar ..exampleexampledocs*.csv

           

         4、各种文件索引(包含多种文件)

           java  -Dauto=yes -Dc=gettingstarted -jar post.jar ..exampleexampledocs*.*

          注意要加上:-Dauto=yes 

          

      五、浏览索引文档

        您可以浏览http:// localhost:8983 / solr / gettingstarted / browse索引的文档。 /浏览UI可以让您了解Solr的技术能力如何在熟悉的,尽管有些粗略和原型的交互式HTML视图中进行工作。

      (/浏览视图默认为假设启动的模式和数据是结构化XML,JSON,CSV示例数据和非结构化富文档的全部混合,您自己的数据可能看起来不太理想,尽管/浏览模板是定制的。)

        http://localhost:8983/solr/gettingstarted_shard1_replica1/browse

        

         

  • 相关阅读:
    Splay复习
    带权并查集复习-HDU3038
    罗素悖论-图灵停机问题
    数独解法c++实现
    状压DP NOI2001 炮兵阵地
    区间第k大数
    分块随笔T2
    分块感想
    webkit的高级属性
    设计模式
  • 原文地址:https://www.cnblogs.com/shaosks/p/7390523.html
Copyright © 2011-2022 走看看