Lucidworks保存solr格式未知字段

我正在製作spark java腳本。我需要使用Lucidworks（從一個數據幀）的數據插入到Solr的集合 - 火花Solr的工具（https://github.com/lucidworks/spark-solr）Lucidworks保存solr格式未知字段

我的schema.xml：

<schema name="MY_NAME" version="1.6"> 
    <field name="_version_" type="long" indexed="true" stored="true" /> 
    <field name="_root_" type="string" indexed="true" stored="false" /> 
    <field name="ignored_id" type="ignored" /> 
    <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /> 
    <field name="age" type="int" indexed="true" stored="true" required="false" multiValued="false" /> 
    <field name="height" type="tlong" indexed="true" stored="true" required="false" multiValued="false" /> 
    <field name="name " type="string" indexed="true" stored="true" required="false" multiValued="false" /> 

    <fieldType name="string" class="solr.StrField" sortMissingLast="true" /> 
    <fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0" /> 
    <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0" /> 
    <fieldType name="tlong" class="solr.TrieLongField" precisionStep="8" positionIncrementGap="0" /> 
    <fieldType name="ignored" stored="false" indexed="false" multiValued="true" class="solr.StrField" /> 

    <uniqueKey>id</uniqueKey> 
</schema>

我的數據框：

DataFrame df = sqlContext.sql("SELECT id, age, height, name FROM TABLE");

df.show（）給出：

+--------------------+-----------+------+------+ 
|     id|  age|height|name | 
+--------------------+-----------+------+------+ 
|12345678912345678...|   10| 101|hello|

但是當我嘗試插入我的Solr收集與：

df.write() 
.format("solr") 
.option("collection", MY_COLLECTION) 
.option("zkhost", MY_ZKHOST) 
.save()

我有以下錯誤：

Caused by: org.apache.solr.client.solrj.impl.HttpSolrClient$RemoteSolrException: Error from server at http://MY_IP/solr/MY_COLLECTION_SHARD_REPLICA: ERROR :[doc=123456789123456789] unknown field '_indexed_at_tdt'

我不明白的地方現場「_indexed_at_tdt」的由來。

DataFrame似乎是正確的，只有我想要插入的4個字段，但由於這個未知字段「_indexed_at_tdt」，我仍然無法在我的Solr集合中插入。

更多信息：我有一個HBase索引器，它插入相同的集合並正在工作。

在此先感謝您的幫助！

來源

2017-04-12 Drakax

正如你所看到的here似乎這個字段是由Lucidworks代碼自動添加的。

你應該通訊員場只需添加到架構，也將努力：

<field name="_indexed_at_tdt" type="tdate" indexed="true" stored="true" required="false" multiValued="false" />

或者，如果你願意讓動態的* _tdt。

來源

2017-04-12 15:14:54 Persimmonium

謝謝！我添加了該字段，現在正在工作 – Drakax

Lucidworks保存solr格式未知字段

回答

相關問題