我阅读了有关Lucene限制2Gb文档的说明。在Elasticsearch中可以建立索引的文档大小是否还有其他限制?
Lucene内部使用一个字节缓冲区,该缓冲区使用32位整数进行寻址。根据定义,这限制了文档的大小。因此,理论上最大2GB。
在ElasticSearch中:
max http request sizeES GitHub代码中有一个,并将其设置为Integer.MAX_VALUE或2^31-1。因此,基本上, 2GB是通过HTTP进行批量索引的最大文档大小 。此外,ES不会处理HTTP请求,直到它完成为止。
max http request size
Integer.MAX_VALUE
2^31-1
良好做法:
要进一步研究,请参考以下链接:
Elasticsearch索引的性能注意事项
通过HTTP进行批量索引的文档最大大小