Splunk 如何避免重复索引同一个日志文件？

How does Splunk avoid the duplicate indexing of logs?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Splunk 索引机制, 去重

标签: splunk, duplicate-indexing, fishbucket, crc, seek-pointer

参考答案摘要

TL;DR Splunk 在 Indexer 端通过 Fishbucket 目录记录已索引文件的 seek pointers 和 CRC，用于判断某文件是否已被读取，避免重复索引。 默认位置 /opt/splunk/var/lib/splunk 机制说明 Fishbucket 保存文件的读取位置（seek pointers）和 CRC 校验值，因此 Splunk 可以识别是否已经处理过该文件。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。