Tokenizer 的作用是什么？

What is the use of tokenizer?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: easy

分类: Solr, Text Analysis

标签: tokenizer, tokens, token-filters, indexing

参考答案摘要

作用 Tokenizer 用于把文本流拆分成一系列 token（每个 token 是文本中的字符子序列）。生成的 token 会进一步经过 Token Filters（可新增/删除/修改 token），最终 token stream 被用于字段索引。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。