每当您向语音助手询问天气、将电子邮件分类到垃圾邮件文件夹或看到聊天机器人在几秒钟内回答您的问题时，您都在见证自然语言处理的实际应用。 NLP 是人工智能的一个分支，它赋予机器阅读、解释和响应人类语言的能力。它位于计算机科学、语言学和机器学习的交叉点，是当今人工智能发展最快的领域之一。在本指南中，我们将详细介绍自然语言处理是什么、它的幕后工作原理，以及为什么它对任何对未来技术感兴趣的人都很重要。
从本质上讲，自然语言处理是一种允许计算机按照我们实际使用的方式理解人类语言的技术，包括其混乱、模糊性和上下文。将 NLP 视为一座桥梁。一方面，你拥有人类语言：丰富、细致、充满俚语、讽刺和文化参考。另一方面，你有计算机：功能强大但字面意思，需要精确的指令才能运行。 NLP 是连接这两个世界的桥梁。
如果没有 NLP，计算机会将“Apple 发布了新产品”这句话视为一串字符。它不知道“苹果”是指水果公司还是科技公司。自然语言处理为机器提供了根据从大量文本数据中学习到的上下文、语法和模式来解决这个问题的工具。
要点： NLP 是一门人工智能学科，教导机器阅读、理解和生成人类语言。这就是为什么你的手机可以自动完成你的句子，并且即使你拼错了一个单词，你的搜索引擎也知道你的意思。
自然语言处理通过一系列步骤进行。原始文本进入，结构化的、有意义的信息就会出现。虽然现代系统通常将这些步骤组合成一个神经网络，但了解每个阶段可以让您清楚地了解幕后发生的事情。
一般流程如下：输入文本→预处理→语言分析→输出（分类、翻译、摘要等）
让我们逐步了解关键阶段。
标记化是几乎每个 NLP 流程的第一步。这是将文本分解为称为标记的更小片段的过程。这些标记可以是单词、子单词，甚至单个字符，具体取决于方法。
例如这句话：
"The cat sat on the mat."
被标记为：
["The", "cat", "sat", "on", "the", "mat", "."]
为什么这很重要？因为计算机无法将整个句子作为单个对象进行处理。他们需要离散的单位来工作。将标记化想象成切片面包。你不能用整条面包来做三明治。您需要单独的切片来构建有用的东西。
现代分词器，就像大型语言模型中使用的分词器一样，通常将单词分割成子词单元。 “不快乐”这个词可能会变成["un", "happi", "ness"]。这可以帮助模型通过组合熟悉的单词来处理罕见或不熟悉的单词。
文本标记化后，下一步通常是词性 (POS) 标记。这意味着用其语法角色来标记每个标记：名词、动词、形容词、副词等等。
就拿这句话来说：“她很快就打开了那扇沉重的门。”
词性标注器会将其标记为：
|词|标签 | |--------|------------| |她|代词| |快点|副词| |打开|动词| | | 的 |文章| |重|形容词| |门|名词|
这一点至关重要，因为同一个词可以扮演不同的角色。 “书”可以是名词（“我读了一本书”）或动词（“请预订一张桌子”）。词性标记有助于系统解决这种歧义，这对于翻译或问答等下游任务至关重要。
命名实体识别是对文本中的专有名词和特定项目进行识别和分类的任务。 NER 挑选出人员、组织、地点、日期、货币价值等。
给定句子：“Marie Curie won the Nobel Prize in Paris in 1903”，NER 系统将识别：
NER 是许多实际应用的支柱。它允许搜索引擎在您输入城市名称时提取地图，或者让客户服务机器人从您的消息中提取订单号。
情感分析确定一段文本背后的情感基调。产品评论是正面、负面还是中立？推文表达的是喜悦、愤怒还是沮丧？
例如：
情感分析是最具商业价值的 NLP 任务之一。企业使用它来监控品牌声誉，大规模分析客户反馈，并在问题升级之前检测到新出现的问题。
关键要点： NLP 管道将语言分解为可管理的片段（标记化）、识别语法结构（词性标记）、提取关键信息 (NER) 以及衡量意见或情感（情感分析）。每一步都建立在最后一步的基础上，将原始文本转化为可操作的见解。
自然语言处理领域发展迅速。以下是从基础到前沿的主要技术。
词袋模型是用数字表示文本的最简单方法之一。它计算每个单词在文档中出现的频率，完全忽略语法和词序。想象一下，将一个段落的所有单词倒入一个袋子中，摇晃它，然后数一下你发现了什么。你失去了顺序，但你仍然大致了解文本的内容。多次提到“食谱”、“烤箱”和“面粉”的文档可能是关于烘焙的。
TF-IDF 通过根据单词的重要性对单词进行加权来改进词袋。在一个文档中频繁出现但在所有文档中很少出现的单词会获得高分。像“the”和“is”这样的常用词得分很低，因为它们无处不在。可以这样想：如果班级里的每个学生都穿牛仔裤，那么牛仔裤就无法告诉你任何个人的信息。但如果只有一个学生戴红帽子，那顶帽子就是一个强有力的标识符。 TF-IDF 的工作原理相同。
词嵌入将单词表示为多维空间中的密集数值向量。与词袋不同，嵌入捕获含义。具有相似含义的单词最终会在这个空间中靠近在一起。例如，“国王”和“女王”会彼此靠近，而“国王”和“自行车”会相距很远。
Word2Vec 的著名示例完美地证明了这一点：
king - man + woman ≈ queen
对词向量的算术表明该模型已经学习了概念之间的关系。嵌入彻底改变了自然语言处理，因为它们为机器提供了一种方式来理解“快乐”和“快乐”是相关的，即使它们没有相同的字母。
Transformer 是现代 NLP 突破背后的架构。 2017 年具有里程碑意义的论文《Attention Is All You Need》中提出，Transformers 使用一种称为“自注意力”的机制来同时权衡句子中每个单词相对于其他单词的重要性。
以前的模型按顺序处理单词，一个接一个，就像从左到右阅读一个句子一样。变形金刚同时处理所有单词，更像是一眼就能看到整幅画。这种并行处理使它们更加高效，并且能够更好地捕获文本中的远程依赖关系。例如，在句子“狗追赶的猫跑上树”中，变压器可以将“猫”连接到“跑”，即使有几个单词将它们分开。
BERT、GPT 和 T5 等模型都是基于 Transformer 架构构建的，它们为从搜索引擎到人工智能写作助手的一切提供支持。
要点： NLP 技术的范围从简单的字数统计（词袋）到复杂的神经架构（变压器）。每一代技术都使机器更接近于真正理解语言，而不仅仅是表面上的模式匹配。
自然语言处理不仅仅是一项学术活动。它嵌入到您每天使用的产品和服务中。
聊天机器人和虚拟助理。 当您向 Siri、Alexa 或 Google Assistant 询问问题时，NLP 会将您的语音转换为文本、解释含义并生成相关响应。现代聊天机器人使用基于变压器的模型来进行自然且上下文感知的对话。
机器翻译。 Google Translate 等服务使用 NLP 将文本从一种语言转换为另一种语言。现代神经机器翻译模型可以同时处理整个句子，保留上下文并生成听起来比过去逐字方法自然得多的翻译。
搜索引擎。 当您在搜索引擎中输入“我附近的最佳远足路线”时，NLP 会帮助引擎理解您的意图，而不仅仅是字面意思。它知道您想要基于位置的结果，按质量排名，可能还有评论。
电子邮件过滤。 您收件箱的垃圾邮件过滤器使用 NLP 来分析传入邮件的内容并确定它们是合法的还是垃圾邮件。它会查找表明垃圾邮件或网络钓鱼尝试的语言、发件人信息和措辞模式。
医疗保健。 在医疗领域，NLP 用于从临床记录、研究论文和患者记录中提取信息。它可以识别药物相互作用，标记潜在的诊断，并帮助研究人员筛选数千项研究以找到相关发现。
社交媒体监控。 品牌和组织使用 NLP 实时分析数百万条社交媒体帖子。情感分析、话题发现、趋势识别，帮助他们了解舆情、快速应对危机。
内容推荐。 流媒体平台和新闻聚合器使用 NLP 来分析文章、描述和评论的文本，以推荐符合您的兴趣和阅读历史的内容。
这三个术语相关但又不同。了解差异有助于澄清每个差异的范围。
自然语言处理 (NLP) 是最广泛的术语。它涵盖了处理人类语言的所有计算技术，包括理解和生成。
自然语言理解 (NLU) 是 NLP 的一个子集，专门专注于理解。 NLU 是指机器真正掌握文本的含义、意图和上下文。当虚拟助手明白“我很冷”意味着你想要打开恒温器时，NLU 就在工作了。
自然语言生成 (NLG) 是另一个子集，专注于从结构化数据生成人类可读的文本。当天气应用程序将原始温度数据转换为句子“预计阳光明媚的下午，最高温度接近 75°F”时，这就是 NLG。
可以这样想：NLP是整个领域，NLU是“听和理解”方面，NLG是“说和写”方面。
要点： NLP 是总括术语。 NLU 处理理解（输入），NLG 处理生成（输出）。它们共同使机器能够与人类进行充分的对话。
自然语言处理的未来正在由几个强大的趋势塑造。
大型语言模型 (LLM)。 GPT-4、Claude 和 Gemini 等模型已经证明，使用大量训练数据扩展 Transformer 架构可以产生卓越的语言能力。这些模型可以撰写论文、生成代码、总结文档并回答复杂的问题。尽管研究人员也在探索使更小模型更高效的方法，但更大、更强大模型的趋势并没有放缓的迹象。
多模式人工智能。 下一个前沿是将文本与图像、音频和视频相结合的模型。多模态系统可以描述照片中发生的情况、回答有关图表的问题或根据文本描述生成图像。这种融合意味着 NLP 正在从文本扩展到对世界更丰富、更综合的理解。
挑战：偏见和幻觉。 尽管取得了进展，但仍然存在重大挑战。 NLP 模型从人类生成的数据中学习，这意味着它们可以吸收并放大该数据中存在的偏差。用有偏见的文本训练的模型可能会产生有偏见的输出，从而使刻板印象或歧视永久化。此外，大型语言模型有时会“产生幻觉”，生成听起来自信但实际上不正确的文本。通过更好的培训数据、评估方法和透明度来解决这些问题是正在进行的研究中最重要的领域之一。
民主化。 用于构建 NLP 应用程序的工具和框架变得越来越容易使用。 Hugging Face Transformers、spaCy 和 NLTK 等开源库意味着学生、研究人员和小型团队可以构建强大的 NLP 系统，而无需大量预算。这种民主化正在加速创新，并将 NLP 功能引入新的行业和用例。
自然语言处理是人工智能最令人兴奋和实用的领域之一。无论您是想构建聊天机器人、分析文本数据，还是只是想了解塑造现代世界的技术，学习 NLP 都是一项回报丰厚的投资。
如果您刚刚开始，AI Seeds 计划 是完美的基础。它涵盖了人工智能的核心概念，包括机器如何从数据中学习以及 NLP 如何融入更广泛的人工智能领域。在深入研究代码之前，您将构建所需的心理模型。
准备好动手了吗？前往我们的**实验实验室**，在这里您可以尝试实时情绪分析器、对真实文本进行标记，并查看正在运行的 NLP 管道，所有这些都可以通过您的浏览器进行。
当您准备好深入了解时，请探索我们的**完整的程序目录**，涵盖机器学习、深度学习、计算机视觉等。
让机器理解人类语言的能力是我们这个时代的决定性成就之一。现在是开始学习它的工作原理以及如何使用它进行构建的最佳时机。
要点： NLP 适合初学者，并且学习起来非常有益。从基本概念开始，尝试真实的工具，然后逐步发展到高级项目。 AI Educademy 社区随时为您提供每一步的支持。