第1章 自然语言处理简介
1. pyton总结：
list列表功能
help()和dir（lst）可以了解结构相关函数
strip()删除其尾随空白符
upper()/lower()改变字符串大小写
replace()替换目标字符串中子串
正则表达式匹配
字典
利用字典结构获取单词频率：
string="I like you and you like me too!"
word_freq={}
for tok in string.split():
if tok in word_freq:
word_freq[tok]+=1;
else:
word
自然语言处理（Natural Language Processing, NLP）是计算机科学领域的一个重要分支，它涉及人工智能、语言学和计算机科学，旨在让计算机理解、解释和生成人类自然语言。在本章中，我们将对NLP进行初步介绍，并探讨一些基本的Python编程技巧，这对于处理自然语言数据至关重要。
1. Python基础与字符串操作：
- `list`列表是Python中常用的数据结构，可存储多个元素，方便处理文本数据。`help()`和`dir(lst)`函数可以帮助我们查看列表相关的内置方法。
- `strip()`用于移除字符串两端的空白字符，如空格或换行符。
- `upper()`和`lower()`用于将字符串转换为大写或小写，这在不考虑大小写的情况下比较字符串时很有用。
- `replace()`函数用于在字符串中替换特定子串，例如替换某个单词。
- 正则表达式可以用于更复杂的字符串匹配，例如查找和替换特定模式的文本。
- 字典（`dict`）是另一种重要的Python数据结构，可用于存储键值对，如计算单词频率。
2. 网页预处理：
- 在处理网页内容时，我们通常需要去除不必要的HTML标签和其他冗余字符。这里使用了`urllib.request`来获取网页内容，`BeautifulSoup`库解析HTML并提取纯文本。
- `split()`函数用于将文本拆分为单词列表，便于进一步分析。
3. 词频统计：
- 传统方法是手动创建一个字典来记录每个单词出现的次数。遍历单词列表，如果单词已经在字典中，则增加计数，否则添加新条目。
- 使用`nltk`库的`FreqDist`类，可以更简洁地计算词频。`FreqDist`提供了对单词频率的统计和可视化功能，简化了处理流程。
这些基础知识是进行自然语言处理任务的基础，例如文本分类、情感分析、机器翻译等。在后续章节中，我们将深入探讨如何处理文本中的歧义问题以及如何清理这些歧义，这是NLP中尤为关键的一步，因为自然语言往往充满了多义词和上下文依赖性。
在实际应用中，NLP还涉及到更复杂的技术，如词性标注、命名实体识别、句法分析和语义理解。随着深度学习的发展，神经网络模型如LSTM、Transformer等也在NLP中发挥着重要作用。理解并掌握这些基础知识和工具，对于理解和开发自然语言处理系统至关重要。
