文本清洗

文本清洗啊，就好像是你家里有一大堆旧书和笔记，里头有些字看不清了，有些页被涂画得乱七八糟，还有些地方写着无关紧要的东西。你想要把这些书整理得干干净净、整整齐齐的，好方便以后查找和阅读。

在人工智能的世界里，文本清洗也是这么个意思。我们喂给机器学习的那些文字资料（就像你的旧书和笔记），有时候里头会有错别字、多余的空格、奇怪的符号，或者一些跟我们要做的事情完全不相关的内容。文本清洗呢，就是把这些东西都去掉或者改正过来，让数据变得干净、整齐、有用。

比如说，我们有一个关于动物的小故事，但是里面有些错别字，像“狮纸”应该是“狮子”，“喵咪”应该是“猫咪”。文本清洗就是把这些错别字找出来改掉。还有啊，如果故事里夹杂着一些跟动物无关的广告词或者乱码，我们也要把它们删掉。这样，机器在学习的时候就不会被这些乱七八糟的东西干扰啦，就能更好地理解和处理我们想要它学的知识啦！

例子1：去除HTML标签

假设我们有一段文本，里头混着HTML标签，但我们只想要纯文本内容。

import re 
text = "<html><body><p>这是一个<a href='#'>测试</a>文本。</p></body></html>"
cleaned_text = re.sub(r'<[^>]+>', '', text)
print(cleaned_text)

代码逐行分析：

import re：导入Python的正则表达式模块。
text = "<html><body><p>这是一个<a href='#'>测试</a>文本。</p></body></html>"：定义包含HTML标签的文本。
cleaned_text = re.sub(r'<[^>]+>', '', text)：使用re.sub()函数来替换文本。
- r'<[^>]+>'：这是正则表达式，意思是匹配所有尖括号<>内的内容（不包括尖括号本身）。<表示尖括号开始，[^>]+表示一个或多个非尖括号字符（^在字符集[]内表示取反，+表示一个或多个），>表示尖括号结束。
- ''：替换为空字符串，也就是删掉匹配到的内容。
- text：要处理的文本。
print(cleaned_text)：打印清洗后的文本。

例子2：去除特殊符号和表情

假设我们想要去掉文本中的所有特殊符号和表情符号，只留下字母、数字和空格。

import re 
text = "Hello, world!😊 This is a test 123."
cleaned_text = re.sub(r'[^\w\s]', '', text)
print(cleaned_text)

代码逐行分析：

import re：导入Python的正则表达式模块。
text = "Hello, world!😊 This is a test 123."：定义包含特殊符号和表情符号的文本。
cleaned_text = re.sub(r'[^\w\s]', '', text)：使用re.sub()函数来替换文本。
- r'[^\w\s]'：这是正则表达式，意思是匹配所有不是字母、数字或空格的字符。^在字符集[]内表示取反，\w表示字母或数字，\s表示空格。
- ''：替换为空字符串，也就是删掉匹配到的内容。
- text：要处理的文本。
print(cleaned_text)：打印清洗后的文本。

例子3：去除多余的空格

有时候文本中会有连续多个空格，我们想要把它们替换成一个空格。

import re 
text = "Hello    world!    This is  a  test."
cleaned_text = re.sub(r'\s+', ' ', text)
print(cleaned_text)

代码逐行分析：

import re：导入Python的正则表达式模块。
text = "Hello world! This is a test."：定义包含多余空格的文本。
cleaned_text = re.sub(r'\s+', ' ', text)：使用re.sub()函数来替换文本。
- r'\s+'：这是正则表达式，意思是匹配一个或多个空格字符（\s表示空格，+表示一个或多个）。
- ' '：替换为单个空格。
- text：要处理的文本。
print(cleaned_text)：打印清洗后的文本。