文本数据是数据分析和机器学习中最常用的数据类型之一。 然而,文本数据往往是杂乱无章的,需要清洗和预处理才能被有效分析。 Pandas 是一个强大的 Python 数据分析库,它提供了一个方便的 str 访问器来帮助您清理和操作文本数据。
Pandas 中的 str 访问器提供了许多有用的字符串操作,可以应用于 Pandas 系列的每个元素。 这些操作包括字符串拆分、连接、替换等。 在这里,我们将了解一些最有用的 str 操作,它们可以帮助您清理和操作文本数据。
让我们从使用文本数据创建示例数据框开始:
import pandas as pddata = {'text_column': ['this is a text', 'an example', 'of text data', 'in pandas']}df = pd.DataFrame(data)print(df)
输出
text_column0 this is a text1 an example2 of text data3 in pandas
有时,文本数据可能包含混合大小写字符,这会导致难以分析和比较。 str 访问器提供了一个 lower() 方法来将所有字符转换为小写。
df['text_column'] = df['text_column'].str.lower()print(df)
输出
text_column0 this is a text1 an example2 of text data3 in pandas
文本数据可能包含不需要的字符,如空格、制表符或换行符。 str 访问器提供了 strip() 方法来从系列中每个字符串的开头和结尾删除这些字符。
df['text_column'] = df['text_column'].str.strip()print(df)
输出:
text_column0 this is a text1 an example2 of text data3 in pandas
str 访问器还提供了一种 replace() 方法,用于在系列的每个元素中用一个字符串替换另一个字符串。 当您想要替换文本数据中的特定单词或字符时,这很有用。
df['text_column'] = df['text_column'].str.replace('text', 'string')print(df)
输出:
text_column0 this is a string1 an example2 of string data3 in pandas
此功能可用于从文本中提取特定模式。 extract() 函数将正则表达式模式作为参数,并返回一个或多个匹配项作为新的 DataFrame 列。 让我们看一个例子:
import pandas as pd#创建示例 DataFramedf = pd.DataFrame({'text': ['I love cats!', 'Dogs are the best', 'I love dogs and cats']})# 使用 extract() 函数提取“love”这个词df['love'] = df['text'].str.extract(r'(\w+)\s(\w+)')# Check the DataFrameprint(df)
这将产生以下输出:
text love0 I love cats! love1 Dogs are the best NaN2 I love dogs and cats love
此函数可用于根据指定的分隔符将文本拆分为多个部分。 split() 函数返回从原始文本中拆分出来的子字符串列表。 让我们看一个例子:
import pandas as pd#创建示例 DataFramedf = pd.DataFrame({'text': ['I love cats!', 'Dogs are the best', 'I love dogs and cats']})# 使用 split() 函数将文本拆分为单词df['text'] = df['text'].str.split()# Check the DataFrameprint(df
这将产生以下输出:
text0 [I, love, cats!]1 [Dogs, are, the, best]2 [I, love, dogs, and, cats]
如您所见,split() 函数已将文本拆分为单词并返回子字符串列表。
在文本数据中,我们经常会有很多与分析无关的标点符号和特殊字符。 要删除它们,我们可以使用 str.translate() 方法和 str.maketrans() 方法。
import string#创建特殊字符和标点符号到 None 的映射translator = str.maketrans('', '', string.punctuation)# 将翻译器应用于文本列df['text'] = df['text'].str.translate(translator)
停用词是对文本意义不大的常用词,通常会被删除以简化分析。 要删除停用词,我们可以使用 nltk 库。
import nltkfrom nltk.corpus import stopwords# 下载停用词语料库nltk.download('stopwords')# 获取停用词列表stop_words = set(stopwords.words('english'))# 从文本列中删除停用词df['text'] = df['text'].apply(lambda x: ' '.join([word for word in x.split() if word not in stop_words]))
词干提取和词形还原是两种重要的 NLP 技术,用于将单词简化为基本形式。 它们有助于简化文本数据并使其更易于分析。
词干提取是将单词简化为基本形式或词根形式的过程。 它涉及删除词的后缀或词尾以得到词根。 例如,“running”、“runner”和“ran”都使用词干提取法简化为词根形式“run”。
另一方面,词形还原是使用基于字典的方法将单词简化为基本形式的过程。 与词干提取不同,词形还原考虑单词的上下文并将它们映射到最有意义的基本形式。 例如,“running”将简化为“run”,“is”将简化为“be”。
词干提取和词形还原都有各自的优点和缺点,它们之间的选择取决于用例。 词干化更快更简单,但词形还原更准确并产生更有意义的基本形式。
要在 Pandas 中对文本进行词干化或词形还原,我们可以使用 nltk 库。 以下是如何使用 nltk 执行词干提取的示例:
import nltkfrom nltk.stem import PorterStemmer# 初始化词干分析器stemmer = PorterStemmer()# 定义一个函数来阻止文本def stem_text(text): return ' '.join([stemmer.stem(word) for word in text.split()])# 将词干提取功能应用于文本列df['text_stemmed'] = df['text'].apply(stem_text)
以下是如何使用 nltk 执行词形还原的示例:
import nltkfrom nltk.stem import WordNetLemmatizer#初始化词形还原器lemmatizer = WordNetLemmatizer()# 定义一个函数来对文本进行词形还原def lemmatize_text(text): return ' '.join([lemmatizer.lemmatize(word) for word in text.split()])# 将词形还原函数应用于文本列df['text_lemmatized'] = df['text'].apply(lemmatize_text)
在这两种情况下,词干化或词形化的文本都存储在数据框中的新列中。 这个新列可用于进一步分析或建模。
联系客服