代码之家 › 专栏 › 技术社区 › tonytone

Pandas将列表列转换为文本数据预处理列

google-colaboratory join pandas python

tonytone · 技术社区 · 4 年前

我有一个如下所示的数据集:

观点	文本
积极乐观的	[‘chewy’、‘what’、‘dhepburn’、‘said’]
中立的	['chewy','plus','you','ve','added']

我想把它转换成:

观点	文本
积极乐观的	切尼·德伯恩说了什么
中立的	你添加的chewy plus

我主要想将由列表组成的“text”列转换为一列文本。

我已经完成了此代码的多个版本:

def joinr(words):
   return ','.join(words)

#df['text'] = df.apply(lambda row: joinr(row['text']), axis=1)
#df['text'] = df['text'].apply(lambda x: ' '.join([x]))
df['text'] = df['text'].apply(joinr)

我不断得到类似的东西:

观点	文本
积极乐观的	[“c h e w y”,“w h a t”,“d h e p b u r n”,“s a i d”]
中立的	[“c h e w y”,“p l u s”,“y o u”,“v e”,“a d d e d”]

这是ML模型数据预处理的一部分。我在Google Colab工作(类似于Juypter笔记本)。

2 回复 | 直到 4 年前

ArchAngelPwn 4 年前

我相信你的问题是轴=1你不需要它

data = {
    'sentiment' : ['positive', 'neutral'],
    'text' : ["['chewy', 'what', 'dhepburn', 'said']", "['chewy', 'plus', 'you', 've', 'added']"]
}
df = pd.DataFrame(data)
df['text'] = df['text'].apply(lambda x : x.replace('[', '')).apply(lambda x : x.replace(']', '')).apply(lambda x : x.replace("'", ''))
df['text'] = df['text'].apply(lambda x : x.split(','))
df['text'] = df['text'].agg(' '.join)
df

keramat 4 年前

使用 join :

df['test'].str.join(' ')

演示:

df = pd.DataFrame({'test': [['chewy', 'what', 'dhepburn', 'said']]})
df['test'].str.join(' ')

输出:

0    chewy what dhepburn said
Name: test, dtype: object

根据评论:

#Preparing data
string = """sentiment   text
positive    ['chewy', 'what', 'dhepburn', 'said']
neutral ['chewy', 'plus', 'you', 've', 'added']"""
data = [x.split('\t') for x in string.split('\n')]
df = pd.DataFrame(data[1:], columns = data[0])

#Solution
df['text'].apply(lambda x: eval(x)).str.join(' ')

此外,您可以更简单地使用:

df['text'].str.replace("\[|\]|'|,",'')

输出:

0    chewy what dhepburn said
1     chewy plus you ve added
Name: text, dtype: object

mozway 4 年前

如果有列表的字符串表示,则可以使用:

from ast import literal_eval

df['text'] = df['text'].apply(lambda x: ' '.join(literal_eval(x)))

如果确实只想删除括号和逗号,请使用正则表达式:

df['text'] = df['text'].str.replace('[\[\',\]]', '', regex=True)

输出:

  sentiment                      text
0  positive  chewy what dhepburn said
1   neutral   chewy plus you ve added

推荐文章

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

1 年前

Cam · Pandas列表日期到日期时间

1 年前

jjkennedy · Pandas文本文件导入:当每个文件中存在多个表时,自动选择1个表

1 年前

Sun Jar · 在另一个系列中查找当前df值的索引,并将其添加到列中

1 年前

dietzi96 · Pandas DataFrame.to_sql随机和静默地失败,没有错误消息

1 年前

Bijan · Pandas批量更新帐户字符串

1 年前

Kernel · TypeError:Index.reindex()收到意外的关键字参数fill_value'

1 年前

Kernel · 进入熊猫的定义。系列super().reindex

1 年前

adventurous_chip_55 · 如何引爆柱子

1 年前

RKIDEV · Panda迭代行并将第n行值乘以下一(n+1)行值

1 年前