代码之家 › 专栏 › 技术社区 › Bilal Butt

如何从json文件中获取不同或唯一的字符串行

twitter string regex json python

Bilal Butt · 技术社区 · 7 年前

我有推特的json文件,其中包含以下数据。

ID、全名、文本、时间戳、URL用户、全名、转发等

每个json文件都是唯一的,但在某些json中,['TEXT']字段是相同的。

我想删除那些在['text']字段中包含相同推文的json文件。

下面是我的json文件示例。。两个json都来自不同的用户,但他们推特的文本相同。

    {
  'fullname': 'Ø¢Ø¯Ù',
  'id': '772154564711768064',
  'likes': '5',
  'replies': '0',
  'retweets': '0',
  'text': '#GoNawazGoNawaz\n''This woman has realized the truth....hope nation realizes it ''too.... \n''#PanamaLeaks\n''#GoNawazGoNawazpic.twitter.com/6m7nWgldQp',
  'timestamp': '2016-09-03T19:29:28',
  'url': '/NaikOlad/status/772154564711768064',
  'user': 'NaikOlad'
}{
  'fullname': 'Ø³ÙÙØ§Ù Ø§Ø¹ÙØ§Ù',
  'id': '772156567542231040',
  'likes': '0',
  'replies': '0',
  'retweets': '0',
  'text': '#GoNawazGoNawaz\n''This woman has realized the truth....hope nation realizes it ''too.... \n''#PanamaLeaks\n''#GoNawazGoNawazpic.twitter.com/L2tZUOVs1z',
  'timestamp': '2016-09-03T19:37:26',
  'url': '/SaluBhai420/status/772156567542231040',
  'user': 'SaluBhai420'
}

1 回复 | 直到 6 年前

YakovL Naresh Kumar Nakka 7 年前

import pandas as pd
df1 = pd.Dataframe()
df1 = df1.append(first_tweet_json,ignore_index=True)
df1 = df1.append(second_tweet_json,ignore_index=True)
df1 = df1.drop_duplicates(subset=['text'],keep='last')
print(df1)

推荐文章

lonix · 使用sed从JSON中提取非贪婪正则表达式

1 年前

Ishaan Adarsh · 未知的META规范,无法验证。[规范v1.0.1]

1 年前

Henry · 使用Python将json重新格式化为键值对

2 年前

eymentakak · json字典类型错误:字符串索引必须是整数

2 年前

igbins09 · 在shell bash脚本中使用jq将单行JSON转换为csv

2 年前

Gnome-Improvement713 · POST正文未使用JSON通过cURL发送

2 年前

Julien T-Pro · 如何在python中删除数组对象中的空列表?

2 年前

Vodka · 如何将单个json对象转换为json数组?

2 年前

Alper · 从json转换为数据帧?

2 年前

user19251203 · ReactJs:Uncaught TypeError:无法读取未定义的属性(读取“0”)

2 年前