代码之家 › 专栏 › 技术社区 › Anas Laghouaouta

将嵌套的json转换为dict

scrapy web-scraping python

Anas Laghouaouta · 技术社区 · 6 年前

我试着用Scrapy发送下面的Json

{
"version": 1,
"message_type": 104,
"message_id": 14,
"body": [
{
  "message_type": 104,
  "chat_message": {
    "mssg": "hello",
    "message_type": 1,
    "uid": "15373703487091",
    "from_person_id": "5134266921",
    "to_person_id": "3093543561",
    "read": false
  }
}
],
"is_background": false
}

我试过把它硬编码成这样

self.postRequest = {"version":"1",
                    "message_type":"104",
                    "message_id":"18",
                    "body":"[{'message_type':'104','chat_message':{'mssg':'hello','message_type':'1','uid':'15372201045381','from_person_id':'5134266921','to_person_id':'3093543561','read':'false'}}]",
                        "is_background":"false"}

yield FormRequest(url=response.url   , formdata=self.postRequest, callback=self.parse_data,dont_filter=True, headers=self.params, cookies=self.cookies)

我得到http200状态,并显示一条错误消息:Unknown command server\u Unknown\u action。

1 回复 | 直到 6 年前

nyov 6 年前

FormRequest 类用于将数据作为 Content-Type: application/x-www-form-urlencoded . 以POST body形式发送JSON可能意味着您真的想发送 Content-Type: application/json .

为此,请使用普通 Request method 设置为 POST ,和 json.dumps() 你的 self.postRequest Request().body .

yield Request(url=response.url,
              method='POST',
              headers={
                  'Content-Type': 'application/json; charset=UTF-8',
              },
              body=json.dumps(self.postRequest),
              callback=self.parse_data,
              dont_filter=True,
              cookies=self.cookies)

推荐文章

gongarek · Scrapy中附加页的下一页

6 年前

fg42 · 正确安排两个for循环的结果

6 年前

Mrowkacala · 特定网页的刮壳

6 年前

Vacanito · scrapy with::在选择器之前

6 年前

TJ1 · Python Scrapy:在“href”中查找文本

6 年前

nevster · xpath有一个空值,该值会弄乱列表

6 年前

Luis Ramon Ramirez Rodriguez · 使用scrapy代理的ssl握手失败

6 年前

Deba · 无法刮取横幅图像

6 年前

Andre Rumapea · 零碎的工作环境意味着什么?

6 年前

CLPatterson · 在同一Ec2实例上运行Splash server和Scrapy Spider

6 年前