我正在從網站上提取數據。正在拖動的數據已被查看。當向第一頁發出請求時,收到一個包含nextCursor
的響應。該光標必須用於獲取第2頁的結果。每個頁面請求需要nextCursor
。使用承諾和循環?
我努力實現這個使用Promise,因爲我找不到任何方式循環。這是我認爲它的工作原理沒有承諾(未測試,但它證明了我想要做的):
let nextCursor = argv.initalCursor
do {
let r = request('http://example.com/items.php?cursor=' + nextCursor, function(err, resp, body) {
if(err) throw new Error(err)
// Do something with the data
nextCursor = JSON.parse(body)['nextCursor']
})
} while(nextCursor)
正如你所看到的迭代循環中的數量是未知的。它將循環,直到響應中沒有nextCursor
。
我想要做的是使用Promise實現這個。除了我不知道如何創建一個以類似方式工作的循環,因爲每個請求都依賴於最後一個請求。
這將如何使用承諾工作?
這是我當前的解決方案,當return self.cursorRequest
時失敗。該腳本只是停止執行。
'use strict'
let Promise = require('bluebird')
let _ = require('lodash')
class Event {
constructor(session) {
this.session = session
this.scrapedIDs = [] // I don't like this!
}
parseGuestsAndCursor(json, guestType) {
let ids = json['payload'][guestType]['sections'][2][1].map(function(user) {
return user['uniqueID']
})
return {
ids: _.uniq(ids),
cursor: json['payload'][guestType]['cursor']
}
}
cursorRequest(cursor, eventID, guestType) {
let self = this
return new Promise(function(resolve, reject) {
let url = `https://example.com/events/typeahead/guest_list/?event_id=${eventID}&tabs[0]=${guestType}&order[${guestType}]=affinity&bucket_schema[${guestType}]=friends&cursor[${guestType}]=${cursor}&dpr=1&__user=${self.session.uid}&__a=1`
self.session.request(url, function(err, resp, body) {
if(err) reject(err)
let json
try {
json = JSON.parse(body.substring(9))
} catch(err) {
reject(err)
}
resolve(self.parseGuestsAndCursor(json, guestType))
})
})
}
members(eventID, limit, guestType) {
let self = this
let ids = []
return new Promise(function(resolve, reject) {
let url = `https://example.com/events/typeahead/guest_list/?event_id=${eventID}&tabs[0]=watched&tabs[1]=going&tabs[2]=invited&order[declined]=affinity&order[going]=affinity&order[invited]=affinity&order[maybe]=affinity&order[watched]=affinity&order[ticket_purchased]=affinity&bucket_schema[watched]=friends&bucket_schema[going]=friends&bucket_schema[invited]=friends&bucket_schema[ticket_purchased]=friends&dpr=1&__user=${self.session.uid}&__a=1`
self.session.request(url, function(err, resp, body) {
if(err) reject(new Error(err))
let json, guests
try {
json = JSON.parse(body.substring(9))
guests = self.parseGuestsAndCursor(json, guestType)
} catch(err) {
reject(err)
}
self.cursorRequest(guests.cursor, eventID, guestType).then(function(guests) {
self.scrapedIDs.concat(guests.ids).map(function(user) {
return user['uniqueID']
})
if(guests.cursor) {
return self.cursorRequest(guests.cursor, eventID, guestType)
}
else {
resolve(self.scrapedIDs)
}
})
})
})
}
}
module.exports = Event
我看不出有任何的承諾存在一樣。 –
@ T.J.Crowder沒有,因爲我不確定如何實現我正在嘗試使用promise做什麼。這就是爲什麼我要問,這種事情會如何兌現承諾?我不需要解決方案,只需指向任何可以提供幫助的資源。 – BugHunterUK
您希望承諾等到解決之前檢索所有數據爲止? –