在外部網站上運行MTurk HIT

我正在實施一個網站，其中招募的MTurk工作人員將執行任務。我計劃招募使用MTurk任務的工作人員，使用這些工作我將把他們重定向到外部網站以進行實際工作。我有以下有關這個計劃的問題。在外部網站上運行MTurk HIT

這種運行HIT的方法是否存在可預見的問題？如果是這樣，我們如何減輕它們？
我應該如何在我的外部網站上實施身份驗證程序？例如，我如何確保前來網站的人執行特定任務確實是同一羣人早前招募的對於此特定任務上的MTurk？
當工作人員完成任務時，我應該如何根據他們的表現將支付程序與MTurk集成？例如，在完成外部網站上的任務後，說員工欠3美元，我是否可以告訴MTurk以編程方式支付他/她的這一數額？

如果這樣的細節很重要，外部站點將使用Python構建。

根據您在使用MTurk方面的經驗和見解，我們將非常感謝您的建議和意見！

來源

2012-05-26 MLister

@DavidJames，謝謝你的回答，它絕對包含一些有用的觀點。我還從其他來源找到了確認代碼方法，並且將與此一致。獲取workerId更麻煩，但我懷疑我可以使用一些Javascript來從請求頁面中選取它... – MLister

您可以嘗試[TurkPrime.com]（https://www.turkprime.com）它提供了許多（如果不是全部的話）你需要的功能 – Jonathan

我正在考慮通過這個爲我的一個類似的項目。我自己也是一名工人。這是我的計劃，我希望它對你有用。（。我還沒有實現它正是基於學術HIT我參加了一個工人）這裏所說：

A.創建一個具有語言就像一個模板：

1. Please open this web site in a new browser window: 
    http://your-url.xyz.blah/tasks/${token} 
2. Read and follow the instructions there. 
3. After completing the task, you will receive a confirmation code. Paste 
    it here: [________]

B.爲您的燃油系統採用機械土耳其人的數據文件中的一些隨機令牌：

1A1B43B327015141 
09F49F2D47823E0C 
B5C49A18B3DB56F4 
4E93BB63B0938728 
CCE7FA60BFEB3198 
...

（生成您的應用程序，這些令牌，它需要相互參照。）

C.您的應用程序中提取日來自URL的令牌，查找任務，並執行所需的任何操作。我個人並不擔心人們絆倒在一個URL上，因爲它是一次性使用令牌。

D.用戶完成外部網站上的任務後，外部應用程序會給出確認碼。確認碼應該是隨機的，不透明的。只有你的應用程序會知道任何特定的代碼是否對應正確或不正確的答案。事實上，如果你願意，正確性甚至可能不是實時確定的 - 這可能是跨多個提交的聚合和/或比較的結果。 E.編寫一些代碼以編程方式進行交互。以MTurk結果提供的令牌和確認碼，並確保它們與您的外部應用程序匹配。如果它們不匹配，則拒絕HIT。如果它們匹配，請檢查外部應用程序的正確性並批准或拒絕。你可能會考慮獎金支付結構。

因此，要回答你的具體問題：

我並不預期與我描述的方法問題。也就是說，Mechanical Turk既是一門藝術，也是一門科學。也許更多的藝術。寫好問題並適當支付Turkers是你必須結合常識，市場研究和實驗才能弄清楚的。
參見上面的（C）。令牌設計爲只能使用一次。使用足夠長的令牌，碰撞概率變得非常低。參見上面的（E）。 Mechanical Turk Developer Guide是一個很好的開始。

請分享您的結果回來。或者讓Turkers發送數百張明信片給StackOverflow。 :)

注：

我目前正在探索資格考試。我懷疑他們可能非常有用。
我想在我的外部應用程序中得到一個Turker的工號，但我還沒有想出那部分。我正在讀它;例如：Getting workerId by assignmentId
我想使用ExternalQuestion功能從API：」 ......你可以承載使用在自己的網站上的問題，‘外部’的問題......一擊與外部問題在工作人員的網絡瀏覽器的框架中顯示來自您網站的網頁，您的網頁顯示工作人員填寫和提交的表單，工作人員使用您的表單提交結果，表格將結果提交給機械土耳其人使用你的網站顯示錶單，可以讓你的網站控制問題出現的方式以及如何收集答案。「

來源

2012-06-13 05:22:57

是否有隨機令牌和確認碼的協議？這些不同的東西？ – knk

@knk我建議爲每個令牌生成一個隨機確認碼，並將兩者都保存在一個數據庫中。（我不確定協議的含義。） –

是您爲每個HIT創建的模板嗎？在mturk上有數據文件的地方，還是在我的服務器上？ – knk

您也可能會發現PsiTurk是有用的：「PsiTurk是亞馬遜的Mechanical Turk進行定製behvioral實驗開放平臺......它旨在提供最運行實驗所需的後端機械它使用AMT的External Question HIT類型，這意味着您可以使用任何網站收集數據，只要您可以將您的實驗變成一個網站，就可以使用PsiTurk來運行它！「

來源

2012-06-13 05:54:59

您可以嘗試[TurkPrime.com]（https://www.turkprime.com），它提供了許多（如果不是全部）您需要的功能 – Jonathan

在外部網站上運行MTurk HIT

回答

相關問題