python - mongodb去重
問(wèn)題描述
1.功能里需要根據(jù)有一個(gè)字段來(lái)判斷是否重復(fù),比如叫做ownnerId,凡是存在的就丟棄.于是我用到了distinct這個(gè)方法,但是這段時(shí)間隨著數(shù)據(jù)量逐漸增大,出現(xiàn)了一個(gè)問(wèn)題:
OperationFailure: distinct too big, 16mb cap
這是命令行里邊的錯(cuò)誤,說(shuō)distinct返回的結(jié)果太大了,超過(guò)了16M.請(qǐng)問(wèn)各位高手能否貢獻(xiàn)一些方法.
需求:每次通過(guò)檢查數(shù)據(jù)庫(kù)中ownnerId這個(gè)字段是否出現(xiàn)了,其中數(shù)據(jù)庫(kù)是一直在更新的,而且這個(gè)不存在的ownnerId在一會(huì)處理后就會(huì)存到數(shù)據(jù)庫(kù)中去,所以要求每次判斷都要重新檢查一遍數(shù)據(jù)庫(kù)中這個(gè)ownner字段.因此對(duì)速度的要求也比較高.各位大神瞅瞅,求給個(gè)意見(jiàn).
問(wèn)題解答
回答1:如果我理解的對(duì)的話(huà),是否考慮過(guò)Unique Indexes。
供參考。
Love MongoDB! Have fun!
相關(guān)文章:
1. golang - 用IDE看docker源碼時(shí)的小問(wèn)題2. nignx - docker內(nèi)nginx 80端口被占用3. javascript - vue使用videojs+videojs-contrib-hls報(bào)錯(cuò)4. io - java 文件操作,如何向指定的位置插入內(nèi)容 (不是替換內(nèi)容) ?5. javascript - JS 里面的 delete object.key 到底刪除了什么?6. javascript - webpack --hot 熱重載無(wú)效的問(wèn)題7. dockerfile - [docker build image失敗- npm install]8. Python 爬蟲(chóng) 遇到的問(wèn)題(手淘問(wèn)大家)9. 關(guān)docker hub上有些鏡像的tag被標(biāo)記““This image has vulnerabilities””10. mysql如何配置遠(yuǎn)程php外網(wǎng)鏈接數(shù)據(jù)庫(kù)
