本教程的目的是介绍如何使用python连接mongodb数据库,并通过pymongo操作mongodb数据库。
注意:请勿安装“bson”软件包。 pymongo配有自己的bson包; 执行“
pip install bson
”或“easy_install bson
”则会安装与pymongo不兼容的第三方软件包。
使用pip安装
我们建议在所有平台上使用pip来安装pymongo:
c:\users\administrator>python -m pip install pymongo
collecting pymongo
downloading pymongo-3.4.0.tar.gz (583kb)
... ....
installing collected packages: pymongo
running setup.py install for pymongo ... done
successfully installed pymongo-3.4.0
要获得pymongo的特定版本:
$ python -m pip install pymongo==3.1.1
要升级pymongo的版本:
$ python -m pip install --upgrade pymongo
python版本依赖
pymongo支持cpython 2.6,2.7,3.3+,pypy和pypy3。
gssapi和tls的可选依赖关系:
gssapi认证需要windows上的unix或winkerberos上的pykerberos。pymongo可以自动安装正确的依赖关系:
$ python -m pip install pymongo[gssapi]
使用pymongo时,第一步是运行 mongod 实例创建一个mongoclient。如下:
from pymongo import mongoclient
client = mongoclient()
上述代码将连接默认主机和端口。 也可以明确指定主机和端口,如下所示:
from pymongo import mongoclient
#client = mongoclient()
client = mongoclient('localhost', 27017)
或使用mongodb uri格式:
client = mongoclient('mongodb://localhost:27017/')
mongodb的一个实例可以支持多个独立的数据库。 在使用pymongo时,可以使用mongoclient实例上的属性的方式来访问数据库:
db = client.pythondb
如果数据库名称使用属性方式访问无法正常工作(如:python-db
),则可以使用字典样式访问:
db = client['python-db']
集合是存储在mongodb中的一组文档,可以类似于关系数据库中的表。 在pymongo中获取集合的工作方式与获取数据库相同:
collection = db.python_collection
或(使用字典方式访问):
collection = db['python-collection']
mongodb中关于集合(和数据库)的一个重要注意事项是它们是懒创建的 - 上述任何命令都没有在mongodb服务器上实际执行任何操作。当第一个文档插入集合时才创建集合和数据库。
集合是存储在mongodb中的一组文档,可以被认为大致相当于关系数据库中的表。 在pymongo中获取集合的工作方式与获取数据库相同:
mongodb中的数据使用json方式来表示文档(并存储)。 在pymongo中使用字典来表示文档。例如,以下字典可能用于表示博客文章:
import datetime
from pymongo import mongoclient
client = mongoclient()
post = {"author": "mike",
"text": "my first blog post!",
"tags": ["mongodb", "python", "pymongo"],
"date": datetime.datetime.utcnow()}
`
要将文档插入到集合中,可以使用insert_one()
方法:
#!/usr/bin/python3
#coding=utf-8
import datetime
from pymongo import mongoclient
client = mongoclient()
db = client.pythondb
post = {"author": "maxsu",
"text": "my first blog post!",
"tags": ["mongodb", "python", "pymongo"],
"date": datetime.datetime.utcnow()}
posts = db.posts
post_id = posts.insert_one(post).inserted_id
print ("post id is ", post_id)
执行上面代码,得到以下结果 -
post id is 595965fe4959eb09c4451091
插入文档时,如果文档尚未包含“_id
”键,则会自动添加“_id
”。 “_id
”的值在集合中必须是唯一的。 insert_one()
返回一个insertoneresult
的实例。 有关“_id
”的更多信息,请参阅有关_id文档。
插入第一个文档后,实际上已经在服务器上创建了帖子(posts
)集合。可以列出数据库中的所有集合:
#!/usr/bin/python3
#coding=utf-8
import datetime
from pymongo import mongoclient
client = mongoclient()
db = client.pythondb
"""
post = {"author": "maxsu",
"text": "my first blog post!",
"tags": ["mongodb", "python", "pymongo"],
"date": datetime.datetime.utcnow()}
posts = db.posts
post_id = posts.insert_one(post).inserted_id
print ("post id is ", post_id)
"""
cur_collection = db.collection_names(include_system_collections=false)
print("cur_collection is :", cur_collection)
执行上面代码,得到以下结果 -
cur_collection is : ['posts']
mongodb中执行的最基本的查询类型是find_one()
。 此方法返回与查询匹配的单个文档(如果没有匹配,则返回none
)。 当知道只有一个匹配的文档,或只对第一个匹配感兴趣时则可考虑使用find_one()
方法。下面示例中使用find_one()
从帖子(posts
)集中获取第一个文档:
#!/usr/bin/python3
#coding=utf-8
import datetime
import pprint
from pymongo import mongoclient
client = mongoclient()
db = client.pythondb
'''
post = {"author": "maxsu",
"text": "my first blog post!",
"tags": ["mongodb", "python", "pymongo"],
"date": datetime.datetime.utcnow()}
'''
posts = db.posts
#post_id = posts.insert_one(post).inserted_id
#print ("post id is ", post_id)
pprint.pprint(posts.find_one())
执行上面代码,得到以下结果 -
{'_id': objectid('595965fe4959eb09c4451091'),
'author': 'maxsu',
'date': datetime.datetime(2017, 7, 2, 21, 30, 38, 402000),
'tags': ['mongodb', 'python', 'pymongo'],
'text': 'my first blog post!'}
结果是匹配之前插入的字典格式(json)。注意: 返回的文档包含一个“_id
”,它是在插入时自动添加的。
find_one()
方法还支持查询结果文档必须匹配的特定元素。要查询作者是“maxsu
”的文档,可以指定查询的条件,如下所示:
#!/usr/bin/python3
#coding=utf-8
import datetime
import pprint
from pymongo import mongoclient
client = mongoclient()
db = client.pythondb
post = {"author": "minsu",
"text": "this blog post belong to minsu!",
"tags": ["mysql", "oracle", "pymongo"],
"date": datetime.datetime.utcnow()}
posts = db.posts
post_id = posts.insert_one(post).inserted_id
post = posts.find_one({"author": "maxsu"})
pprint.pprint(post)
#print (post)
执行上面代码,得到以下结果 -
{'_id': objectid('595965fe4959eb09c4451091'),
'author': 'maxsu',
'date': datetime.datetime(2017, 7, 2, 21, 30, 38, 402000),
'tags': ['mongodb', 'python', 'pymongo'],
'text': 'my first blog post!'}
也可以通过它的_id
找到一个帖子(post
),下面的示例子中演示如何根据给定的一个objectid
查询数据:
#!/usr/bin/python3
#coding=utf-8
import datetime
import pprint
from pymongo import mongoclient
client = mongoclient()
db = client.pythondb
post = {"_id": 100,
"author": "kuber",
"text": "this is is my first post!",
"tags": ["docker", "shell", "pymongo"],
"date": datetime.datetime.utcnow()}
posts = db.posts
post_id = posts.insert_one(post).inserted_id
print("post_id is :", post_id)
post = posts.find_one({"_id": post_id})
print("find by post id:")
pprint.pprint(post)
#print (post)
执行上面代码,得到以下结果 -
post_id is : 100
find by post id:
{'_id': 100,
'author': 'kuber',
'date': datetime.datetime(2017, 7, 3, 14, 14, 8, 28000),
'tags': ['docker', 'shell', 'pymongo'],
'text': 'this is is my first post!'}
web应用程序中的常见任务是从请求url获取objectid并找到匹配的文档。 在这种情况下,必须将objectid
从一个字符串转换到find_one()
:
from bson.objectid import objectid
# the web framework gets post_id from the url and passes it as a string
def get(post_id):
# convert from string to objectid:
document = client.db.collection.find_one({'_id': objectid(post_id)})
您可能已经注意到,我们先前存储的常规python字符串在从服务器检索时看起来是不同的(例如,u’mike而不是“mike”)。一个简短的解释是有序的字符串。
mongodb以bson格式存储数据。bson字符串是utf-8编码的,所以pymongo必须确保它存储的任何字符串只包含有效的utf-8
数据。 常规字符串(<type'str'>
)被验证并保存不变。 unicode字符串(<type'unicode'>
)首先被编码为utf-8
。 我们的示例字符串在python shell中表示为u'mike
而不是“mike”
的原因是pymongo将每个bson字符串解码为python unicode
字符串,而不是常规str。
为了执行更复杂一些的查询,我们再插入一些文档。 除了插入单个文档外,还可以通过将列表作为第一个参数传递给insert_many()
来执行批量插入操作。 这将在列表中插入每个文档,只向服务器发送一个命令:
#!/usr/bin/python3
#coding=utf-8
import datetime
import pprint
from pymongo import mongoclient
client = mongoclient()
db = client.pythondb
new_posts = [{"_id": 1000,
"author": "curry",
"text": "another post!",
"tags": ["bulk", "insert"],
"date": datetime.datetime(2017, 11, 12, 11, 14)},
{"_id": 1001,"author": "maxsu",
"title": "mongodb is fun",
"text": "and pretty easy too!",
"date": datetime.datetime(2019, 11, 10, 10, 45)}]
posts = db.posts
result = posts.insert_many(new_posts)
print("bulk inserts result is :", result.inserted_ids)
#print (post)
执行上面代码,得到以下结果 -
bulk inserts result is : [1000, 1001]
有几个有趣的事情要注意这个例子:
insert_many()
的结果现在返回两个objectid
实例,每个id表示插入的一个文档。new_posts[1]
具有与其他帖子不同的“形状”(数据结构) - 没有“tags
”字段,添加了一个新字段“title
”。mongodb是无模式的,表示的就是这个意思。要查询获得超过单个文档作为查询的结果,可使用find()
方法。find()
返回一个cursor
实例,它允许遍历所有匹配的文档。如下示例,遍历帖子集合中的每个文档:
#!/usr/bin/python3
#coding=utf-8
import datetime
import pprint
from pymongo import mongoclient
client = mongoclient()
db = client.pythondb
posts = db.posts
for post in posts.find():
pprint.pprint(post)
执行上面代码,得到以下结果 -
{'_id': objectid('595965fe4959eb09c4451091'),
'author': 'maxsu',
'date': datetime.datetime(2017, 7, 2, 21, 30, 38, 402000),
'tags': ['mongodb', 'python', 'pymongo'],
'text': 'my first blog post!'}
{'_id': 100,
'author': 'kuber',
'date': datetime.datetime(2017, 7, 3, 14, 14, 8, 28000),
'tags': ['docker', 'shell', 'pymongo'],
'text': 'this is is my first post!'}
{'_id': 1000,
'author': 'curry',
'date': datetime.datetime(2017, 11, 12, 11, 14),
'tags': ['bulk', 'insert'],
'text': 'another post!'}
{'_id': 1001,
'author': 'maxsu',
'date': datetime.datetime(2019, 11, 10, 10, 45),
'text': 'and pretty easy too!',
'title': 'mongodb is fun'}
类似使用find_one()
一样,我们可以将文档传递给find()
来限制返回的结果。 在这里,只希望得到作者是“maxsu”的文档:
#!/usr/bin/python3
#coding=utf-8
import datetime
import pprint
from pymongo import mongoclient
client = mongoclient()
db = client.pythondb
posts = db.posts
for post in posts.find({"author": "maxsu"}):
pprint.pprint(post)
执行上面的代码,得到以下结果 -
{'_id': objectid('595965fe4959eb09c4451091'),
'author': 'maxsu',
'date': datetime.datetime(2017, 7, 2, 21, 30, 38, 402000),
'tags': ['mongodb', 'python', 'pymongo'],
'text': 'my first blog post!'}
{'_id': 1001,
'author': 'maxsu',
'date': datetime.datetime(2019, 11, 10, 10, 45),
'text': 'and pretty easy too!',
'title': 'mongodb is fun'}
如果只想知道有多少文档匹配查询,可以执行count()
方法操作,而不是一个完整的查询。 可以得到一个集合中的所有文档的计数:
#!/usr/bin/python3
#coding=utf-8
import datetime
import pprint
from pymongo import mongoclient
client = mongoclient()
db = client.pythondb
posts = db.posts
print("posts count is = ", posts.count())
print("posts's author is maxsu count is =", posts.find({"author": "maxsu"}).count())
执行上面代码,得到以下结果 -
posts count is = 4
posts's author is maxsu count is = 2
mongodb支持许多不同类型的高级查询。例如,可以执行一个查询,将结果限制在比特定日期更早的帖子,而且还可以按作者对结果进行排序:
#!/usr/bin/python3
#coding=utf-8
import datetime
import pprint
from pymongo import mongoclient
client = mongoclient()
db = client.pythondb
posts = db.posts
d = datetime.datetime(2019, 11, 12, 12)
for post in posts.find({"date": {"$lt": d}}).sort("author"):
pprint.pprint(post)
这里使用特殊的“$lt
”运算符做范围查询,并且还可以调用sort()
来按作者对结果进行排序。
添加索引可以帮助加速某些查询,并且还可以添加额外的功能来查询和存储文档。在这个例子中,将演示如何在一个键上创建一个唯一的索引,该索引将拒绝已经存在值的文档插入。
首先,我们创建索引:
result = db.profiles.create_index([('user_id', pymongo.ascending)], unique=true)
sorted(list(db.profiles.index_information()))
请注意,现在有两个索引:一个是mongodb自动创建的在_id
索引,另一个是刚刚创建在user_id
上的索引。
现在来设置一些用户配置文件:
user_profiles = [{'user_id': 211, 'name': 'luke'},{'user_id': 212, 'name': 'ziltoid'}]
result = db.profiles.insert_many(user_profiles)
该索引将阻止 user_id
已经在集合中的文档插入:
new_profile = {'user_id': 213, 'name': 'drew'}
duplicate_profile = {'user_id': 212, 'name': 'tommy'}
result = db.profiles.insert_one(new_profile) # this is fine.
result = db.profiles.insert_one(duplicate_profile)
## 出现错误提示...
traceback (most recent call last):
duplicatekeyerror: e11000 duplicate key error index: test_database.profiles.$user_id_1 dup key: { : 212 }