BigQuery资源已超出(BigQuery resources exceeded)
我正在尝试使用500M行转换表，大约30GB。 这是简单的分组，结果应该是另一个大表。 我正在将结果写入新表中并启用了“允许大结果”选项 - 这应该允许任意大的结果，但是我得到错误：在查询执行期间超出了资源。 职位ID：job_6CHEAHSHETUOGK7QAGSTIX5A4QVV4ZKZ
你能否检查一下哪些资源？
谢谢，拉德克
I'm trying to transform table with 500M rows, about 30GB. It is simple grouping, the result should be another big table. I'm writing the result into new table with Allow Large Result option enabled - this should allow arbitrary large results but I'm getting Error: Resources exceeded during query execution. Job ID: job_6CHEAHSHETUOGK7QAGSTIX5A4QVV4ZKZ
Could you please check which resources exceeded?
Thanks, Radek
原文：https://stackoverflow.com/questions/20219948
最满意答案
当大多数设备关闭时，没有自动选择主要的方法，您只需手动执行此操作。
这不是一个真正的限制，而是更多的是保持一致的复制，如果该集合的一半已经关闭，则认为没有足够的投票成员来得出关于什么成员应该是主要的结论。 您可以在此处详细了解它使用的投票“方法”： http ： //en.wikipedia.org/wiki/Quorum
MongoDB文档说明了两种可以使用的方法： http ： //docs.mongodb.org/manual/tutorial/reconfigure-replica-set-with-unavailable-members/
There is no automated way to pick a primary when the majority of the set is down, you just do this manually.
This isn't really a limitation but more of keeping consistent replication, if half of the set is down it is considered that there is not enough voting members to come to a conclusion on what member should be primary. You can read more about the voting "method" it uses here: http://en.wikipedia.org/wiki/Quorum
The MongoDB documentation states two methods you can use: http://docs.mongodb.org/manual/tutorial/reconfigure-replica-set-with-unavailable-members/
相关问答
更多-
这应该是诀窍： 删除第一行 将第二行更改为var db = db.getSisterDB("main") This should do the trick: Remove first line Change second line to var db = db.getSisterDB("main")
-
为什么mongodb副本集需要奇数个投票成员？(Why does a mongodb replica set need an odd number of voting members?)[2024-02-19]
TL; DR：对于单主系统，甚至分区使得无法确定哪个剩余部分仍然占多数，从而使两个系统都关闭。 设N是四台机器的集群： 一台机器死机，其他机器恢复运行。 好。 两台机器死机，我们处于离线状态，因为我们不再占多数。 坏。 设M是三台机器的集群： 一台机器死机，其他机器恢复运行。 好。 两台机器死机，我们处于离线状态，因为我们不再占多数。 坏。 =>相同的结果是3/4的成本。 现在，让我们添加一两个假设： 我们还将运行某种使用数据库的服务器应用程序 可以对网络进行分区 假设您有两个数据中心，一个包含两个数据库实 ... -
这是可能的，但您需要使用ReadPreference在驱动程序级别实现查询分发。 您应该仔细考虑二次读取可能返回过时数据的事实。 您还应该仔细考虑是否有必要增加实现查询分发和容忍过时数据的复杂性。 我建议您首先使用primary （默认）ReadPreference进行一些性能测试。 值得指出的是，使用分片可以更好地完成您要完成的任务（读取缩放），而无需额外的客户端逻辑和使用辅助ReadPreference。 It is possible, but you would need to implement t ...
-
我们将配置3个节点的MongoDB副本集。 Suposse我们有3个节点： 主机名Mongodb01 ，IP地址192.168.1.11和MongoDB，端口号27017 主机名Mongodb02 ，IP地址192.168.1.22和MongoDB，端口号为27017 主机名为Mongodb03 ，IP地址为192.168.1.33，并安装了端口号为27017的 MongoDB 在开始使用此配置之前，请确保您有以下几点： MongoDB服务已安装并在所有3个节点上运行 所有3个节点通过IP地址或主机名相互连 ...
-
为什么MongoDB副本集中的最大节点数正好为12？(Why is the maximum number of nodes in a MongoDB Replica Set exactly 12?)[2022-02-10]
副本集的所有成员都保持对每个其他成员的当前状态的了解。 这是将节点总数限制为12的基本原理 - 超过这将在每对节点之间的心跳中引入过多的开销。 最多七个投票成员是为了避免选举减慢 - 因为你需要进行共识选举以选择新的主要选项，限制需要在他们之间协调的节点数量将使事情更快。 All members of a replica set maintain knowledge of the current state of each of the other members. This is the rational ... -
MongoDB副本集投票(MongoDB replica-set voting)[2023-10-19]
当大多数设备关闭时，没有自动选择主要的方法，您只需手动执行此操作。 这不是一个真正的限制，而是更多的是保持一致的复制，如果该集合的一半已经关闭，则认为没有足够的投票成员来得出关于什么成员应该是主要的结论。 您可以在此处详细了解它使用的投票“方法”： http ： //en.wikipedia.org/wiki/Quorum MongoDB文档说明了两种可以使用的方法： http ： //docs.mongodb.org/manual/tutorial/reconfigure-replica-set-with ... -
首先：有两种设置mongod进程配置的方法; 可以（如在您找到的命令中那样）作为命令行上的参数， 或者在配置文件mongod.conf中。 您的设置似乎在使用配置文件，因此您需要将副本集设置放在mongod.conf文件中 ， 而不是在命令行上。 其次：在启用了身份验证的系统上运行rs.initiate（）命令，必须按照您的身份验证为有权运行此命令的用户 Firstly: There are two ways of setting a mongod process's configuration; eith ...
-
无法将独立的mongoDB转换为副本集：连接超时(Can't convert standalone mongoDB to Replica Set: Connection timed out)[2022-02-22]
这是由防火墙引起的网络问题。 要按规范列出所有活动的iptables规则，请使用-S选项运行iptables命令 sudo iptables -S It was network issue caused by firewall. To list out all of the active iptables rules by specification, run the iptables command with the -S option sudo iptables -S -
使用docker-compose进行MongoDb副本集的连接错误(Connection error for MongoDb replica-set using docker-compose)[2022-01-01]
正如您在评论中所说的那样，当您的replicaSet配置正常时，可能您的app正在与其他app一起启动，并且在配置replicaSet之前，它会中断。 您可以尝试在应用配置上使用depends_on ，这将使app容器在其他容器之后启动。 但请注意，这可能不起作用，因为它等待容器准备就绪，直到配置了replicaSet 如果这不起作用，我认为最简单的方法是在运行docker-compose后单独启动app 。 As you said on the comments, as you replicaSet co ... -
具有IP 192.168.56.101:27017的mongod服务器必须配置一个副本集。 使用replicaSet选项在192.168.56.101:27017上启动mongod，如： mongod --replSet "rs2" The mongod server with IP 192.168.56.101:27017 must be configured with a replicaSet. Start mongod on 192.168.56.101:27017 with replicaSet ...