开源项目
知识点
相关文章
更多最近更新
更多datanode-Oceanus配置说明
2019-03-10 13:07|来源: 网路
作用:
配置数据源,有多少数据库实例就配置多少datanode
属性:
id – 唯一标识
parent – datanode 可继承,该属性标识该 datanode 继承自哪个 datanode
slaves – HA功能,当有主从关系且该数据源为主时,在这里声明从库id
alarm – 报警功能,当该数据源不可用和恢复正常时会调用其实现类的报警方法
子节点:
url –连接数据库的 URL
username – 登陆数据库所用的帐号
password – 登陆数据库所用的密码
maxActive – 连接池中可同时连接的最大的连接数,为0则表示没有限制,默认为8
maxIdle – 连接池中最大的空闲的连接数(默认为8,设 0 为没有限制),超过的空闲连接将被释放,如果设置为负数表示不限制(maxIdle不能设置太小,因为假如在高负载的情况下,连接的打开时间比关闭的时间快,会引起连接池中idle的个数上升超过maxIdle,而造成频繁的连接销毁和创建)
minIdle – 连接池中最小的空闲的连接数(默认为0,一般可调整5),低于这个数量会被创建新的连接(该参数越接近maxIdle,性能越好,因为连接的创建和销毁,都是需要消耗资源的;但是不能太大,因为在机器很空闲的时候,也会创建低于minidle个数的连接)
maxWait –超过时间会丟出错误信息 最大等待时间(单位为 ms),当没有可用连接时,连接池等待连接释放的最大时间,超过该时间限制会抛出异常,如果设置-1表示无限等待(默认为-1,一般可调整为60000ms,避免因线程池不够用,而导致请求被无限制挂起)
driverClassName – JDBC Driver Class
removeAbandoned – 超过removeAbandonedTimeout时间后,是否进行没用连接的回收默认为false)
removeAbandonedTimeout –超过时间限制,回收无用的连接(默认为300秒),removeAbandoned 必须为 true
示例:
<datanode id="safe_db1" slaves="safe_db2" alarm="com.bj58.oceanus.demo.alarms.DefaultAlarm" >
<url>
<![CDATA[
jdbc:mysql://localhost:3306/ppsafe58com_0?useUnicode=true&characterEncoding=UTF-8&zeroDate
TimeBehavior=convertToNull
]]>
</url>
<username>octester</username>
<password>123456</password>
<driverClassName>com.mysql.jdbc.Driver</driverClassName>
<initialSize>4</initialSize>
<maxActive>10</maxActive>
<maxWait>5000</maxWait>
<maxIdle>2</maxIdle>
<minIdle>2</minIdle>
</datanode>
<datanode id="safe_db2" parent="safe_db1" slaves="safe_db3">
<url>
<![CDATA[
jdbc:mysql://localhost:3306/ppsafe58com_2?useUnicode=true&characterEncoding=UTF-8&zeroDate
TimeBehavior=convertToNull
]]>
</url>
</datanode>
本文来源:58同城Oceanus使用文档
相关问答
更多-
在 /usr/local/hadoop/ 下面启动,找到是/opt/Hadoop/下面的hadoop安装包,是不是HADOOP_HOME环境变量配置的有问题。 可以到海牛部落交流,那里有好多学习hadoop的朋友
-
一个文件被放入到分布式文件系统中,会被分割成多个block放置到每一个的DataNode上,默认dfs.block.size应该是64M,也就是说如果你放置到HDFS上的数据小于64,那么将只有一个Block,此时会被放置到某一个DataNode中,这个可以通过使用命令:hadoop dfsadmin –report就可以看到各个节点存储的情况。也可以直接去某一个DataNode查看目录:hadoop.tmp.dir/dfs/data/current就可以看到那些block了。Block的数量将会直接影响到 ...
-
我认为问题出在您的/etc/hosts文件中。 确保配置正确。 我的/etc/hosts文件如下所示: 127.0.0.1 localhost 192.168.0.1 master mypcname 192.168.0.18 slave1 192.168.0.12 slave2 192.168.0.17 slave3 为主人和 127.0.0.1 localhost 192.168.0.1 master 192.168.0.18 slave ...
-
hadoop datanode无法启动。(hadoop datanode unable to start. “does not contain a valid host:port authority”)[2022-04-27]
尝试在所有配置文件中将“master”更改为实际的ip地址。 Try to change the "master" to the actual ip address, in all your config files. -
hadoop Datanode关闭(hadoop Datanode shutting down)[2022-12-17]
datanode1的namespaceID与当前的namenode不匹配。也许你从另一个集群中复制了/ usr / local / hadoop / tmp / dfs / data目录。如果datanode1的数据不相关,你可以删除/ usr / local / hadoop datanode1的/ tmp / dfs / * the namespaceID of datanode1 do not match the current namenode's.Maybe you copied the /usr ... -
转到端口50030的Job Tracker UI,您将找到每个任务的日志,显示该任务(map task / reduce任务)运行的位置 Go to the Job Tracker UI at port 50030 and you will find logs for each task which shows where that task (map task/reduce task) ran
-
修改/etc/hosts以包含主机名环回映射: 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 127.0.1.1 is-joshbloom-hadoop ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 您的问题是您的机器不知道如何解析主机名is-joshbloom-hadoop到特定 ...
-
停止所有hadoop服务 删除dfs / namenode 从slave和master中删除dfs / datanode 检查Hadoop文件夹的保留: sudo chmod -R 755 / usr / local / hadoop 重启Hadoop 检查/验证文件夹权限。 sudo chmod -R 755 / home / hadoop / appdata 如果仍有问题,请检查日志文件 Stop all hadoop services Delete dfs/namenode Delete dfs/da ...
-
是的,首先让我们从文档中看到这些配置标志的描述: 配置选项: dfs.replication 默认块复制。 创建文件时可以指定实际的复制数。 如果未在创建时指定复制,则使用默认值。 直观地说,这告诉我们可以使用此选项指定要存储的数据块的复制因子。 此属性预先配置为等于3。 问:它影响哪些节点? : 答: 从存储的角度来看 ,它主要影响数据节点,因为它们是存储块的数据节点。 当然,从技术上讲 ,它确实会影响Namenode,特别是包含Datanodes - Stored Blocks的所有映射的FsImage ...
-
oozie shell动作执行特定的datanode(或)namenode(oozie shell action execution on particular datanode (or) namenode)[2022-03-15]
请使用Oooze ssh操作,并在ssh操作中运行bashScript。 Oozie shell动作将在随机数据节点上运行。 Please use Oooze ssh action , and in the ssh action run your bashScript. Oozie shell action will run on a random dataNode.