知识点
相关文章
更多最近更新
更多Hadoop FSDataInputStream 流定位的例子
2019-03-28 13:46|来源: 网络
Hadoop FSDataInputStream 流定位的例子,不单独说明了,代码中的注释很详细了
- /**
- *
- * Description: 这个例子用于展示Hadoop的FSDataInputStream的流定位能力
- *
- * @author charles.wang
- * @created Mar 13, 2012 9:21:34 AM
- *
- */
- public class FileSystemCatSeekable {
- public static void main(String [] args) throws Exception{
- //获取命令行参数
- String uri = args[0];
- Configuration conf = new Configuration();
- conf.set("hadoop.job.ugi", "root,root123");
- //打开一个Hadoop FileSystem ,用FileSystem的静态方法获取之
- FileSystem fs = FileSystem.get(URI.create(uri) ,conf);
- //打开一个InputStream 对象
- FSDataInputStream in = null;
- try{
- //让其指向FileSystem中由命令行提供的uri对应的路径
- in =fs.open(new Path (uri));
- //第一次读取
- IOUtils.copyBytes(in, System.out, 20, false);
- //让读头重新定位到文件起始地方
- in.seek(0);
- //第二次读取
- IOUtils.copyBytes(in, System.out, 20, false);
- }catch (Exception ex){
- ex.printStackTrace();
- }finally{
- in.close();
- }
- }
- }
更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
相关问答
更多-
使用hadoop做一个视频流处理[2023-11-30]
直接用hdfs就行了,它有一个设置上传的时候,不做缓存,可以直接左边打开一个流右边接入一个流就可以了。效率非常高,我之前的公司乐视网就是这么存视频文件。 -
在Hadoop 2.0中,您可以通过多种方式查看作业 1)从ResourceManager UI ResourceMnagerhostname:8088 / cluster查看作业 2)查看HUE的工作 - HUEServerHostname.com:8888/jobbrowser/ 3)从命令行(一旦作业完成) 用法:纱线原木-applicationId [OPTIONS] 常规选项包括:-appOwner AppOwner(如果未指定,则假定为当前用户)-containerId ContainerId( ...
-
我不确定您的XML结构是什么样的,但是例如,如果您有XML结构:
102A5RET Blue-Moon-12-PK-BTTLE 2 假设您还按照指示启动了本地群集或伪分布式群集,那么这是最简单的方法。 转到hadoop目录,该目录应该是从apache下载hadoop库时解压缩的目录。 从那里你可以运行这些命令来运行hadoop 对于Hadoop版本0.23。* cd $ HOME / path / to / hadoop-0.23。* ./bin/hadoop jar share / hadoop / mapreduce / hadoop-mapreduce-examples-0.23.5.jar wordcount myinput o ...Hadoop的第一个例子(Hadoop first example)[2021-07-13]
杰里米的评论是正确的。 通常,示例可执行jar在本地jvm和集群工作节点上运行。 它应该使用hadoop命令启动:hadoop(或hadoop版本2.0及之后的纱线)以确保正确加载群集配置和相关的lib。 有关完整的演练,请参阅此处有关于1.2.1版本的hadoop 1.2.1教程的hadoop教程 : hadoop 1.2.1教程 如果有机会,你应该检查最新的hadoop版本。 现在是2.6.0。 Jeremy's comment is right on the money. Typically, the ...OrcNewInputformat作为hadoop流的输入格式(OrcNewInputformat as a inputformat for hadoop streaming)[2022-04-06]
现在我的工作正常,我给错了类名。 IT is working fine now I was giving wrong classname.我正在回答我自己的问题,因为这将有助于其他人解决我所遇到的问题。 我导入的包有问题。 提到我所犯的错误。 CUSTOMINPUTFORMAT CLASS 1)错过了@Override注释2)从import org.apache.hadoop.mapred.InputSplit导入而不是org.apache.hadoop.mapreduce.InputSplit; CUSTOMRECORDREADER 1)导入是从org.apache.hadoop.mapred。*进行的,而不是来自org.apache.ha ...您无法确保将读取完全写入datanode端的磁盘。 您可以在DFSClient#DFSOutputStream.sync()的文档中看到这一点,其中指出: All data is written out to datanodes. It is not guaranteed that data has been flushed to persistent store on the datanode. Block allocations are persisted on namenode. 因此它 ...在您的安装下找到一个名为“ hadoop-common-2.7.3.jar ”的jar文件(即/usr/local/Cellar/hadoop/2.7.3 )并将其设置在classpath中,或者直接在命令行中将其与javac一起提供。 javac -cp "/PATH/hadoop-common-2.7.3.jar" HDFSTest.java (用适当的路径替换PATH ) Just add hadoop jars to classpath: I install hbase using homebr ...如果你正在使用cloudera发行版,那么它很可能在/usr/lib/hadoop ,否则它可能在任何地方(由你的系统管理员决定)。 您可以使用一些技巧来尝试找到它: locate hadoop-env.sh (假设已经安装了locate并且最近已经运行了updatedb) 如果你运行它的机器正在运行hadoop服务(例如数据节点,作业跟踪器,任务跟踪器,名称节点),那么你可以执行一个进程列表和grep for hadoop命令: ps axww | grep hadoop ps axww | grep h ...