首页 \ 问答 \ Hadoop streaming中的input可以多路输入,但在mapper中如何调用两个输入呢,Python编写的mapper

Hadoop streaming中的input可以多路输入,但在mapper中如何调用两个输入呢,Python编写的mapper

可以使用多个-input选项设置多个输入目录:  hadoop jar hadoop-streaming.jar -input '/user/foo/dir1' -input '/user/foo/dir2' 但是我的问题是如何在mapper中分别调用这两个input 呢 求大神指教
更新时间:2022-01-12 13:01

最满意答案

首先定义一个数组,然后遍历数据表,把相应的数据放到数组中,最后通过json_encode()转化数组
json_encode() 函数的功能是将数值转换成json数据存储格式。
例如:

           

其他回答

相关问答

更多
  • 很简单,首先下载acrobat,如果你转换过word等文档应该清楚。 注册zubu,只有注册激活才能点击打印按钮。 打开想打印的文档后点击打印按钮,选择adobe PDF,完成
  • 晕。。我还常用 IN 呢。。。。总比N多个 OR 要好吧
  • 首先定义一个数组,然后遍历数据表,把相应的数据放到数组中,最后通过json_encode()转化数组 json_encode() 函数的功能是将数值转换成json数据存储格式。 例如:
  • import json file = open("your_file_name.txt", 'a') # 追加的方式写入 your_dict = {} your_dict['a'] = 0.123 your_dict['b'] = [1.1, 1.2, 1.3, 1.4, 1.5] your_dict['c'] = 0.2 json_str = json.dumps(your_dict, ensure_ascii=False) # 将字典装化为json串 # ensure_ascii=False : 不用a ...
  • 你没有说清楚你使用什么语言! python: 如果datas是Python的原始数据,并且datas中没有非ascii码,可以使用如下语句转换为json格式: import json json.dumps(datas) 当datas中含有中文等非ascii字符时,可以使用如下参数: json.dumps(datas, ensure_ascii=False) 如果想美化输出格式,可以使用indent参数: json.dumps(datas, indent=4)
  • 一看你就是刚学习的菜鸟,没必要写两个sql语句,$sql = 'select user_id,user_name form user_list';查询出来赋值给变量$user;然后遍历$user foreach($user as $value){ echo ''.$value['user_name'].''; }
  • 首先,你接数据用date来接, 其次,用simpledateformat方法的format方法。 补充:parse方法是将创建的yyyy-M-d字符串类型的日期,比如2018-1-12换成date类型。用的接收数据库数据方法和格式化方法不对。
  • :funk: OR会比IN效率高?!MYSQL5手册上没讲是OR快还IN快,但有这样一句话:“如IN值列表全部由常数组成,则意味着IN 的速度非常之快。”
  • VB中UTF8转Unicode编码,没见过转中文的,只有中文转UTF-8的! 代码仅供参考: Private Declare Function MultiByteToWideChar Lib "kernel32" (ByVal CodePage As Long, ByVal dwFlags As Long, ByRef lpMultiByteStr As Any, ByVal cchMultiByte As Long, ByVal lpWideCharStr As Long, ByVal cchWideCh ...

相关文章

更多

最新问答

更多
  • 您如何使用git diff文件,并将其应用于同一存储库的副本的本地分支?(How do you take a git diff file, and apply it to a local branch that is a copy of the same repository?)
  • 将长浮点值剪切为2个小数点并复制到字符数组(Cut Long Float Value to 2 decimal points and copy to Character Array)
  • OctoberCMS侧边栏不呈现(OctoberCMS Sidebar not rendering)
  • 页面加载后对象是否有资格进行垃圾回收?(Are objects eligible for garbage collection after the page loads?)
  • codeigniter中的语言不能按预期工作(language in codeigniter doesn' t work as expected)
  • 在计算机拍照在哪里进入
  • 使用cin.get()从c ++中的输入流中丢弃不需要的字符(Using cin.get() to discard unwanted characters from the input stream in c++)
  • No for循环将在for循环中运行。(No for loop will run inside for loop. Testing for primes)
  • 单页应用程序:页面重新加载(Single Page Application: page reload)
  • 在循环中选择具有相似模式的列名称(Selecting Column Name With Similar Pattern in a Loop)
  • System.StackOverflow错误(System.StackOverflow error)
  • KnockoutJS未在嵌套模板上应用beforeRemove和afterAdd(KnockoutJS not applying beforeRemove and afterAdd on nested templates)
  • 散列包括方法和/或嵌套属性(Hash include methods and/or nested attributes)
  • android - 如何避免使用Samsung RFS文件系统延迟/冻结?(android - how to avoid lag/freezes with Samsung RFS filesystem?)
  • TensorFlow:基于索引列表创建新张量(TensorFlow: Create a new tensor based on list of indices)
  • 企业安全培训的各项内容
  • 错误:RPC失败;(error: RPC failed; curl transfer closed with outstanding read data remaining)
  • C#类名中允许哪些字符?(What characters are allowed in C# class name?)
  • NumPy:将int64值存储在np.array中并使用dtype float64并将其转换回整数是否安全?(NumPy: Is it safe to store an int64 value in an np.array with dtype float64 and later convert it back to integer?)
  • 注销后如何隐藏导航portlet?(How to hide navigation portlet after logout?)
  • 将多个行和可变行移动到列(moving multiple and variable rows to columns)
  • 提交表单时忽略基础href,而不使用Javascript(ignore base href when submitting form, without using Javascript)
  • 对setOnInfoWindowClickListener的意图(Intent on setOnInfoWindowClickListener)
  • Angular $资源不会改变方法(Angular $resource doesn't change method)
  • 在Angular 5中不是一个函数(is not a function in Angular 5)
  • 如何配置Composite C1以将.m和桌面作为同一站点提供服务(How to configure Composite C1 to serve .m and desktop as the same site)
  • 不适用:悬停在悬停时:在元素之前[复制](Don't apply :hover when hovering on :before element [duplicate])
  • 常见的python rpc和cli接口(Common python rpc and cli interface)
  • Mysql DB单个字段匹配多个其他字段(Mysql DB single field matching to multiple other fields)
  • 产品页面上的Magento Up出售对齐问题(Magento Up sell alignment issue on the products page)