首页 \ 问答 \ 连接两个大熊猫HDFStore HDF5文件(Concatenate two big pandas.HDFStore HDF5 files)

连接两个大熊猫HDFStore HDF5文件(Concatenate two big pandas.HDFStore HDF5 files)

这个问题在某种程度上与“连接大量HDF5文件”有关

我有几个巨大的HDF5文件(〜20GB压缩),不适合内存。 它们中的每一个存储几个具有相同格式并且不重叠的索引的pandas.DataFrame

我想将它们连接在一起,使单个HDF5文件与所有DataFrames正确连接。 一种方法是逐块读取它们,然后保存到一个文件中,但确实需要相当长的时间。

有没有什么特殊的工具或方法可以不通过文件迭代?


This question is somehow related to "Concatenate a large number of HDF5 files".

I have several huge HDF5 files (~20GB compressed), which could not fit the RAM. Each of them stores several pandas.DataFrames of identical format and with indexes that do not overlap.

I'd like to concatenate them to have a single HDF5 file with all DataFrames properly concatenated. One way to do this is to read each of them chunk-by-chunk and then save to a single file, but indeed it would take quite a lot of time.

Are there any special tools or methods to do this without iterating through files?


原文:https://stackoverflow.com/questions/28918851
更新时间:2022-12-27 10:12

最满意答案

你把要连接的dns手动填写到你本地网卡  就可以了
谢谢

其他回答

这是系统安装了ipv6协议而产生的连接,现在国内使用ipv6协议访问网络主要通过隧道技术实现,普通用户一般没有使用ipv6,所以提示已断开,因为没用ipv6的网络,所以dns服务器的地址也没有设置,一般都会出现这样的提示的,如果觉得不舒服,只需要在cmd中输入如下命令关闭即可,具体输入:
netsh interface teredo set state disable
netsh interface 6to4 set state disabled
netsh interface isatap set state disabled

相关问答

更多
  • 不同的站点服务器的设置参数不同,空闲连接自动断开的时间间隔值可能也不同,如果站点服务器设置的自动断开连接的时间值短就会出现频繁的断开连接的现象,这时可以通过设置FlashFXP让其在空闲时自动向服务器发送指令来保持连接:单击菜单“选项→参数设置”,然后在打开的窗口中选择“常规”选项卡,然后勾选“发送保持活动命令”选项并选择下拉列表中的“NOOP”(循环),再将后面的时间值设置小些(例如20秒)即可。
  • 要不新开一个cmd, 还有就是exit或quit退出。
  • 如何断开VPN连接[2023-09-28]

    1.   双击创建好的VPN拨号程序快捷方式 2.   输入用户和密码(可以勾选记住密码)后点击连接。 3.   和XP系统一样会弹出系统的登录验证过程。 4.   拨号完成后我们点击屏幕右下角的网络图标可以看到连接状态。 5.   右键连接状态可以断开连接,下次拨号也可以直接在这里点击连接即可!
  • 你手机接OTG线了?OTG是灵妖的数据接口转USB,再将别的设备(鼠标、键盘、读卡器、U盘等)与手机连接用的。
  • 从照片来看,你现在使用的是无线网,而你所说的已断开连接是有线网卡。如果你的有线网卡没有插入网线的话,出现这个提示是正常现象。
  • 你把要连接的dns手动填写到你本地网卡 就可以了 谢谢
  • 点击你的电脑桌面左下角的“开始”--“运行” 在出现的文字框里面输入“cmd” 然后就会出现一个黑色的命令行窗口 在里面那行路径的最后一个符号“>” 后面输入ipconfig 然后会出现一堆东西 你找一下“本地连接” 下面有个IP address 后面的地址就是你的主机地址 具体情况如下: Ethernet adapter 本地连接: Connection-specific DNS Suffix . : IP Address. . . . . . . . . . . . : 192.168.1.199 Su ...
  • 有几种方法可以做到这一点。 我认为最容易的是拥有一个实现ProgressWatcher的组件(来自CCL)。 在该侦听器中,将每隔一秒调用setProgress(int currentPosition, int duration) ,并将流的currentPosition作为其第一个参数。 您可以缓存此值(如果您的设备断开连接,它将不会更新),以便为您提供有关当前位置的实时信息。 例如,如果您的活动实现了此接口: public MyActivity extends AppCompatActivity imp ...
  • NETWORK_STATE_CHANGED_ACTION最终得到了答案。 注册此事件时出现问题的设备在卸载另一个应用程序(也会监听类似事件)时开始工作! 不知道应用程序如何或为何阻止使用其他应用注册的事件。 最终的解决方案最终成为了; String action = intent.getAction(); if (action.equals(WifiManager.NETWORK_STATE_CHANGED_ACTION)) { WifiManager manage ...
  • 您可以从注册表中获取它们。 如果从网络控制面板设置: HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\Tcpip\Parameters\SearchList 如果由组策略设置: HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows NT\DNSClient\SearchList 使用Registry类读取 ,同一个类可以使用set,但是,您需要具有管理员权限才能执行此操作。 C#使用管理和W ...

相关文章

更多

最新问答

更多
  • 您如何使用git diff文件,并将其应用于同一存储库的副本的本地分支?(How do you take a git diff file, and apply it to a local branch that is a copy of the same repository?)
  • 将长浮点值剪切为2个小数点并复制到字符数组(Cut Long Float Value to 2 decimal points and copy to Character Array)
  • OctoberCMS侧边栏不呈现(OctoberCMS Sidebar not rendering)
  • 页面加载后对象是否有资格进行垃圾回收?(Are objects eligible for garbage collection after the page loads?)
  • codeigniter中的语言不能按预期工作(language in codeigniter doesn' t work as expected)
  • 在计算机拍照在哪里进入
  • 使用cin.get()从c ++中的输入流中丢弃不需要的字符(Using cin.get() to discard unwanted characters from the input stream in c++)
  • No for循环将在for循环中运行。(No for loop will run inside for loop. Testing for primes)
  • 单页应用程序:页面重新加载(Single Page Application: page reload)
  • 在循环中选择具有相似模式的列名称(Selecting Column Name With Similar Pattern in a Loop)
  • System.StackOverflow错误(System.StackOverflow error)
  • KnockoutJS未在嵌套模板上应用beforeRemove和afterAdd(KnockoutJS not applying beforeRemove and afterAdd on nested templates)
  • 散列包括方法和/或嵌套属性(Hash include methods and/or nested attributes)
  • android - 如何避免使用Samsung RFS文件系统延迟/冻结?(android - how to avoid lag/freezes with Samsung RFS filesystem?)
  • TensorFlow:基于索引列表创建新张量(TensorFlow: Create a new tensor based on list of indices)
  • 企业安全培训的各项内容
  • 错误:RPC失败;(error: RPC failed; curl transfer closed with outstanding read data remaining)
  • C#类名中允许哪些字符?(What characters are allowed in C# class name?)
  • NumPy:将int64值存储在np.array中并使用dtype float64并将其转换回整数是否安全?(NumPy: Is it safe to store an int64 value in an np.array with dtype float64 and later convert it back to integer?)
  • 注销后如何隐藏导航portlet?(How to hide navigation portlet after logout?)
  • 将多个行和可变行移动到列(moving multiple and variable rows to columns)
  • 提交表单时忽略基础href,而不使用Javascript(ignore base href when submitting form, without using Javascript)
  • 对setOnInfoWindowClickListener的意图(Intent on setOnInfoWindowClickListener)
  • Angular $资源不会改变方法(Angular $resource doesn't change method)
  • 在Angular 5中不是一个函数(is not a function in Angular 5)
  • 如何配置Composite C1以将.m和桌面作为同一站点提供服务(How to configure Composite C1 to serve .m and desktop as the same site)
  • 不适用:悬停在悬停时:在元素之前[复制](Don't apply :hover when hovering on :before element [duplicate])
  • 常见的python rpc和cli接口(Common python rpc and cli interface)
  • Mysql DB单个字段匹配多个其他字段(Mysql DB single field matching to multiple other fields)
  • 产品页面上的Magento Up出售对齐问题(Magento Up sell alignment issue on the products page)