用Akka构建一个简易的分布式文件系统

2019-03-27 01:03|来源: 网路

本来初期打算用Hadoop 2,可是后来有限的服务器部署了Solr Cloud,各种站点,发现资源不够了,近10T的文件,已经几乎把服务器的磁盘全部用光。想来想去,由于目前架构基于Scala的,所以还是用Scala Akka实现了一个简单版本的分布式文件系统。

Scala版本是2.10.3:http://www.scala-lang.org,Akka版本是2.2.3:http://akka.io。

所有文件随机放在不同的服务器上,在数据库中记录了文件存放的服务器IP地址、文件路径。在服务端部署基于Akka的简单文件服务,接收文件路径,读取并返回文件内容。调用者根据文件地址,去数据库中查找文件的服务IP地址和文件路径,根据得到的服务器IP地址,传入文件路径,调用该服务器的文件服务。

以下是部分实现代码。

1.文件服务参数

1 case class PatentFulltextArgs(
2   val url: String,
3   val start: Int,
4   val size: Int) {
5 
6 }

2.文件服务Trait(有点像WCF中的服务契约)

1 trait PatentFulltextService {
2   def find(args: PatentFulltextArgs): Array[Byte]
3 }

3.文件服务实现

 1 class PatentFulltextServiceImpl extends PatentFulltextService with Disposable {
 2   def find(args: PatentFulltextArgs): Array[Byte] = {
 3     val list = ListBuffer[Byte]()
 4     val file = FileSystems.getDefault().getPath(args.url)
 5 
 6     using(Files.newInputStream(file)) { in =>
 7       {
 8         val bytes = new Array[Byte](args.size + 1)
 9         in.skip(args.start)
10         in.read(bytes, 0, bytes.length)
11 
12         list ++= bytes
13       }
14     }
15 
16     list.toArray
17   }
18 }

4.用户Akka Deploy发布的类

class ServiceApplication extends Bootable {
  val system = ActorSystem("serivce", ConfigFactory.load.getConfig("service"))
  def startup() {
    TypedActor(system).typedActorOf(TypedProps[PatentFulltextServiceImpl], "patentfulltext")
  }

  def shutdown() {
    system.shutdown
  }
}

在这里,我使用的Akka的TypeActor,请参考:http://doc.akka.io/docs/akka/2.2.3/scala/typed-actors.html。

以下是部署过程。

把生成的jar包,发布在Akka的deploy目录下,根据需要修改Akka的配置文件目录config下的application.conf。以下是我配置的内容,仅供参考:

actor {

provider = "akka.remote.RemoteActorRefProvider"

 

typed {

# Default timeout for typed actor methods with non-void return type

timeout = 6000s

}

}

remote {

transport = "akka.remote.netty.NettyRemoteTransport"

netty.tcp {

  hostname = "服务端IP"

  port = 2552

}

客户端使用时只需要服务契约Trait和相关实体类,以下是我写的一个客户端调用的类,仅供参考:

 1 object RemoteService {
 2   val logger = LoggerFactory.getLogger(this.getClass())
 3   private var system: ActorSystem = null
 4 
 5   def apply(configFile: String) = {
 6     system = ActorSystem("RemoteService", ConfigFactory.parseFile(new File(configFile)))
 7   }
 8 
 9   def findPatentFulltext(serverIp: String, patentFulltextArgs: PatentFulltextArgs) = {
10     TypedActor(system).typedActorOf(TypedProps[com.cloud.akka.service.model.PatentFulltextService], system.actorFor("akka.tcp://serivce@" + serverIp + ":2552/user/patentfulltext")).find(patentFulltextArgs)
11 
12   }
13 
14   def shutdown = {
15     if (null != system) system.shutdown()
16   }
17 }}

以下问题是我还没找到合适的解决办法:

1.Akka无法传输大文件,即使修改配置,服务器可以返回,但是接收的客户端还会报错。我的解决方案是在客户端分块读取,然后合并。

2.在客户端使用时,TypedActor没有找到使用ActorSelection构建,因为ActorFor是标记为Deprecated。

 


转自:http://www.cnblogs.com/TerryLiang/p/3464500

相关问答

更多
  • 一、前期准备 1、MySQL数据库的安装:MySQL-5.6.22,自行安装 2、Dubbo视频教程--基础篇--第03节--ZooKeeper注册中心安装 3、Dubbo视频教程--基础篇--第06节--Dubbo管理控制台的安装 4、Dubbo视频教程--基础篇--第10节--Dubbo监控中心的介绍与简易监控中心的安装 5、持续集成管理平台(SVN、Nexus、Maven、Hudson)的安装: Dubbo视频教程--基础篇--第11节至18节 6、Dubbo视频教程--高级篇--第21节--Acti ...
  • 分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。 分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、进程通信和系统结构等方面。 分布式程序设计语言用于编写运行于分布式计算机系统上的分布式程序。一个分布式程序由若干个可以独立执行的程序模块组成,它们分布于一个 ...
  • 分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。 分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、进程通信和系统结构等方面。 分布式程序设计语言用于编写运行于分布式计算机系统上的分布式程序。一个分布式程序由若干个可以独立执行的程序模块组成,它们分布于一个 ...
  • 分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。 分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、进程通信和系统结构等方面。 分布式程序设计语言用于编写运行于分布式计算机系统上的分布式程序。一个分布式程序由若干个可以独立执行的程序模块组成,它们分布于一个 ...
  • 常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 GFS(Google File System) -------------------------------------- Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节,但Google并没有将该系统的软件部分作为 ...
  • 1、单机文件系统 用于操作系统和应用程序的本地存储。 2、网络文件系统(简称:NAS) 基于现有以太网架构,实现不同服务器之间传统文件系统数据共享。 3、集群文件系统 在共享存储基础上,通过集群锁,实现不同服务器能够共用一个传统文件系统。 4、分布式文件系统 在传统文件系统上,通过额外模块实现数据跨服务器分布,并且自身集成raid保护功能,可以保证多台服务器同时访问、修改同一个文件系统。性能优越,扩展性很好,成本低廉。
  • 一、DFS为何物? DFS 即微软分布式文件系统的简称,系统管理员可以利用它来有效的整合网络资源,并把这些资源以单一的层次结构呈现给网络用户。管理员利用它可以把资源发布成一 个树形结构,这样大大简化了为用户进行资源配置和对资源管理的工作量。我们可以在不同的机器上调整和移动文件,这不会影响到用户的访问。 二、为什么要使用DES? 1、DFS使用了现有网络中的Share权限,管理员不必进行新的配置 2、通过一个DFS树形结构用户就可以访问多个网络资源,而不用再把远程驱动器映射到本地共享资源中。 3、DFS可以配 ...
  • 分布式系统(distributed system)是建立在网络之上的软件系统。正是因为软件的特性,所以分布式系统具有高度的内聚性和透明性。因此,网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统),而不是硬件。内聚性是指每一个数据库分布节点高度自治,有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。在分布式数据库系统中,用户感觉不到数据是分布的,即用户不须知道关系是否分割、有无复本、数据存于哪个站点以及事务在哪个站点上执行等。 故名思义,分布式 ...
  • 从系统结构来说,最好的例子就是搜索引擎和迅雷下载,信息和数据服务器分布在世界各地,但对用户来说你不用关心这些,你都可以通过统一的接口获取这些信息,因此构成了事实上的一个分布式系统。
  • 听起来像你想要做的匹配Akka Cluster Sharding非常好。 它允许您使用id来处理actor,并负责平衡集群中的actor。 您可以在此处的文档中阅读更多相关信息: http : //doc.akka.io/docs/akka/2.4/scala/cluster-sharding.html#cluster-sharding-scala Sounds like what you want to do matches Akka Cluster Sharding pretty nicely. It ...