提高大文件的加载速度

我的程序使用两个大文本文件(数百万行)。这些文件被解析并加载到哈希表中,以便可以快速访问数据。我面临的问题是,目前,解析和加载是程序中最慢的部分。下面是执行此操作的代码。

database = extractDatabase(@type).chomp("fasta") + "yml"
revDatabase = extractDatabase(@type + "-r").chomp("fasta.reverse") + "yml"
@proteins = Hash.new
@decoyProteins = Hash.new

File.open(database, "r").each_line do |line|
  parts = line.split(": ")
  @proteins[parts[0]] = parts[1]
end

File.open(revDatabase, "r").each_line do |line|
  parts = line.split(": ")
  @decoyProteins[parts[0]] = parts[1]
end

文件如下所示。它一开始是一个YAML文件,但是修改了格式以提高解析速度。

MTMDK: P31946   Q14624  Q14624-2    B5BU24  B7ZKJ8  B7Z545  Q4VY19  B2RMS9  B7Z544  Q4VY20
MTMDKSELVQK: P31946 B5BU24  Q4VY19  Q4VY20
....

我对设置文件和解析文件的不同方法进行了尝试,到目前为止,这是最快的方法,但仍然非常慢。

有没有办法提高这个速度,或者我可以采取其他的方法?

不起作用的事情列表 :

• 亚马尔。
• 分叉进程,然后通过管道检索哈希。