代码之家 › 专栏 › 技术社区 › Aero Engy

将BCD的大numpy数组转换为十进制

numpy python

Aero Engy · 技术社区 · 6 年前

我有二进制数据文件在多GB的范围内,我是内存映射与numpy。每个数据包的开头都包含一个BCD时间戳。如果每个十六进制数被编码成0DDD:HH:MM:SS.ssss的时间格式,我需要把这个时间戳转换成当前年份的总秒数。

例子: 第一时间戳 0x0261 1511 2604 6002 将是:261:15:11:26.046002或

261*86400 + 15*3600 + 11*60 + 26.046002 =  22551986.046002

目前我这样做是为了计算时间戳:

import numpy as np
rawData  = np.memmap('dataFile.bin',dtype='u1',mode='r') 
#findFrameStart returns the index to the start of each data packet   [0,384,768,...]
fidx = findFrameStart(rawData)

# Do lots of bit shifting and multiplying and type casting....
day1  = ((rawData[fidx  ]>>4)*10 + (rawData[fidx  ]&0x0F)).astype('f8')
day2  = ((rawData[fidx+1]>>4)*10 + (rawData[fidx+1]&0x0F)).astype('f8')
hour  = ((rawData[fidx+2]>>4)*10 + (rawData[fidx+2]&0x0F)).astype('f8')
mins  = ((rawData[fidx+3]>>4)*10 + (rawData[fidx+3]&0x0F)).astype('f8')
sec1  = ((rawData[fidx+4]>>4)*10 + (rawData[fidx+4]&0x0F)).astype('f8')
sec2  = ((rawData[fidx+5]>>4)*10 + (rawData[fidx+5]&0x0F)).astype('f8')
sec3  = ((rawData[fidx+6]>>4)*10 + (rawData[fidx+6]&0x0F)).astype('f8')
sec4  = ((rawData[fidx+7]>>4)*10 + (rawData[fidx+7]&0x0F)).astype('f8')
time  = (day1*100+day2)*86400 + hour*3600 + mins*60 + sec1 + sec2/100 + sec3/10000 + sec4/1000000

注:我必须将每个中间变量(第1天、第2天等)转换为两倍才能得到 time

因为有很多帧, fidx

1 回复 | 直到 6 年前

Aero Engy 6 年前

我对代码做了以下调整。这将修改 time 阵列就位&消除了对所有中间数组的需要。我没有给结果计时,但它需要的内存应该更少。

time = np.zeros(fidx.shape,dtype='f8')
scale = np.array([8640000, 86400, 3600, 60, 1, .01, .0001, .000001],dtype='f8')
for ii,sf in enumerate(scale):
    time = time + ((rawData[fidx+ii]>>4)*10 + (rawData[fidx+ii]&0x0F))*sf

推荐文章

serlingpa · 如何准备我的数据以避免无法推断频率

1 年前

Guillaume · 使用操作从Python列表创建numpy数组

2 年前

user19657580 · 在Python中打印两个numpy数组的列表

2 年前

user19657580 · Python中数组中具有相同元素的索引求和

2 年前

mikanim · 改进二维余弦函数的numpy功能

2 年前

Klimt865 · 在Python中将数组列表转换为列表列表

2 年前

theduker · 计算平均绝对误差时,If语句中赋值前引用的局部变量

2 年前

Lynn · 如果列包含Python中的特定字符串,则从列中删除值

2 年前

JasonX · 运行减法计算

2 年前

Jan Hrubec · 选择numpy数组的前n个元素

2 年前