python进程使用的总内存?

Here 是适用于各种操作系统的有用解决方案,包括Linux、Windows 7等:

import os
import psutil
process = psutil.Process(os.getpid())
print(process.memory_info().rss)  # in bytes 

在我当前的python 2.7安装中,最后一行应该是

print(process.get_memory_info()[0])

相反(API发生了变化)。

注:做 pip install psutil 如果尚未安装。

对于基于Unix的系统(Linux、Mac OS X、Solaris),可以使用 getrusage() 标准库模块的功能 resource . 结果对象具有属性 ru_maxrss 它给出了 峰 调用进程的内存使用情况:

>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
2656  # peak memory usage (kilobytes on Linux, bytes on OS X)

这个 Python docs 不要记下单位。请参阅您的特定系统 man getrusage.2 检查单位值的页面。在Ubuntu 18.04上,单位以千字节为单位。在Mac OS X上,它是字节。

这个 GeTraseAGE() 也可以给出函数 resource.RUSAGE_CHILDREN 获取子进程的用法,以及(在某些系统上) resource.RUSAGE_BOTH 用于全部(自身和子)进程使用。

如果您只关心Linux,您也可以阅读 /proc/self/status 或 /proc/self/statm 如本问题其他答案中所述的文件,以及 this 一个也是。

在Windows上,可以使用WMI( home page , cheeseshop ):

def memory():
    import os
    from wmi import WMI
    w = WMI('.')
    result = w.query("SELECT WorkingSet FROM Win32_PerfRawData_PerfProc_Process WHERE IDProcess=%d" % os.getpid())
    return int(result[0].WorkingSet)

在Linux上(从python食谱 http://code.activestate.com/recipes/286222/ :

import os
_proc_status = '/proc/%d/status' % os.getpid()

_scale = {'kB': 1024.0, 'mB': 1024.0*1024.0,
          'KB': 1024.0, 'MB': 1024.0*1024.0}

def _VmB(VmKey):
    '''Private.
    '''
    global _proc_status, _scale
     # get pseudo file  /proc/<pid>/status
    try:
        t = open(_proc_status)
        v = t.read()
        t.close()
    except:
        return 0.0  # non-Linux?
     # get VmKey line e.g. 'VmRSS:  9999  kB\n ...'
    i = v.index(VmKey)
    v = v[i:].split(None, 3)  # whitespace
    if len(v) < 3:
        return 0.0  # invalid format?
     # convert Vm value to bytes
    return float(v[1]) * _scale[v[2]]


def memory(since=0.0):
    '''Return memory usage in bytes.
    '''
    return _VmB('VmSize:') - since


def resident(since=0.0):
    '''Return resident memory usage in bytes.
    '''
    return _VmB('VmRSS:') - since


def stacksize(since=0.0):
    '''Return stack size in bytes.
    '''
    return _VmB('VmStk:') - since

在Unix上,可以使用 ps 监控工具:

$ ps u -p 1347 | awk '{sum=sum+$6}; END {print sum/1024}'

其中1347是一些进程ID。另外,结果以MB为单位。

Heapy (和朋友)可能是你想要的。

此外,缓存的大小通常有一个固定的上限,以解决您所说的那种问题。例如,看看这个 LRU cache decorator .

我喜欢 it ,谢谢您的@bayer。我现在得到一个特定的过程计数工具。

# Megabyte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum/1024 " MB"}'
87.9492 MB

# Byte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum " KB"}'
90064 KB

附上我的流程列表。

$ ps aux  | grep python
root       943  0.0  0.1  53252  9524 ?        Ss   Aug19  52:01 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root       950  0.6  0.4 299680 34220 ?        Sl   Aug19 568:52 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root      3803  0.2  0.4 315692 36576 ?        S    12:43   0:54 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
jonny    23325  0.0  0.1  47460  9076 pts/0    S+   17:40   0:00 python
jonny    24651  0.0  0.0  13076   924 pts/4    S+   18:06   0:00 grep python

参考文献

• memory - Linux: find out what process is using all the RAM? - Super User
• Total memory used by Python process? - Stack Overflow
• linux - ps aux output meaning - Super User

下面是我的函数修饰器,它允许跟踪这个进程在函数调用之前消耗了多少内存,函数调用之后使用了多少内存,以及函数执行的时间。

import time
import os
import psutil


def elapsed_since(start):
    return time.strftime("%H:%M:%S", time.gmtime(time.time() - start))


def get_process_memory():
    process = psutil.Process(os.getpid())
    return process.get_memory_info().rss


def track(func):
    def wrapper(*args, **kwargs):
        mem_before = get_process_memory()
        start = time.time()
        result = func(*args, **kwargs)
        elapsed_time = elapsed_since(start)
        mem_after = get_process_memory()
        print("{}: memory before: {:,}, after: {:,}, consumed: {:,}; exec time: {}".format(
            func.__name__,
            mem_before, mem_after, mem_after - mem_before,
            elapsed_time))
        return result
    return wrapper

所以,当你用它装饰一些功能的时候

from utils import track

@track
def list_create(n):
    print("inside list create")
    x = [1] * n
    return x

您将能够看到此输出:

inside list create
list_create: memory before: 45,928,448, after: 46,211,072, consumed: 282,624; exec time: 00:00:00

import os, win32api, win32con, win32process
han = win32api.OpenProcess(win32con.PROCESS_QUERY_INFORMATION|win32con.PROCESS_VM_READ, 0, os.getpid())
process_memory = int(win32process.GetProcessMemoryInfo(han)['WorkingSetSize'])

当前进程在Linux上的当前内存使用情况,对于python 2、python 3和pypy,不进行任何导入:

def getCurrentMemoryUsage():
    ''' Memory usage in kB '''

    with open('/proc/self/status') as f:
        memusage = f.read().split('VmRSS:')[1].split('\n')[0][:-3]

    return int(memusage.strip())

在Linux4.4和4.9上进行了测试,但即使是早期的Linux版本也可以工作。

窥视 man proc 并搜索 /proc/$PID/status 文件,它提到了一些字段的最低版本(比如Linux2.6.10中的“vmpte”),但是“vmrss”字段(我在这里使用)没有提到。因此,我假设它是从早期版本开始就存在的。

更容易使用 /proc/self/status : /proc/self/statm . 它只是一个以空格分隔的列表 statistics . 我不知道这两个文件是否总是存在。

/程序/[pid]/statm

提供有关内存使用情况的信息(以页为单位)。 列包括:

• 大小(1)程序总大小 (与/proc/[pid]/status中的vmsize相同)
• 常驻(2)常驻集大小 (与/proc/[pid]/status中的vmrss相同)
• 共享(3)常驻共享页面的数量(即由文件支持) (与rssfile+rssshmem in/proc/[pid]/状态相同)
• 文本(4)文本(代码)
• lib(5)库(Linux 2.6之后未使用;始终为0)
• 数据(6)数据+堆栈
• dt(7)脏页(Linux 2.6之后未使用;始终为0)

下面是一个简单的例子:

from pathlib import Path
from resource import getpagesize

PAGESIZE = getpagesize()
PATH = Path('/proc/self/statm')


def get_resident_set_size() -> int:
    """Return the current resident set size in bytes."""
    # statm columns are: size resident shared text lib data dt
    statm = PATH.read_text()
    fields = statm.split()
    return int(fields[1]) * PAGESIZE


data = []
start_memory = get_resident_set_size()
for _ in range(10):
    data.append('X' * 100000)
    print(get_resident_set_size() - start_memory)

它生成一个如下所示的列表:

0
0
368640
368640
368640
638976
638976
909312
909312
909312

您可以看到,在分配了大约3个100000字节后,它跳跃了大约300000字节。

使用sh和os进入PythonBayer的答案。

float(sh.awk(sh.ps('u','-p',os.getpid()),'{sum=sum+$6}; END {print sum/1024}'))

答案以兆字节为单位。

对于python 3.6和psutil 5.4.5,更容易使用 memory_percent() 列出的函数 here .

import os
import psutil
process = psutil.Process(os.getpid())
print(process.memory_percent())