从文件读取令牌(复杂)

我有一个基本的标记化结构/算法。这是相当复杂的,我希望我可以澄清它足够简单,以启发你对我的设计“缺陷”。

类分析器状态

// bool functions return false if getline() or stream extraction '>>' fails
static bool nextLine(); // reads and tokenizes next line from file and puts it in m_buffer
static bool nextToken(); // gets next token from m_buffer, via fetchToken(), and puts it in m_token
static bool fetchToken( std::string &token ); // procures next token from file/buffer

static size_t m_lineNumber;
static std::ifstream m_fstream;
static std::string m_buffer;
static std::string m_token;

m_token 和 nextToken 继续。 fetchToken 电话 nextLine m_buffer 为空,并将下一个标记放入其参数中:

istringstream stream;

do // read new line until valid token can be extracted
{
    Debug(5) << "m_buffer contains: " << m_buffer << "\n";
    stream.str( m_buffer );

    if( stream >> token )
    {
        Debug(5) << "Token extracted: " << token << "\n";
        m_token = token;
        return true; // return when token found
    }
    stream.clear();
} while( nextLine() );
// if no tokens can be extracted from the whole file, return false
return false;

问题是从m_缓冲区删除的令牌没有被删除,并且每次调用 nextToken() m_缓冲器 可以修改,因此调用 istringstream::str stream >> token 从stringstream指向内部的字符串中移除某些内容?也许我需要 使用 stringstream ,但在这种情况下更基本的内容(比如查找第一个空白并从字符串中剪切第一个标记)?

注:任何修改函数/类结构的建议都是可以的,只要它们允许跟踪行号(所以没有完整的文件被读入 m_缓冲器 istringstream ,这是我之前想要的行号错误报告)。