public override sealed bool IncrementToken()
{
if (index >= tokens.Length)
{
return false;
}
else
{
ClearAttributes();
Token token = tokens[index++];
termAtt.SetEmpty().Append(token);
offsetAtt.SetOffset(token.StartOffset(), token.EndOffset());
posIncAtt.PositionIncrement = token.PositionIncrement;
flagsAtt.Flags = token.Flags;
typeAtt.Type = token.Type;
payloadAtt.Payload = token.Payload;
return true;
}
}
}