如何在数字表示中表示状态以增强学习。(创建Q表)

我正在研究一种q-学习算法,我需要构造一个公式,通过混合多种颜色来创建自定义颜色。所以这里的目标是为所有有效的自定义颜色生成一个公式

成功与奖赏

坏公式-以恶报恶

基本上,我有10种基本颜色,我需要从中生成自定义颜色。基本颜色有红、绿、蓝、白、黑、黄等

我正在用一个热编码编码这些基本颜色。

red   here is [1,0,0,0,0,0,0,0,0,0]
green here is [0,1,0,0,0,0,0,0,0,0]
blue  here is [0,0,1,0,0,0,0,0,0,0]
white here is [0,0,0,1,0,0,0,0,0,0]
black here is [0,0,0,0,1,0,0,0,0,0]
yellow     is [0,0,0,0,0,1,0,0,0,0]
etc,etc

如果我想产生

CASE 1: pink color then it is a mix of red + white  ( GOOD FORMULA )
CASE 2: light green colour then it is a mix of green + white  ( GOOD FORMULA )
CASE 3: grey colour then it is a mix of black + white   ( GOOD FORMULA )
CASE 4: purple colour then it is a mix of pink + black  ( GOOD FORMULA )
CASE 5: eggplant colour is purple + green  ( GOOD FORMULA )
CASE 6: BAD colour is purple + black  ( BAD FORMULA )

我想,状态是一种颜色,而动作是选择另一种颜色,从而产生一种自定义颜色。

如果状态是基色之一,我可以用颜色表示状态(使用一个热编码)。

但是,如果状态是自定义颜色,是否有方法用数字表示?(对于案例4、案例5和案例6)

我希望,我尽可能清楚地表明了我的观点。因为有10种基色,所以组合是巨大的,因此是状态。不知道如何从这里开始。任何指导都会有极大的帮助