PCIe总线的序
PCIe序的要求是为了满足满足生产者/消费者模型,和避免死锁。可以通过配置RO和IDO使得报文通过中间路径变为宽松排序,但可能会带来一些违反生产者/消费者模型的问题,需要开发者自行保证.
生产/消费者工作流程
生产者(FPGA板卡) | 消费者(软件) | |
---|---|---|
1 | 将数据写入内存(或者在本地准好数据) | 轮询flag位(位于内存),直到该位为1。 |
2 | 写flag位为1 | 置flag位为0 |
3 | 查询status位(位于FPGA),直到该位为1 | 将数据从内存中(或去生产方读数据)取出使用 |
4 | status=1后表示数据使用完毕,置status=0,此次发送结束 | 使用完数据后置status=1 |
不同VC之间没有序的要求。
强序标准(RO=0,IDO=0)
行穿越列 | 写请求(Col 2) | 读请求(Col3) | 完成报文(Col4) |
---|---|---|---|
写请求(A) | No | Yes | Y/N |
读请求(B) | No | Y/N | Y/N |
完成报文(C) | No | Yes | Y/N |
(YES=必须能,NO=不能,Y/N=无序要求)
在强序要求下,Yes是为了保证不会出现死锁,No是为了满足生产者/消费者模型。Y/N表示两者之间无序要求,无论是否穿越,都不会影响到生产者/消费者模型和出现死锁。
- A2
写请求不能穿越写。生产者写了一笔数据到内存,又写了1个flag=1到另一个内存地址,若后一个写穿越了前一个写,软件轮询到flag后可能前一个写还未到达,软件就会取到未更新的数据。这就破坏了生产者/消费者模型。
- B2
读请求不能穿越写。 否则可能造成读到了已经被写请求覆盖的数据。
- C2
完成报文不能穿越写。生产者写了一笔数据到内存,置位于自己侧的寄存器为1,消费者在不断轮询该寄存器。如果完成报文能穿越写,就可能先读到flag为1,但此时写数据还未更新,软件取数据就出错了。这就破坏了生产者/消费者模型。
- A3
写请求必须可以穿越读请求。如果总线上出现了NP,P,Cpld三个包,NP在最前面,Cpld是不能穿越P的,为了让Cpld穿越NP不造成死锁,必须让P能穿越NP。
- B3
读请求与读请求之间是没有序的要求的。读请求是可以相互穿越的。但这会带来cpld返回乱序的问题,给处理数据方带来了麻烦。
- C3
完成报文必须能够在读报文阻塞时穿越,否则可能造成死锁。假设A和B都给对方连续发送NP报文导致对端NP buffer满了,只有本地cpl发送出去了,本地np buffer里的NP才会减一,buffer才会空一点,对面的NP才能再发送一个过来。如果cpl不能穿越np,将造成死锁。
- A4
写请求和完成报文没有序的关系。谁先谁后都不会影响到生产者/消费者模型,也不会造成死锁。
- B4
读请求和完成报文没有序的要求。
- C4
完成报文和完成报文之间没有序的要求,可以相互穿越返回。但是相同tag的报文要按序返回。不同tag之间可以乱序。
- C4
- B4
- A4
- C3
- B3
- A3
- C2
- B2