//使小鸟飞起来的代码<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body> <canvas wi...
参考：「芝麻街」Big Bird : Sparse Attention 再填新成员 背景： 原来的注意力机制复杂度高，q需要和每个key点乘，复杂度是n*n。 存在内存问题，自然也就存在token长度限制。 full attention -> small attention ? big bird = longformer + random atten...