🤯刚刚从推上下来,被Groq的速度着实吓到了-是以毫秒而非秒的速度向我提供答案的。488 T/s on Mixtral 8x7b is just 🤯
🕳️传送门:
groq.com这样的速度一时间已经想到不少可以应用的案例:实时销售指导、对话反馈、搜索工具替代方案...
于是随机又问了十几道问题,ummmmmmmmmmm
模型准确性着实有待提升,盲猜数据截止时间应该在2020-2021年左右。
*Groq的CEO为在谷歌创建了TPU的Jonathan Ross
*在评论底下发现了groq员工的说明:我们设计了一种专门用来处理语言模型的计算芯片--语言处理单元(LPU),此外还创建了一套软件工具来保证这些芯片更快速有效地工作,确保我们的语言模型可以迅速且处理大量信息。