מפענחים את סיומות הקוונטיזציה של LLM: מה באמת אומרים Q4_K_M, Q6_K ו-Q8_0
היי!התלבטתם פעם איזו גרסה מקוונטזת (quantized) של LLM לבחור: Q4_K_M, Q6_K או Q8_0? עד כמה Q6_K פחות טוב במשימות בהשוואה ל-Q8_0? ומה בכלל אומרות כל האותיות האלה בסיומות? הערה: זהו תרגום מעובד של המאמר המקורי… Read More »מפענחים את סיומות הקוונטיזציה של LLM: מה באמת אומרים Q4_K_M, Q6_K ו-Q8_0