מפענחים את סיומות הקוונטיזציה של LLM: מה באמת אומרים Q4_K_M, Q6_K ו-Q8_0
רמה: בינוניתזמן קריאה: 7 דקותצפיות: 9Kתגיות: Python, בינה מלאכותית, למידת מכונהמאמר מתורגם מהמקור ברוסיתמאת: [שם המחבר המקורי] היי!התלבטתם פעם איזו גרסה מקוונטזת (quantized) של LLM לבחור: Q4_K_M, Q6_K או Q8_0? עד כמה Q6_K פחות טוב… Подробнее »מפענחים את סיומות הקוונטיזציה של LLM: מה באמת אומרים Q4_K_M, Q6_K ו-Q8_0