El Albacete Balompié se fundó el 1 de agosto de 1940 en Albacete, una ciudad de Castilla-La Mancha. Surgió durante un periodo en que el fútbol comenzaba a recuperarse tras la Guerra Civil Española. Desde el principio, el club adoptó el color blanco para su uniforme, lo que le valió el apodo de "El Queso Mecánico" años después.
En sus primeros años, el Albacete Balompié jugó en categorías regionales. Durante las décadas de 1940 y 1950, el club se estableció en la Tercera División, luchando por ascender a niveles superiores del fútbol español.
El club logró su primer ascenso a Segunda División en la temporada 1948-49, aunque solo duró un año en esa categoría. Durante los años 50 y 60, el Albacete continuó jugando principalmente en Tercera División, con algunos periodos cortos en Segunda.
En la década de 1970, el Albacete comenzó a consolidarse, estableciéndose como un equipo estable en la Tercera División. Durante los años 80, el club logró ascender a Segunda División B, una categoría recién creada en 1977.
La década de 1990 fue la más exitosa en la historia del Albacete. En la temporada 1990-91, el equipo logró ascender a Primera División por primera vez en su historia bajo la dirección del entrenador Benito Floro. El Albacete se mantuvo en la máxima categoría durante cinco temporadas consecutivas, una hazaña destacable para un club de su tamaño. El equipo alcanzó su mejor clasificación en Primera en la temporada 1991-92, cuando terminó en la séptima posición, quedando cerca de clasificar a competiciones europeas.
Sin embargo, en la temporada 1995-96, el Albacete descendió a Segunda División tras cinco años en la élite.
El siglo XXI ha sido una etapa de altibajos para el Albacete Balompié. Tras descender a Segunda División, el club luchó por recuperar su lugar en Primera. Después de varios intentos fallidos, el club regresó a la máxima categoría en la temporada 2002-03, manteniéndose allí durante dos temporadas antes de descender nuevamente en 2005.
En los años siguientes, el Albacete Balompié sufrió problemas financieros y deportivos que lo llevaron a descender a Segunda División B en 2011. El club pasó tres temporadas en la tercera categoría antes de regresar a Segunda División en 2014. Desde entonces, el club ha alternado entre Segunda División y Segunda B, con varios intentos de ascenso fallidos.
En la temporada 2017-18, el Albacete consolidó su presencia en Segunda División, logrando estabilizarse en la categoría. Sin embargo, en la temporada 2019-20, el club terminó en el puesto 17, y en la temporada siguiente, descendió nuevamente a la tercera categoría, la recién creada Primera División RFEF.