Antes de ser una empresa de automóviles, Apperson comenzó como un humilde taller mecánico en Indiana, dirigido por los hermanos Elmer y Edgar Apperson. Este taller de maquinaria original, Riverside Machine Works, se centraba principalmente en reparaciones de vehículos agrícolas, bicicletas, vagones y otros medios de transporte humildes.
En 1893, Elwood Haynes se acercó a los hermanos Apperson y les presentó una idea de vanguardia para un vehículo de cuatro ruedas con motor. Haynes desarrolló la central eléctrica, mientras que los hermanos contribuyeron con los sistemas de dirección y frenos. Un año después, nació el Haynes Pioneer y, durante los años siguientes, los automóviles Haynes-Apperson fueron el billete más popular del mercado. Sin embargo, los hermanos no estaban satisfechos con que Haynes recibiera la misma facturación cuando ellos hacían todo el trabajo duro, por lo que terminaron su asociación con él en 1901. Inmediatamente después, los Apperson comenzaron su propio negocio y formaron Apperson Brothers Automobile Company.
Era una operación comparativamente pequeña, incluso en comparación con la empresa de Haynes, que operaba en la misma ciudad de Indiana. Lo que a Apperson le faltaba en cantidad, sin embargo, lo compensaba con calidad: promocionaba sus coches como productos de lujo y sólo producía unas 1.000 unidades al año.
