Костић је пропевао врло млад, још као ђак у гимназији, крајем педесетих година. Првим својим стиховима стекао је глас, који је шездесетих и седамдесетих година све више растао, тако да се поред Змаја и Јакшића убрајао у најбоље песнике српске. Своје лирске песме покупио је тек 1873. и 1874. штампао у засебне књиге; 1909. сву његову поезију, у засебној књизи, издала је Матица српска у Новом Саду.