ولد في 7 أكتوبر 1928 بالحروش في ولاية سكيكدة. من عائلة ريفية تنتمي إلى الزاوية الرحمانية بدأ دراسته بالمدرسة الكتانية في قسنطينة بعد حفظه للقرآن على يد والده وكان معه بالمدرسة هواري بومدين. انتقل إلى جامعة الزيتونة بتونس سنة 1950 لاستكمال دراسته. عاد للجزائر سنة 1952 ليدخل في الحياة السياسية، بعد أن طردته السلطات الفرنسية مع مجموعة من زملائه.
كان عضوا في حزب الشعب وساهم بالنضال فيه حتى أصبح مسؤول خلية ومن بعدها مسؤول مجموعة. في عام 1953 عين مدرسا من طرف حزبه حزب الشعب الجزائري في مدرسة حرة بسكيكدة.
ساهم بالثورة الجزائرية منذ اتصاله بديدوش مراد في نوفمبر 1954 و كانت بداية مشاركته على مستوى مدينة سكيكدة وبعدها التحق بجبال الشمال القسنطيني. وشارك في معارك أوت 1955 تحت قيادة زيغود يوسف. في أوت 1956 شارك في مؤتمر الصومام حيث كان عضوا مندوبا عن المنطقة الثانية. قام بقيادة المنطقة الثانية بين
أعوام 1957 و 1959.
في مايو 1959 التحق بتونس حيث دخل في عداد الشخصيات العشر التي قامت بتنظيم الهيئتين المسيرتين للثورة (الحكومة المؤقتة للجمهورية الجزائرية والمجلس الوطني للثورة الجزائرية). عند استقلال الجزائر في 1962 أصبح قائدا عسكريا برتبة عقيد.
بعد الاستقلال عُيّن سفيرا للجزائر في تونس ثم مصر وبعدها سوريا ولبنان والعراق وإيطاليا وفي عهد الشاذلي بن جديد أُنهيت مهام علي كافي الدبلوماسية.
عُيّن أمينا عاما لمنظمة المجاهدين سنة 1990.
في 14 يناير 1992، عُيّن عضوا في المجلس الأعلى للدولة المكوّن بالإضافة له من علي هارون، خالد نزار والتيجاني هدام ثم صار رئيسا له في 2 جويلية إثر عملية اغتيال الرئيس محمد بوضياف. دامت فترة قيادته للدولة الجزائرية عبر المجلس الأعلى للدولة لغاية تسليمه السلطة لليامين زروال في 30 جانفي 1994. وبنهاية مهام المجلس الأعلى للدولة ابتعد علي كافي عن الأنظار ولم يتدخل لا في السياسة ولا في الإعلام بتصريحات، وابتعد كليا عن النظام السّياسي في الجزائر،
أعلنت الجزائر حدادا عاما لمدة 8 أيام تنكس فيها الأعلام ابتداء من 16 أفريل 2013 بعد إعلان وفاته ونقل جثمانه من المطار لبيته الكائن في حي حيدرة بالجزائر العاصمة وعرض جثمانه في اليوم الموالي 17 أفريل 2013 بقصر الشعب ودفن في اليوم نفسه بعد صلاة الظهر بمربع الشهداء بمقبرة العالية في الجزائر العاصمة.
بوفاته تكون الجزائر قد فقدت ثلاثة رؤساء خلال عام واحد تقريبا، أولهم أحمد بن بلة في 11 أبريل 2012، ثم الشاذلي بن جديد في 06 أكتوبر 2012، فعلي كافي
بتاريخ وفاته.
