تأسس الحزب الاشتراكي اليمني في 13 أكتوبر من العام 1978م وأُعلن عنه في مدينة عدن، وكان أول أمين عام منتخب له في مؤتمره الأول والتأسيسي هو الشهيد عبد الفتاح إسماعيل.

تشكل الحزب الاشتراكي اليمني من دمج ثلاثة أحزاب وتنظيمات سياسية كانت تشكل "التنظيم السياسي الموحد- الجبهة القومية"، الذي تأسس في 1963 م, وهو التنظيم الذي قاد الكفاح المسلح في الجنوب ضد الاستعمار البريطاني وحقق الاستقلال الوطني , ووحد23 مشيخة وسلطنة وإمارة  في دولة واحدة سميت بجمهورية اليمن الجنوبية الشعبية.

والتنظيم السياسي للجبهة القومية كان مكوناً من عدد من الفصائل أكبرها حركة القوميين العرب، المعروفة بكونها حركة تحررية عربية مركزها بيروت وفرع هذه الحركة في اليمن كان هو الفصيل الرئيسي والثقيل في الجبهة القومية ومن قياداتها قحطان الشعبي الذي كان أول رئيس للجمهورية والشهيد فيصل عبد اللطيف الشعبي أول رئيس وزراء لجمهورية اليمن الجنوبية الشعبية.

والفصيل الثاني، هو حزب الطليعة الشعبية و كان فرعاً من القيادة القومية  لحزب البعث العربي  الاشتراكي (سوريا) وقطع صلته بالقيادة القومية وانتقل الى الفكر الماركسي وتأسس سنة 1973م وكان أمينه العام  أنيس حسن يحيى.

ثم الفصيل الثالث/ اتحاد الشعب الديمقراطي الذي كان الحزب الماركسي الأول منذ لحظة تأسيسه وكان أمينه العام الفقيد عبد الله عبد الرزاق باذيب.

هذه الثلاث التنظيمات ذابت في تنظيم سياسي موحد الجبهة القومية لتحرير الجنوب، والتي تشكل منها الحزب الاشتراكي اليمني في جنوب الوطن. وهي من قادت الكفاح المسلح ضد الاستعمار البريطاني منذ تفجيرها للثورة من قمم جبال ردفان في 14 أكتوبر 1963، وحتى الاستقلال الناجز في 30 نوفمبر 1967م وطرد الاستعمار البريطاني من جنوب اليمن.

وفي العام نفسه، الذي تأسس فيه الحزب الاشتراكي اليمني، 1978م، توحدت خمسة أحزاب في شمال الوطن، هي الحزب الديمقراطي الثوري اليمني ومن شخصياته المشهورة سلطان أحمد عمر وعبد القادر سعيد وجار الله عمر الكهالي, وحزب الطليعة الشعبية في الشمال ومنه يحيى الشامي, ومنظمة المقاومين الثوريين ومنه الشخصية الرئيسية أحمد علي السلامي,  وحزب اتحاد الشعب الديمقراطي, وحزب العمل اليمني، وقد توحدت هذه الأحزاب الخمسة في 8 مارس من العام 1979م  تحت تسمية حزب الوحدة الشعبية.

في9 مارس 1979م توحد الحزب الاشتراكي مع حزب الوحدة الشعبية، وتأسس كحزب واحد على مستوى الشمال والجنوب وفي إطار دولتين مختلفتين, وهذا ما يميز الحزب الاشتراكي اليمني في نشأته ونموه وتطوره، إضافة إلى المميزات التالية:

1- حزب مكون من عدد واسع من فصائل اليسار المنتشرة في أنحاء البلاد كلها وتاريخها النضالي من أجل التحرر الوطني والاستقلال والتقدم الاجتماعي الممتدة إلى الخمسينيات من القرن المنصرم (القرن العشرين)ويعتبر حزبا ذو جذور عميقة في المجتمع اليمني وتاريخه المعاصر.

2- تركيبته السياسية والتنظيمية والعضوية تركيبة وحدوية يمنية حتى في الزمن الشطري.

3- الحزب نشأ ضمن حاضنة شعبية لم يأت من الأعلى لكنه نشأ من الأسفل ,وكل فصائله الثمانية جميعها بدأت حياتها من خارج السلطة وجميعها نشأت ضمن حاضنة شعبية.