1.Как распределена нагрузка по ядрам процессора (12 ядер/2 кластера)?

ядра распределены функционально между различными задачами dpi, чтобы они друг другу не мешали
2 и 7 отвечают за транзит трафика и сейчас мало нагружены, т.к. трафика мало
посмотреть распределение функций можно командой:
ps -p `pidof fastdpi` H -o %cpu,lwp,psr,comm

2.Почему есть ядра процессора не нагруженные (12е ядро не занято)?

в dpi есть сервисные функции: генерация netflow, clickstream, запись pcap,
обработка управляющих команд и т.п. 
их нагрузка неравномерна и они могут кратковременно загружать ядро на 100%,
поэтому им выделено отдельное ядро, чтобы они не помешали тому же транзиту

3.Почему одно ядро может быть загружено 100% при типовой нагрузке на DPI? На сервер не зайти, помогает только перезагрузка.
Всего скорее виной процесс kipme, интерфейса удаленного контроля сервера ipmi, возможно не зарыли FW от внешних атак. Когда процесс загружает 100% ядро (любое) перестает работать softRAID, поэтому не возможно зайти на сервер. Так же есть статья по другим возможным причинам проблем с impi:
Kipmi0 eating up to 99.8% cpu on centos 6.4

4. почему BGP одна сессия поднимается, а одна нет?

смотрим tcpdump 
да и на интерфейсе у клиента mtu 9000 
на одной сессии видим mss 1480 
при sync, а на второй видим mss 8500 
это говорит о том что у одного пира mtu на интерфейсе стандартное 1500 
у второго задранное 
на сессии у кого mss выше 1480  (там еще ip заголовок) 
ставим настройки в MX 
neighbor 95.167.18.57 {
  traceoptions {                      
      file as12389.log size 1m files 3;
  }
  description "-= RT AS12389 Upload =-";
  import [ bogus-reject MM-IN ];
  export REJECT-ALL;
  peer-as 12389;
  tcp-mss 1460;
}
tcp-mss 1460;

Дополнительная информация